超越虚假稳定性：面向视觉语言模型测试时对抗防御的高噪声漂移门控
Beyond False Stability: High-Noise Drift Gating for Test-Time Adversarial Defenses in Vision-Language Models
AI 导读
研究者提出免训练、即插即用的高噪声漂移门控机制，仅在检测到类对抗不稳定时，为 CLIP 等视觉语言模型触发现有测试时防御。该机制利用高噪声下对抗表征比干净表征更不稳定的信号，规避弱噪声区的“虚假稳定性”。在 13 个数据集上改善干净-鲁棒权衡，八个细粒度数据集上反制类防御的平均干净+对抗准确率从 65.7% 升至 71.4%。