ReACT-CLIP：面向视觉-语言模型的响应感知测试时防御
ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models
AI 导读
ReACT-CLIP 是面向 CLIP 类视觉-语言模型的免训练测试时防御，可按输入自适应决定纠正强度与是否干预。其以低、高噪声探测下视觉特征漂移的相对增幅设定纠正强度，并以弱空间增广下的预测不稳定性判断干预必要性。在 12 个下游数据集及 ImageNet 及其分布偏移变体上，该方法在多种攻击类型和强度下显著提升鲁棒性，同时基本保持干净准确率。