少关注虚词，让视觉语言模型免费获得鲁棒性
Pay Less Attention to Function Words for Free Robustness of Vision-Language Models
AI 导读
针对鲁棒性与性能的权衡，研究者提出 Function-word De-Attention（FDA），通过降低模型对虚词的注意力来提升视觉语言模型对跨模态对抗攻击的鲁棒性。作者观察到虚词可能引发 VLM 在跨模态对抗攻击下的脆弱性，FDA 据此在注意力头内分别计算原始交叉注意力与虚词交叉注意力，并将后者从前者中作差减去。实验覆盖 2 个 SOTA 基线、6 种攻击、2 个下游任务、3 个数据集和 3 个模型，检索任务中 3 个模型的攻击成功率平均分别下降 18%、13%、53%，性能仅下降 0.2%、0.3%、0.6%；视觉定位任务中攻击成功率下降 90%，性能还提升 0.3%。论文还验证了 FDA 的可扩展性、泛化性和零样本性能，代码开源于 https://github.com/michaeltian108/FDA。