面向大型视觉语言模型对抗攻击的分阶段注意力引导区域排序
Stage-wise Attention-Guided Region Sequencing for Adversarial Attacks on Large Vision-Language Models
AI 导读
论文提出 SAGA（Stage-wise Attention-Guided Attack），一种黑盒区域排序框架，利用开源 LVLM 的固定注意力图引导扰动更新，无需访问目标模型的参数、梯度或注意力图。作者称，跨模态注意力能识别对对抗扰动敏感的区域，从主导热点出发并逐步将更新范围移向次显著区域，可提升定向攻击效果。在十款闭源与开源 LVLM 上，SAGA 取得最高攻击成功率和最佳整体不可感知性，代码已在 GitHub 开源。