视而不见：通过对抗性注意力劫持使大型视觉语言模型对安全指令失明
Seeing No Evil: Blinding Large Vision-Language Models to Safety Instructions via Adversarial Attention Hijacking
AI 导读
研究者提出针对大型视觉语言模型（LVLM）的注意力引导视觉越狱方法，通过直接操纵注意力模式绕过而非压制安全对齐。方法引入两个辅助目标，一是抑制模型对对齐相关前缀 token 的注意力，二是将生成锚定在对抗性图像特征上，作者称这种推拉式设计将梯度冲突降低 45%。在 Qwen-VL 上攻击成功率达 94.4%，基线为 68.8%，且迭代次数减少 40%；在更严格的扰动预算 ε=8/255 下保持 59.0% 的成功率，标准方法为 45.7%。机制分析显示，成功攻击使模型对系统提示词的注意力下降 80%，作者将这一失效模式称为 safety blindness（安全失明），即模型生成有害内容不是因为覆盖了安全规则，而是因为检索不到这些规则。