少数 token 至关重要：熵引导的视觉语言模型攻击

一篇论文提出针对视觉语言模型的熵引导对抗攻击，把扰动集中到自回归生成中模型犹豫的高熵 token 上，以更小的扰动预算造成比不分 token 的基线更大的语义破坏，同时保持视觉上不易察觉。作者称这些高熵位置是决策节点，小幅扰动改变所选 token 后会级联放大后续生成的语义偏移，而低熵位置本身较稳健。攻击样本可跨 VLM 架构迁移，作者认为这源于自回归生成的结构性属性，攻击者用开源模型即可制作扰动并预期迁移到闭源生产模型。论文评估了对抗训练、输入预处理和检测类防御，发现防护有限，并提出熵感知鲁棒性方向。对具身 AI 部署，作者建议不要把视觉解析器当作安全关键路径的可信组件。