面向视觉-语言-动作模型的注意力引导分块稀疏对抗攻击
[Daily Paper] Attention-Guided Patch-Wise Sparse Adversarial Attacks on Vision-Language-Action Models
AI summary
Zhang 等人提出 ADVLA 框架，通过在视觉-语言-动作（VLA）模型的文本特征空间注入稀疏对抗扰动来干扰其动作预测。该框架用模型自身的注意力图挑选对动作影响最大的图像块，只对 Top-K 位置加噪，并把扰动幅度限制在 L∞ 范数内，使改动在视觉上难以察觉。作者称这种攻击计算成本低，可跨不同提示词和任务上下文迁移，单个对抗图像即可在多种指令下引发失败。文章指出 VLA 的防御研究落后于攻击，建议在文本特征空间做对抗训练、注意力平滑和集成动作验证，并把对抗鲁棒性测试纳入实体 AI 部署的安全认证。论文可在 arXiv 查看。