研究者提出利用祖先 VLM 的黑盒对抗补丁攻击，可降低 VLA 任务成功率
Black-Box Adversarial Patch Attacks on VLAs via Ancestor VLM Exploitation
AI 导读
研究者提出三种针对视觉语言动作模型（VLA）的黑盒对抗补丁攻击，其特点是不需要访问目标 VLA，只利用其上游公开预训练 VLM。做法是利用多数 VLA 由公开 VLM 适配而来、继承了视觉感知与指令条件化 grounding 能力这一特点，分别设计视觉扰动攻击、指令 grounding 语义证据抑制攻击，以及用两阶段课程统一两者目标的联合攻击。在多个 VLA 系列上的仿真与静态真实图像实验显示，在祖先 VLM 上优化的补丁会造成 VLA 任务成功率大幅下降，说明 VLA 连同基础能力一并继承了对抗脆弱性。该效应并不均匀：在需要精确指令 ground 定位的任务上最强，在适配过程重写了共享视觉语义表征、或动作头会迭代平滑扰动的策略上几乎消失。