ANNIE: Beware Your Robot, Adversarial Safety Attacks on Embodied AI

ANNIE 论文提出面向具身 AI 的对抗安全攻击框架，用图像扰动让 VLA 机器人违反人身安全约束，关键违规的平均攻击成功率为 52%。该工作以 ISO/TS 15066 人机协作标准为依据，把违规分为关键、危险和风险三级，并推出 ANNIEBench 基准，含九个安全关键操作场景、2400 段视频动作序列，在 ManiSkill 仿真中用 Franka Emika Panda 七自由度机械臂实现。攻击方法 ANNIE-Attack 通过 Attack Leader Model 将高层攻击目标分解为帧级扰动目标，再用 PGD 优化对抗图像扰动，且与模型无关，在 ACT 和 Baku 两种架构上完成评估。其中 Annie-ADAP 稀疏攻击平均每约 3 帧攻击一次即可达到 1.0 的攻击成功率，Baku 的成功率比 ACT 高 40%，作者将这一差异归因于两者归一化方式不同。