Skip to content

Translation in progress Some entries still include text in the original language.

Failure-First·Indexed by this site · Originally published

当对齐失效:针对视觉-语言-动作模型的多模态对抗攻击

[Daily Paper] When Alignment Fails: Multimodal Adversarial Attacks on Vision-Language-Action Models

AI summary

一篇 2025 年 11 月发表的论文提出 VLA-Fool 评估框架,系统测试视觉-语言-动作(VLA)模型在多模态对抗输入下的鲁棒性。该框架把攻击分为文本扰动、视觉扰动(对抗贴片与像素噪声)和跨模态错位三类,在 LIBERO 基准与 OpenVLA 模型上给出白盒与黑盒迁移的可复现基线。结果显示,白盒梯度视觉攻击下任务成功率降至接近零;跨模态错位攻击最隐蔽,使机器人行为渐进退化而非突然失效,难以被简单异常监控发现;在替代模型上生成的对抗贴片也能迁移到 OpenVLA。作者提出语义提示框架作为防御,对文本扰动有改善、对跨模态攻击部分有效,但对纯视觉对抗贴片基本无效。

Read originalfailurefirst.org