多样性感知红队测试揭示视觉-语言-动作模型的语言脆弱性

自动发现多样、且仍对应原任务的对抗指令，以暴露 VLA 的语言脆弱性。

• 场景：作者称 VLA 依语言指令把视觉观测直接映射为机器人动作，但同义改写或无关上下文就会使表现变差；真实人机指令多样、不规整，作者认为这带来部署上的安全风险。
• 现有不足：作者称已有 VLA 红队多免训练，主要是固定的 in-context learning 或启发式检测，跨任务适应性不足。标准奖励最大化 RL（如 GRPO）易 mode collapse，只重复少数失败模式。
• 假设：作者认为评估均匀策略可以同时保住攻击有效性与语义多样性，从而覆盖更广的失败模式。
• 本文做法：提出 DAERT，用强化学习微调 VLM，以仿真中的执行失败为信号，生成多样对抗指令。
• 威胁模型：
  • 目标：找到一组攻击指令，使目标 VLA 的成功指示 1succ 为 0。
  • 知识：作者将方法定位为 black-box；不使用梯度，不操纵物理场景参数。实验中目标 VLA 冻结。
  • 能力：输入为原始任务指令与初始场景 RGB，输出改写。改写须落在可行集：物理可完成、在 VLA 已知技能内、对人类操作者看起来自然。
  • 受害系统：语言条件的机器人操作策略，在仿真中按指令逐步输出动作（如末端执行器 twist）。

作者把相关工作分成语言脆弱性、具身红队和多样性感知 RL 三条线。

语言条件 VLA 的脆弱性

• RT-2、OpenVLA、π0：把视觉观测和语言指令直接映射成动作。作者称任务语义不变时，同义改写或句法重组仍会使表现变差，并引用 LIBERO-Plus、LIBERO-Pro 与 Karnik 等的研究。
• 部署含义：作者认为人类指令多样且不规整，这种敏感是真实部署的障碍。

具身红队

• 视觉与几何攻击：先前工作主要做白盒视觉补丁，或做几何失效发现。
• Embodied Red Teaming（Karnik 等，2024）：作者称其确立了安全评估需求，但已有方法常依赖人工模板或梯度。作者称本文改为 black-box 自然语言红队，且不改物理场景参数。
• 免训练自动化：引言称已有 VLA 红队多限于固定 in-context learning 或启发式检测，缺少跨任务适应性。

多样性感知的自动发现

• mode collapse：作者称 RL 红队会过度优化少数高奖励提示，牺牲覆盖。
• GRPO 等策略梯度：作者称在稀疏对抗奖励下难以保持探索。
• ROVER 与质量多样性：作者称把多样性目标放进优化，并用 Random Policy Valuation（ROVER）平衡攻击成功与语言多样性。

基线与基准

• 基线方法：原始指令；ERT（冻结 GPT-4o，人工提示；作者称其在发现有效对抗指令上达到 state-of-the-art，故作主基线）；GRPO（与 DAERT 共用物理落地奖励）。LIBERO 上用 ERT 官方实现复现，其他基准引用原始结果。
• 基准：LIBERO、CALVIN、SimplerEnv。

作者称本文首次用多样性感知强化学习微调 VLM 来生成攻击指令，并称无需手工调参即可泛化到不同任务与目标模型。

DAERT 把具身红队写成对 VLM 改写策略的强化学习：奖励来自仿真执行失败，并用均匀后继价值避免概率堆在单一改写上。

问题设定

• 语言条件操作写成 MDP。状态含 RGB 与本体感觉，VLA 在指令条件下输出动作，结束时得到成功指示 1succ。
• 红队在可行集内寻找多样攻击指令。可行集要求物理可完成、能力对齐、语言上合理。
• 训练目标写成最大化 E[R(π,l_attack)−λlog p_θ(l_attack|l_task,I₀)]，即奖励要高，同时惩罚把概率质量集中到单条指令。

多样性感知的 actor-critic

• 给定任务指令与初始观测 I0，策略 pθ 生成改写。作者称不用单独 critic，而用相对冻结参考策略的隐式 token 级 Q。
• 论文将 Q 写成 Q_θ(a_t|s_t)=ρlog p_θ(a_t|s_t)−log p_θold(a_t|s_t)，ρ 缩放探索。实现中 ρ=1.0。
• 目标值把终端奖励与词表上的均匀平均后继 Q 相加。作者称这惩罚尖锐概率峰，并偏好前缀仍有多种成功续写的动作。
• 每个输入采一组改写，奖励做组内去均值，再最小化相对该目标的 Bellman 误差。实现中 group size 为 6。

物理落地的级联奖励

• 攻击要打断视觉–动作映射，但不改物理任务。作者称朴素目标会造成指令漂移或文本无法解析。
• 格式门：换行、元前缀、非英文等退化格式记 rstruct=-0.2。第 4.3 节举例了被拒格式，此处不列具体字符串。
• 语义门：用 CrossEncoder 给原指令与改写的一致性打分，低于 τsem 则惩罚。训练中 τsem=0.6；语义奖励模型为 stsb-roberta-large。
• 长度门：词数超过 Lmax 时按 η=1.0 惩罚。实现中最大响应长度为 50。作者称这是为避免只因上下文溢出而失败。
• 最终奖励先过三道门，再乘以 f=1-1succ（1 表示 VLA 任务失败）。惩罚按级联施加：前置约束未过，后续惩罚不计入。

攻击器与优化设定

• 攻击器为 Qwen3-VL-4B，输入原始指令和一张初始 RGB，输出改写。附录 B.2 给出完整提示词：系统角色要求改写正确、像人类且具挑战性；用户消息绑定场景图像与规范指令，并要求只输出指令文本。
• 用 VERL 优化 100 steps，batch size 8，学习率 1×10−6，KL 系数 0.01，熵系数 0.001。任务奖励来自 LIBERO 仿真。训练用 RTX Pro 6000，评测用 RTX 5090。
• 目标 VLA 冻结。主训练用 LIBERO 上 π0 的执行反馈；作者称之后 train-once, transfer-everywhere，不再为其他基准训练。

实验设置

• 目标模型：π0（开源权重，无额外微调）；OpenVLA（LIBERO 官方微调检查点）。迁移目标为 CALVIN 上的 3D-Diffuser Actor，以及 SimplerEnv 上的 OpenVLA-7B。π0.5 只做语言依赖诊断。
• 攻击器与基线：Qwen3-VL-4B 在 LIBERO/π0 上训练。基线为原始指令、ERT（冻结 GPT-4o）、GRPO，以及 Table 2 的 GRPO w/o KL。GRPO 与 DAERT 共用同一奖励。
• 基准：主评测在 LIBERO 的 Spatial、Object、Goal、Long。CALVIN 与 SimplerEnv 不额外训练。论文未写 LIBERO 各套件的任务条数。
• 指标：Succ 为平均任务成功率，越低表示攻击越有效。Cos 为 CLIP ViT-B/32 嵌入的平均成对余弦距离。LLM 为 DeepSeek-R1 的多样性分（1 到 10），维度为词汇、句法、语义、风格。Figure 2 的 attack performance 定义为 1 减任务成功率。
• 样本量：LIBERO 每任务 10 条改写、每条 5 个 episode，共 50 个 episode。CALVIN 为 27 任务、每任务 10 个变体，共 270 episodes，三个 seed 平均。SimplerEnv 的 Pick Coke Can 为 25 个初始状态、每状态 4 个变体，共 100 episodes；干净参照指令为 “Pick the opened Coke can.”。
• 评审：附录 B.1 写 DeepSeek-R1 经 deepseek-reasoner API 调用，温度 0.1，最大 token 2000；只保留四种方法都有有效改写的任务。该附录把比较对象写成 ERT、GRPO、nokl-GRPO 与 ROVER，正文主表名为 DAERT 与 GRPO w/o KL，论文未写明名称是否一一对应。论文未报告评审与人工的一致性。

主结果

据 Table 2，LIBERO 四套件平均。此表中 π0 同时是训练奖励来源。

表格较宽，可左右滑动

方法	Succ↓	Cos↑	LLM↑
π0 原始指令	93.33	–	–
π0+ERT	65.50	10.15	6.35
π0+GRPO	20.45	7.05	4.58
π0+GRPO w/o KL	11.35	5.28	3.95
π0+DAERT	5.85	12.23	8.48

• 作者称只改写指令、不做视觉扰动，成功率就落到个位数，并认为模型依赖表层语言模式，句法离开训练分布后语言到动作的落地会垮掉。
• 作者称 GRPO 出现 mode collapse：嵌入距离与 LLM 评分一起偏低，探索停在重复的高奖励模式。
• 引言称相较先前方法 attack success rate 提高 59.7%，该句未写明对照基线。分套件上，ERT 的 Succ 在 Goal 为 29.2、Spatial 为 78.4；DAERT 为 Spatial 7.4、Object 8.8、Goal 3.0、Long 4.2（Table 2）。

语言依赖诊断

• 测了什么：推理时把任务指令换成 “no action”，检查候选 VLA 是否依赖语言（Table 1，LIBERO）。
• 结果：π0 平均成功率 17.65（Spatial 22.0，Object 30.4，Goal 1.6，Long 16.6）；π0.5 平均 54.90（Spatial 62.8，Object 69.0，Goal 12.6，Long 75.2）。
• 作者解读：作者认为 π0.5 退化成视觉主导策略，不适合研究语言鲁棒性，因此对抗分析集中在 π0。

跨模型与跨基准迁移

• OpenVLA（Table 3）：指令在 π0 上优化后，black-box 迁到另一架构。原始平均 Succ 76.50，ERT 32.15，GRPO 17.00，DAERT 6.25。DAERT 分套件为 Spatial 8.4、Object 6.8、Goal 4.0、Long 5.8。作者认为这不是只过拟合代理模型，而是模型共享视觉落地与几何推理上的语言弱点。
• CALVIN：同一攻击器不微调，目标为 3D-Diffuser Actor。正文对 Figure 2(a) 称：干净指令的 attack performance 约 8%，对应原成功率约 92%；GRPO 与 ERT 到约 45% 区间；DAERT 约 60%，语义多样性也更高。作者认为这跨过了点云策略与二维图像策略的架构差。
• SimplerEnv：同一攻击器零样本打 OpenVLA-7B。正文给出 Figure 2(b) 的数值：原始指令 attack performance 24.0%；GRPO 59.5%，低于 ERT 的 69.2%；DAERT 82.0%。作者称 GRPO 低于提示词基线这一结果反直觉，并认为缺少多样性约束时会过拟合 LIBERO 或 π0 的窄模式。

定性与语义空间

• 改写类型（Table 4）：作者称 ERT 以词汇替换为主，DAERT 加入朝向、对准、不扰动其他物体等程序性约束。附录给出示例，此处不引原文。Spatial 上 ERT 的 Succ 仍为 78.4，DAERT 为 7.4（Table 2）。作者认为同义替换不足以打破几何落地。
• 执行（Figure 4）：图注写四个 LIBERO 任务，每行四帧连续观测。作者称朝向类约束会打乱抓取（如打翻目标），对准与轻放类约束会导致犹豫和放置失败。
• PCA（Figure 3）：100 条改写、两个 LIBERO 任务。作者称 GRPO 形成紧的密集团簇，ERT 占据分离区域且通常在流形右侧，DAERT 方差更宽并呈对角轨迹；作者称这与多样性目标发现更丰富的对抗表述一致。

其他消融与分析

• KL 项（Table 2 平均）：GRPO 为 Succ 20.45、Cos 7.05、LLM 4.58；去掉 KL 后为 11.35、5.28、3.95。作者称去掉 KL 更激进，但 mode collapse，多样性仍低于 DAERT。
• 去掉 KL 后，Goal 的 Succ 为 3.4，接近 DAERT 的 3.0；Long 为 11.2，高于 DAERT 的 4.2（Table 2）。
• 论文未报告攻击查询次数或墙钟耗时。

作者指出的局限与后续方向

• 更新的模型与更长任务：结论写未来可用该方法攻击更新的 VLA，以及更复杂、长时程的操作任务（第 6 节）。
• 人工仍是有效性参照：附录 A 写当前用自动指标换可扩展性，并承认人工判断仍是指令有效性的 ground truth。
• 计划中的人工闭环与公开数据：附录 A 写未来加入 Human-in-the-Loop，用专家标注校准奖励模型并做 RLHF。作者计划公开全部对抗指令数据；引言亦写代码与生成数据将会提供。这是计划，不是已完成。
• 论文没有单独的 Limitations 节。

实验覆盖范围

• 对抗评测的目标为 π0、LIBERO 微调的 OpenVLA、SimplerEnv 的 OpenVLA-7B、CALVIN 的 3D-Diffuser Actor；π0.5 只有 Table 1 的 “no action” 诊断。
• 攻击器只在 LIBERO/π0 上训练；CALVIN 与 SimplerEnv 为零样本迁移。SimplerEnv 只报告 Pick Coke Can，共 100 个 episode。
• LIBERO 协议为每任务 50 个 episode；CALVIN 为 270 episodes、三个 seed。论文未写 LIBERO 各套件的任务数。
• 多样性分由 DeepSeek-R1 给出，附录 B.1 写温度为 0.1；语义门为 stsb-roberta-large，阈值 0.6。论文未报告该评审与人工的一致性。
• 优化为 100 steps、group size 6。论文未报告攻击查询次数。

DAERT 用强化学习自动改写指令，探测视觉–语言–动作模型在语言变体下的执行失败。

• 作者要解决的是：基准上成功率很高的 VLA，遇到语义仍对应原任务的改写就会失败；而只最大化奖励的攻击器容易反复生成少数模式，盖不住风险面。
• 攻击器 Qwen3-VL-4B 读取初始 RGB 与原指令。格式、语义（阈值 0.6）和长度三道门先挡住漂移或不可执行文本，再用仿真失败作奖励；优化借用 ROVER 的均匀后继价值。目标策略冻结，作者将设定称为 black-box。
• 在 LIBERO 上，提供训练奖励的 π0 于原始指令下平均 Succ 为 93.33%，DAERT 为 5.85%，Cos 为 12.23、LLM 分为 8.48；ERT 为 65.50，GRPO 为 20.45（Table 2）。引言另称相较先前方法 attack success rate 提高 59.7%，未写明对照项。
• 同一攻击器黑盒迁到 OpenVLA，平均 Succ 从 76.50% 到 6.25%（Table 3）。SimplerEnv 上 OpenVLA-7B 的 attack performance，原始指令为 24.0%，DAERT 为 82.0%；GRPO 为 59.5%，低于 ERT 的 69.2%。
• 作者认为 π0.5 在 “no action” 下仍有 54.90% 的平均成功率，故不纳入对抗分析。作者称多样性是可迁移性的前提，并计划把该方法用于更新的 VLA 与更长时程任务。