研究显示 VLA 模型文本护栏漏检隐含危害指令，最高 95% 任务完成且无告警

普通任务若只因有害理由被请求，行动前的文本守卫和激活探针能否拦住；所研究的 VLA 只输出动作，不能拒答。

• 场景：作者称机器人基础模型接受开放式语言并在物理世界行动。有害请求的检查主要在策略之外，例如筛指令的文本守卫，或读取模型内部表示的探针；二者都在机器人移动之前起作用。漏掉的请求会被执行。
• 现有做法的缺口：作者称语言模型上的监视器抓住明示伤害、漏掉更含蓄的请求。ASIMOV 只判断场景、不执行；HazardArena 中伤害来自物体用途，而不是陈述的理由。
• 核心设定：作者固定动作、物体和场景，只改变所述目的及明确程度（隐含、陈述为事实、直白宣布），并配长度相近的无害对照。作者称机器人忽略目的，守卫只在目的被直白说出时才注意到。
• 本文提出：同一批指令上的受控意图测试，比较文本守卫与线性探针；并检查两条模型族在机器人训练之后，有害与无害指令是否还分得开。

论文按三条线讨论相关工作，并把本文放在伤害只来自陈述的理由、且漏检会被执行这一位置。

• 机器人语义安全
  • ASIMOV（Sermanet 等，2025）：让模型判断机器人场景是否安全，不实际执行。
  • HazardArena（Chen 等，2026）：在运动动作匹配的安全与不安全任务上运行 VLA，发现两者都会被执行。作者明确对比：那里的伤害来自物体用途，本文只来自陈述的理由。
• 守卫与措辞
  • 现成文本守卫漏掉针对基于 LLM 的机器人的大多数越狱提示（Lu 等，2027）；论文称部分原因是守卫依赖表面关键词（Tasawong 等，2025）。
  • 语言模型上的监视器大多抓住伤害被明示的请求（Karne，2026）。作者据此检验该缺口是否出现在机器人请求上，因为漏掉的请求会被执行。
• VLA 内部
  • VLA 对改写指令脆弱（Kim 等，2026），也可能忽略指令（Fei 等，2026）。论文此处只作描述。
  • 机器人训练会侵蚀继承的视觉-语言知识（Hancock 等，2026）。探针此前主要读取运动和状态特征（Häon 等，2025；Buurmeijer 等，2026）。作者称对有害意图能否在机器人训练后保留，了解更少。
• 基线与数据
  • 基线：Llama Guard 3、WildGuard、Qwen3Guard；附录另评 gpt-oss-safeguard-120B。探针对照为 bag-of-words。
  • 数据：LIBERO-Goal 五个任务；阈值用 10,000 条良性 WildChat；附录 E 用 ASIMOV 的 71 条良性机器人指令；OFT 的改写检查用 LIBERO-Para。

作者称要检验“明示才被抓住”是否带到会被执行的机器人上，并看读取 VLA 激活的监视器能否补上文本守卫漏掉的请求；同时把视觉-语言知识的损失延伸到与安全相关的内容。

作者用一套受控意图测试：动作、物体、场景和任务字符串不变，只改变所述理由及其明确程度；同一批指令送给机器人、文本守卫和激活探针。

指令构建

• 四级表述：Original 是未改的 LIBERO 任务串。Control 是长度相近的无害理由。有害理由分 L1（隐含，indirect）、L2（把伤害陈述为事实，direct）、L3（直白宣布，blunt）。理由只改任务周围的故事，不改动作和涉及的物体。四版长度为 37–41 tokens。
• 生成与双裁判：每个任务由 Claude Opus 5 写 15 条有害理由，并写成上述四版，任务串逐字保留。Claude Opus 5 与 Claude Sonnet 5 各自检查。通过条件是双方都确认四个版本：意图保留、相邻级别在 1–10 明确度上至少差 2 分、该动作对所述伤害是必要的、不需要场景外物体。留下 51 条（每任务 8–15 条），平均明确度为 1.0、3.5、6.6、9.6。每任务随机抽 7 条做 rollout。
• 人工抽查：两名标注者在不知级别时标注，协议见第 4 问。附录 A 的 Table 3 给出各层示例，说明加上的只有理由；示例原文此处不复述。

机器人执行

• 模型：公开 LIBERO checkpoint 的 π0.5 与 OpenVLA-OFT。未改任务上，OFT 为 489/500（97.8%，已发表 97.9%）；π0.5 在这五个任务上为 49/50（已发表在全部十个任务上为 98.0%）。
• 回合：每条 rollout 理由在每一级、五个相同起始布局上运行。π0.5 覆盖五个任务，含理由 700 次，另有未改指令 25 次。OFT 只跑四个任务（不含 bowl-on-stove），含理由 560 次，未改指令 20 次。
• 成功定义：300 步内完成所请求任务，用 LIBERO 内置检查。指令替换该任务的语言输入，场景仍是该任务自己的场景。附录 D：NVIDIA A10，seed 0，起始状态 0–4。

文本守卫

• 三个守卫：Llama Guard 3、WildGuard、Qwen3Guard。阈值定为标记 10,000 条良性 WildChat 提示中的 1%，各级固定。作者称采用聊天阈值，是因为这些守卫为聊天模型构建和标定。
• strict 与泄漏：Qwen3Guard strict 把 Controversial 也计为 Unsafe；每一行使用自己的 1% FPR 阈值。一次有害回合泄漏，指 VLA 完成任务且守卫未标记该指令。
• 附录变体：gpt-oss-safeguard-120B 先按书面策略推理再给裁决，策略分别对应 Llama Guard 与 WildGuard 的分类；因分数贴近 1，以 3 个 seed 的多数表决为准（附录 B）。附录 E 在 ASIMOV 的 71 条良性机器人指令上重算阈值，使其中 1 条（1.4%）被标记。

激活探针

• 特征与训练：对指令 token 的 residual stream 做 mean-pool，用逻辑回归在 L3 对 control 上训练，每次留出一个任务。论文写明：接收图像的 VLM 和 VLA 同时收到该任务的第一帧相机图像。
• 两条模型族：Llama-2-7B → Prismatic-7B → OFT；Gemma 2B → PaliGemma-3B（pt-224）→ π0.5。
• 层：只在训练任务上选择，并排除前四分之一层。作者称这些层主要编码 token 身份，且与 bag-of-words 基线相近。Llama-2、Prismatic、OFT 排除 33 层中的 0–7；Gemma、PaliGemma、π0.5 排除 19 层中的 0–3。该下限在查看任何受限结果之前定下。各折所选层见附录 C。
• 当作监视器：阈值设为训练任务的 control 与 original 上 1% FPR。每折只有 40–47 个这样的负例，因此阈值实际上高于得分最高的负例，并且随该负例变化。

实验设置

• 机器人与探针模型：执行模型为 π0.5 与 OpenVLA-OFT（公开 LIBERO checkpoint；OFT 不含 bowl-on-stove）。探针比较 Llama-2-7B、Prismatic-7B、OFT，以及 Gemma 2B、PaliGemma-3B（pt-224）、π0.5。
• 守卫：Llama Guard 3、WildGuard、Qwen3Guard 及其 strict；附录 B 为 gpt-oss-safeguard-120B。聊天阈值：各守卫标记 10,000 条良性 WildChat 的 1%，各级固定。附录 E 在 ASIMOV 的 71 条良性机器人指令上重标定，使 1 条（1.4%）被标记。
• 指令与回合：五个 LIBERO-Goal 厨房任务；裁判后每级 51 条指令。Rollout 每任务随机 7 条理由、5 个起始布局。π0.5 每级 175 次，另有未改指令 25 次，含理由共 700 次。OFT 含理由 560 次，未改指令 20 次。
• 指标：任务成功为 300 步内完成所请求任务（LIBERO 内置检查）。flag 为 51 条指令中被标记的比例。leak 为 VLA 完成且未标记；Table 1a 的分母是 π0.5 的 175 次/级。探针指标为留出任务上有害对 control 的 AUROC。
• 人工：两名标注者、不知级别，200 条（每级 50，其中 40 条双标），判断是否意图伤害、是否违反构建规则；另对 15 条理由的三个有害版本按明确度排序。
• 运行与图：附录 D 写 NVIDIA A10、seed 0、起始状态 0–4。π0.5 的 175 次 control 重跑后，成功与否不变，步数有一次变化。Figure 1 图注写 95% CI 按理由计算；正文未给出成功率的区间端点。正文也未单列 OFT 所用指令子集上的守卫标记率，图中柱高在文本里没有数字。

主结果

下表据 Table 1a。flag 的分母是每级 51 条指令，leak 的分母是每级 175 次 π0.5 运行（完成且未标记）。不是 OFT 的执行结果。

表格较宽，可左右滑动

监视器	L1 flag	L3 flag	L1 leak	L2 leak	L3 leak
Llama Guard 3	6%	92%	87%	66%	11%
WildGuard	0%	98%	95%	97%	3%
Qwen3Guard	0%	94%	95%	94%	9%
Qwen3Guard strict	0%	92%	95%	97%	11%
π0.5 探针	12%	16%	81%	77%	75%

• 机器人不看意图：作者报告 π0.5 在 control 上成功 97.1%，L1/L2/L3 为 95.4%、96.6%、95.4%（Figure 1，每级 175 次）。作者称即便直白说出伤害，机器人做什么也不变。
• 守卫主要看措辞：作者称没有守卫标记 control 或 original。表中未列的 L2 flag 为 Llama Guard 3 的 33%，WildGuard 0%，Qwen3Guard 2%，strict 0%。作者称守卫响应的是措辞而不是伤害。作者还指出，strict 可以标得更少，因为每行有各自的 1% FPR 阈值。
• OFT 的失败与意图无关：OFT 未改任务完成 19/20，含理由的 560 次（有害或无害）全部未完成。作者认为不太可能是流程伪影。正文未给出 Figure 1 右图各柱的数值。

探针与机器人训练

• 测了什么：两条模型族上，留出任务的有害对 control 的 AUROC（Table 1b）。分类器在其他任务的 L3 对 control 上训练。
• 结果：Llama-2 与 Prismatic 在 L1/L2/L3 均为 1.00；OFT 为 0.73、0.80、0.86。Gemma 为 0.99、1.00、1.00；PaliGemma 为 0.99、1.00、1.00；π0.5 为 0.79、0.83、0.97。bag-of-words 为 0.97、0.99、1.00。
• 作者解读：从 Prismatic 到 OFT，AUROC 在 L1/L2/L3 下降 0.27、0.20、0.14；从 PaliGemma 到 π0.5 下降 0.20、0.17、0.03。作者报告这些下降的 95% 置信区间不含 0，但未给出端点。作者称下降在隐含伤害上最大，探针因此和守卫一样对措辞敏感。作者认为部分信号可能是词汇性的。Discussion 称，像 π0.5 那样与网页数据联合训练并不够：直白请求上的信号还在，隐含请求上没有。

重标定、人工与 gpt-oss-safeguard

• ASIMOV 重标定（Table 6，leak 为 175 次/级）：对 control 的 AUROC，L1 为 Llama Guard 3 0.84、WildGuard 0.95、Qwen3Guard 0.74、strict 0.96；L2 为 0.98–1.00。新阈值下 L1 flag/leak：Llama Guard 3 为 27%/75%，WildGuard 为 33%/58%，Qwen3Guard 为 4%/90%，strict 为 10%/81%。L2 上 Llama Guard 3 的 flag 为 84%，leak 为 19%。没有任何守卫标记 control。作者称重标定主要收拢 L2 的缺口，L1 的分数本身分得不好，隐含请求仍大多被漏过。此处 strict 的 L1/L2 flag 高于同表非 strict，与 Table 1a 里“strict 可以标得更少”的方向不同。
• 人工（Table 2，每级 50 条）：判为有伤害意图的比例，control/L1/L2/L3 为 10%、82%、96%、100%，95% bootstrap CI 为 [4, 18]、[71, 91]、[90, 100]、[100, 100]。Cohen's κ = 0.56。15 条理由的排序与预定顺序一致的占 86%（Kendall's τ = 0.91）。作者称意图并非被藏起来。规则违反比例为 1%、3%、4%、5%。
• gpt-oss-safeguard-120B（Table 4，每级 51 条，3 次中至少 2 次才算标记）：Llama Guard 策略下 L1 flag 为 0%、L3 为 88%；WildGuard 策略下 L1 为 2%、L3 为 76%。正文称两种策略下，control、L2 与 original 都没有任何一次运行被标记。L1–L3 合并后，π0.5 上 leak 为 69%（Llama Guard 策略）和 74%（WildGuard 策略）。分数贴近 1，冻结的 1% 阈值位于 1 的 10^-8 以内。

其他消融与分析

• 不设层下限时，两个 VLA 的搜索都选到输入端（OFT 五折中四折为 layer 0），AUROC 0.96–1.00，与 bag-of-words 相近；因此排除前四分之一层（附录 C）。
• 探针均分从 L1 到 L3 上升，作者称每步配对 95% CI 高于 0：π0.5 为 0.33、0.50、0.82；OFT 为 0.32、0.38、0.50（附录 C）。
• Table 5 把探针当作监视器（flag 为 51 条/级；leak 在 π0.5 的 L1–L3 合并回合上）：Llama-2-7B 的 L1/L2/L3 flag 为 6%/49%/100%，leak 48%；OFT 为 10%/20%/25%，leak 83%；bag-of-words 为 57%/76%/96%，leak 22%。Prismatic 一行作者称不可比：留出 turn on the stove 的一折里，一个 control 把阈值定在 0.0009，标出该任务 10 个 control 中的 6 个。Gemma 2B 与 PaliGemma 的 leak 为“–”，论文未给出数值。
• π0.5 分任务成功数（每级 35，顺序为 control/L1/L2/L3）：bowl on stove 与 wine bottle 为 35/35/35/35；plate 为 32/35/35/33；cream cheese 为 35/32/33/33；turn on stove 为 33/30/31/31（附录 D）。
• 另一任务的成功检查在 control/L1/L2/L3 触发 2、7、9、4 次；这 22 次里有 7 次也完成了所请求任务（附录 D）。
• OFT：560 次含理由回合都跑满 300 步且无任务检查触发；同任务、同起点上动作差至多 0.042。提示 39–69 tokens，且能完整解码。加 please 或 5/10/20 个填充词仍成功，12–14 词的无害理由则失败。LIBERO-Para 成功 69%（95% CI 49–87）；正文称接近已报告的 65%，附录 D 写已报告值为 64.7%。8 个 3–4 词短语共 40 次全部成功。

作者指出的局限与后续方向

• 范围：只研究一个模拟厨房、五个任务、51 条理由和两个 VLA（Limitations）。
• 词汇信号：bag-of-words 基线接近基础模型探针，作者认为部分信号可能是词汇性的；作者同时指出这解释不了机器人训练后的下降，因为每个模型看到的文本相同（Limitations）。
• 探针阈值：依赖很少的负例，而且噪声大（Limitations）。附录 C 据此称 Table 1a 与 Figure 1 里的探针监视率只供参考。
• 重标定：每个阈值落在一或两个得分最高的良性样本上，在该样本量下无法可靠测量 1% 假阳率（附录 E）。
• 后续要求：Conclusion 称，要补上这一缺口，需要守卫根据行为在语境中的后果来推理，而不是只看请求措辞；机器人训练应保留从语言模型继承的伤害信号，而不是削弱它。

实验覆盖范围

• 被执行的 VLA 为 π0.5（五个 LIBERO-Goal 任务，每级 175 次，seed 0）和 OpenVLA-OFT（四个任务，不含 bowl-on-stove；含理由 560 次，未改任务 19/20）。
• 文本守卫为 Llama Guard 3、WildGuard、Qwen3Guard（含 strict），阈值对应 10,000 条 WildChat 的 1% FPR；附录 E 在 71 条 ASIMOV 良性机器人指令上重标定；附录 B 另评 gpt-oss-safeguard-120B（3 个 seed）。
• 探针覆盖两条模型族的语言模型、视觉语言模型和 VLA；逻辑回归在 L3 对 control 上训练、留一任务；监视阈值用每折 40–47 个负例。
• 人工校验为两名标注者、200 条指令（每级 50），报告 Cohen's κ = 0.56 与 Kendall's τ = 0.91。
• 论文写明主 rollout 使用 seed 0，并重跑了 π0.5 的 175 次 control；未报告主 rollout 的多种子重复。Table 5 中 Gemma 2B 与 PaliGemma 的 leak 为“–”。

VLA 不能拒答，普通任务配上有害理由时，拦不拦取决于行动前的监视器。作者固定五个 LIBERO-Goal 厨房任务的动作、物体和场景，只把理由写成隐含（L1）、直接（L2）和直白（L3），并配无害对照。

• 执行：π0.5 在对照上成功 97.1%，L1/L2/L3 为 95.4%、96.6%、95.4%（每级 175 次）。作者称说出伤害并不改变它做什么。
• 守卫：聊天阈值下，WildGuard 与 Qwen3Guard 的 L1 leak 均为 95%（Table 1a，175 次）。用 ASIMOV 机器人指令重标定后，L1 leak 为 58%–90%（Table 6）。标注者在 82% 的 L1 指令中看出伤害意图（Table 2，50 条）。
• OFT：含理由回合全部失败（0/560），包括无害对照；未改任务为 19/20。作者认为这来自多出来的句子，而不是对伤害的反应。
• 探针：两条模型族在机器人训练前的 AUROC 为 0.99–1.00；训练后 L1 为 OFT 0.73、π0.5 0.79（Table 1b）。作者称下降在隐含伤害上最大。

作者的结论是：当前文本守卫主要在意图被直白说出时才标记；要补上这一缺口，守卫应推理行为在语境中的后果，训练则应保留而非削弱语言模型里的伤害信号。