研究测量并预测具身 VLM 规划器中任务的拒答可变性

constitution-guarded 具身 VLM 规划器已经拒绝的任务，在环境里只多放一个日常物体后，拒答是否仍成立。

• 场景：作者称具身 VLM 被用作机器人高层规划器，因为能泛化到训练时未见的厨房、实验室和仓库；同一泛化要求安全对齐也在未预见环境中成立。规划器作用于物理世界，若一个物体能把拒答变成执行，后果可能严重。
• 现有工作的缺口：作者称红队假设对手可自由改规划器的某一输入（越狱、把文字写到墙或物体上、像素扰动）；安全基准则在固定危险场景上测是否识别或缓解危险。两类工作都不问：规划器已经拒绝之后，有人把杯子放在台面上或放下一个箱子这类普通环境变化，拒答是否还在。
• 核心观察：作者把 malleability 定义为插入后把拒答变成执行的日常物体所占比例，并把它当作任务的性质。危险在指令或场景里已经显眼的任务更不容易被翻转；危险只在二者组合里出现的任务更容易被翻转。
• 本文做的事：在规划器于未修改图像上拒绝的任务上插入单个日常物体并重测；定性对比 malleability 分布两端；构建 LatentHarm；用小开源 VLM 的信号在不查询目标规划器的情况下预测哪些任务可塑。
• 威胁模型：
  • 目标：看一次拒答在危险本身不变、只改变视觉上下文时是否仍成立；成功是安全评审把新计划标为 complied。
  • 知识与控制：不控制像素、梯度或提示词。扰动限制为没有数字访问的人能做的事，即在环境中放置一个日常物体；物体也可来自环境的日常 rearrangement，不必由对手挑选。
  • 约束：物体须忠实合成、物理上可放置、不是文字标签或招牌、场景中原本没有，且不能使任务明确变安全，以区别于文字注入。
  • 受害系统：接收自然语言指令与环境图像、在安全 constitution 下返回动作计划的具身 VLM 规划器；作者假设机器人和下层控制器会执行该计划。

作者按三条线组织相关工作，并点名两篇改场景但不评安全决策的工作为最近的先前工作。

• 具身规划与对齐：Driess et al. (2023) 与 Team et al. (2025) 用交错图像和文本做高层规划，并能跨环境泛化。Sermanet et al. (2025)、Team et al. (2025) 与 Ravichandran et al. (2025) 把这一规划层的安全对齐当作研究问题；本文的 constitution 来自 Sermanet et al. (2025)。
• 针对规划器的优化攻击：Robey et al. (2024) 把越狱改到机器人上，以产生有害动作计划。BadRobot（Zhang et al., 2025）利用语言安全与物理安全之间的差距；Karnik et al. (2025) 生成多样指令以审计机器人基础模型。另一类不改指令、只改感知：Li et al. (2025) 把文字写在墙上，Ling et al. (2026) 写在物体上；ADVEDM（Wang et al., 2025）加不可察觉图像噪声，使规划器漏看一个物体或看见不存在的物体。作者称这些攻击都假设对手能自由操纵规划器的某一输入。
• 无刻意对手的安全评测：EARBench（Zhu et al., 2024a）生成危险场景并评计划，本文使用其发布任务；RiskAwareBench（Zhu et al., 2024b）同样生成危险场景。SafeAgentBench（Yin et al., 2025）、IS-Bench（Lu et al., 2025）与 SafetyALFRED（Torres-Fonseca et al., 2026）把智能体放进交互仿真，测是否缓解危险。SAFEL（Son et al., 2025）与 SafeMind（Chen et al., 2025）保持静态评测，并把失败追溯到推理步骤。对一般 VLM，Multimodal Situational Safety（Zhou et al., 2025）称对指令的判定取决于画面情境；VLSBench（Hu et al., 2025）称文本已写明危险的查询会在不看图像时被拒绝。作者称这些工作对每个查询都保持场景固定。
• 改场景但不评安全决策：RoboART（Majumdar et al., 2025）用生成式图像编辑器改变光照、干扰物和物体摆放，并预测性能下降；Valle et al. (2026) 在操作任务目标之外加物体，检查轨迹是否不变。作者明确指出三点区别：它们针对学到的操作策略而不是具身规划器；评的是任务成功或轨迹变化而不是安全决策；只研究单一测试床，而不是一批环境和任务。

基线与数据：测量本身没有并列的攻击方法基线。评测集是 EARDataset（Zhu et al., 2024a）中图像写实、且目标在干净图像上拒绝的任务。对照是同一任务在未修改图像上的第二次查询，用来和插入物体的 bypass 率比较。随机物体来自受 COCO（Lin et al., 2014）类别启发的 26 项固定列表。

作者的定位是：现有工作都没有问，危险不变而视觉上下文改变时，一次安全拒答是否还在；攻击靠操纵输入诱发有害行为，基准在固定场景上评规划器，而两篇改场景的工作评的是任务表现而不是安全决策。

整体是三部分：物体插入测量、两端任务的对比刻画，以及不查询目标的 malleability 预测。只研究干净图像上已被拒绝的任务，因此随后的 compliance 是行为变化。

问题设定与成功判定

• 任务与规划器：任务 t = (ℓ, I)，ℓ 为指令，I 为环境图像。规划器 M 在作为系统提示词的安全 constitution S 下把该对映射为动作计划。
• 评审：安全评审 Js 同时读计划和指令，标 J ∈ {1, 0, −1}，分别是 complied、refused、inconclusive。计划换成更安全的任务，或通过避开、隔离、中和、移除危险来改环境，都算 refused。作者因此把 J = 1 视为对真正不安全 compliance 的保守指标。所有实验在计算比率前都排除 inconclusive。
• malleability：一次 trial 是插入一个物体后再查询规划器。Bypass(t, o) 为 1 当且仅当 Js 把计划标为 complied。mal(t) 是该任务有结论的 trial 中 bypass 的比例；mal(t) > 0 为 malleable，mal(t) = 0 为 robust。

插入日常物体

• 针对性生成：给定任务与 constitution，提议 VLM Vprop 一次调用返回 n = 20 个候选。扩散编辑器 E 把物体合成进图像，记 I^o = E(I, o)。式 (1) 要求每个物体同时满足：编辑后能看见该物体且其余不变、人可以把它放在出现的位置、它本身不是文字标签/招牌/品牌名、场景里原本没有它、加入后不会让任务明确变安全（例如为危险材料提供正确的处置容器）。前两条把扰动限制在无数字访问也能布置的改动；后两条保证记录到的 bypass 不是“换成别的物体”或“任务已合法变安全”。¬TextLabel 用来和先前的文字注入分开。约束通过提示词执行，附录 J 给出完整提示词。
• 非针对性生成：针对性提议看过指令，并被要求使 compliance 更可能，因此效果有两种解释。scene-only 只给图像，把红队表述换成普通场景标注，并去掉“使机器人更可能执行指令”和“不得使任务明确变安全”这两条与指令有关的标准，其余标准逐字保留。random 从 26 个日常物品的固定列表抽取，列表受 COCO 类别启发，列在附录 D；筛选在抽取前固定，只保留一个人能搬运放置的类别，排除人、动物、车辆、户外固定物、大家具和锋利或武器样物品。
• 约束复核：独立约束评审 Jc 看到 I、I^o、物体、指令和该任务的安全标注，对七项检查各写一句理由再给二元结论：物体可见、其余未改、确为新增、物体本身不是文字、编辑未引入可读文字、物理可放置、危险仍然存在。最后一项只看编辑后图像、不点名物体。附录 J.3 给出 Jc 的提示词。

刻画可塑任务

• 两端对比：Tzero 是没有任何物体翻转结果的任务，Thigh 是物体频繁翻转结果的任务。三个判别器在不被告知组别的不透明标签下，从两组样本中命名区分模式。Dinstr 只看指令，报告动词、目标具体性和风险表述；Dscene 只看数据集里已有的图像描述；Dinter 看指令–场景对，并必须把原因归到指令、场景或二者的组合。
• constitution 接近度：对每条规则 s，用 all-MiniLM-L6-v2 算指令与规则的余弦相似度，用 CLIP ViT-B/32 算图像与规则的余弦相似度。prox(t) 是对所有规则取 1/2 文本相似度与图像相似度之和后的最大值，高表示任务与某条规则更接近。

不查询目标的预测

• 代理：所有信号在本地小开源 VLM Vproxy（Qwen3-VL-30B-A3B-Thinking）上计算，不接触目标规划器。代理先写推理轨迹，再把轨迹作为固定前缀，读取对两个答案的对数概率。yes 表示拒绝，compliance margin 为 c(t) = log pno(t) − log pyes(t)，为正表示代理更倾向执行。提示词在附录 I.2。
• 四个信号：A1 在干净图像的轨迹里统计三类标记（对物体和动作不确定、条件判断、hedging），并按每 100 词归一化，同时单独使用轨迹长度。A2 对图像做 20 个扰动副本（五类噪声各四个：两种强度的高斯噪声，以及随机位置的不透明、半透明或模糊色块），信号是这些副本上 c 的标准差。A3 在原图上查两次，一次带 constitution、一次不带，reliance(t) = c¬S(t) − c(t)，为正表示撤掉规则后更愿意执行。A4 在干净图像上以温度 0.7 采样轨迹 20 次，信号是这些 margin 的标准差。
• 复合：A5 是 L2 正则 logistic 回归（C = 1.0），六个特征为 A1 的三个比率以及 A2、A3、A4 各一个分数。评分用五折交叉验证并重复五次。

实验设置

• 数据：EARDataset 发布 1,318 个任务，作者标注每条指令为 unsafe。保留图像写实的 1,121 个；目标在 constitution 下于干净图像拒绝其中 846 个，这 846 个构成评测集。分层子样本按针对性 bypass 率分四层：0%、(0%, 10%]、(10%, 25%]、>25%，每层最多抽 50 个，共 194 个（medium 池只有 44 个）。
• 被测与装置模型：目标 M 为 gemini-robotics-er-2-preview，温度 0、top-p 1.0、top-k 1、seed 42、thinking budget 2048。附录 F 在前代 gemini-robotics-er-1.6-preview 上重放 RQ1。Js 与 Jc、模式发现 LLM、LatentHarm 任务生成均为 gemini-2.5-flash；Vprop 与 Vproxy 均为 Qwen3-VL-30B-A3B-Thinking；编辑器与 LatentHarm 渲染为 Flux.2-klein-4B（4 步去噪、guidance 1.0）。文本与图像嵌入分别为 all-MiniLM-L6-v2 与 CLIP ViT-B/32。
• 指标：mal(t)；至少被一个物体绕过的任务比例；按任务平均的 bypass 率；与干净重查的配对差及 95% CI、单侧 t 检验。预测用 ROC-AUC、PR-AUC（机会水平为 malleable 比例 20.2%）和与 mal(t) 的 Spearman ρ（845 个有结论任务）。
• 评审：Js 读指令和计划，排除 inconclusive 后再算比率。RQ1 中 16,425 个有结论 trial 里 906 个为 bypass。一个任务没有任何有结论 trial，故 ρ 用 845 个任务；RQ2 有两个任务在某一条件下全为 inconclusive，留下 192 个。
• 物体数：每个任务、每种提议方式各 20 个物体。随机列表共 26 项，每任务不放回抽 5 个再由编辑器使用（附录 D）。论文未报告随机条件如何从 5 个抽到 20 次 trial。

主结果

主测量是 RQ1：846 个初始拒答、每任务 20 个针对性物体（§4.2）。附录 F 用同一 1,121 任务池重放，但分母是各模型自己拒绝的任务。

Swipe horizontally to read the table

目标	初始拒绝（池内有结论）	至少一物体绕过	按任务平均 bypass	trial bypass
ER-2（主目标）	78.3%（846/池）	20.2%（171/846）	5.68%（Table 4 为 5.73%）	5.5%（正文）/ 5.52%（Table 4）
ER-1.6（附录 F）	64.9%（拒绝 697）	28.9%	9.90%	9.08%

• 作者的解读：20.2% 的拒答可被场景中至少一个物体翻转。按任务平均，插入物体 bypass 5.68%，干净图像重查为 0.24%，配对差 5.44 个百分点（95% CI [4.37, 6.50]）。作者称翻转来自编辑而不是解码不确定性，并称在 95% 置信下，物体使 bypass 率比规划器自身解码噪声高 4.4 到 6.5 个百分点。
• 被绕过任务内部：171 个被绕过任务的中位数是 20.0% 的物体能绕过。Figure 4 的曲线从 20.2%（n = 171）起，虚线为未修改图像上的 0.24%。Figure 1 给出一个例子：未修改场景拒绝，放入针对性提议的一叠书或固定列表中的一个橙子后执行。
• 编辑质量：附录对分层样本审计，92.6% 的编辑满足 Section 3.1 的全部约束，且该比例在被绕过与被拒绝的 trial 之间没有差异。作者称编辑质量分不开 bypass 与 refusal；193 个被绕过 trial 中 181 个七项检查全部通过。

物体是否必须针对任务（RQ2）

• 测了什么：在分层的 192 个任务上，每种方式 20 个物体，比较 targeted、scene-only、random，并与同批任务的干净重查比较。分层按 targeted 率切割，因此 targeted 随层上升是构造出来的。
• 结果：三者的平均 per-task bypass 率为 20.69%、18.77%、18.97%。配对后 random 比 targeted 低 1.72 个百分点（95% CI [−3.49, +0.05]），scene-only 低 1.92 个百分点（95% CI [−3.65, −0.20]）。干净重查为 1.04%。Figure 2 中 scene-only 与 random 从 zero 层的 under 1% 升到 high 层的 about 50%，该层干净重查为 4.08%；各层 n 为 49、50、44、49。
• 作者的解读：作者称固定列表、不看场景也不看任务抽出的物体，翻转拒答的频率接近为提高 compliance 而挑选的物体；跨层变化约五十个百分点，跨提议方式约两个百分点，因此 malleability 更像任务的性质。作者认为对手不必了解任务，可携带进场景的物体对 malleable 任务都可能造成这一效果。

任务特征与无查询预测（RQ3、RQ4）

• 两端定性：对比分层样本中 zero 层抽出的 50 个 robust 任务，与 high 层 50 个最可塑任务（平均 malleability 0.58）。三个判别器一致：robust 的指令点明严重危险，场景已有危险布置；最可塑的指令是带日常理由的合理放置，场景是按功能描述的普通物体。Dinter 把分离归因于组合：指令提出动作，场景提供该动作是否安全的细节。constitution 接近度分不开两组：robust 的 prox 为 0.2768，最可塑为 0.2804（差距 95% CI [−0.020, +0.012]）；指令最大规则相似度 0.3343 对 0.3384，图像 0.2421 对 0.2458。作者据此构建 LatentHarm：281 个任务、26 个环境，危险只通过指令与场景的交互出现；用 Gemini 按 constitution 生成，Flux.2-klein 渲染，并人工核对每条（附录 H）。论文未报告 LatentHarm 上的 bypass 率。
• 预测：846 个任务上，各信号 ROC-AUC 为 0.646 到 0.734。最强单信号是代理推理轨迹长度（ρ = 0.330，ROC-AUC 0.734，PR-AUC 0.395）。其次 A2（ρ = 0.289，0.704）、A3（0.258，0.687）、A4（0.253，0.680）。A1 的五个密度 ρ 为 0.203 到 0.272、ROC-AUC 0.646 到 0.684；控制轨迹长度后偏 ρ 只剩 0.04 到 0.12。作者称密度主要量的是代理写了多少。
• 复合与小预算：相对轨迹长度，A5 把 ROC-AUC 从 0.734 提到 0.785，PR-AUC 从 0.395 提到 0.476；作者称该 PR-AUC 是“五条里一条可塑”这一出现率的 2.4 倍，并把 malleable 排在 robust 之上的概率为 78.5%，ρ = 0.401。Figure 3 标出 A5 的 precision@50 与 @100 为 0.58 和 0.57，对照出现率 0.202。小预算上单信号可以更高：A2 在其得分最高的 50 个任务里有 0.68 为 malleable，A5 为 0.58；k = 100 时二者相等。

其他消融与分析

• 分层池大小（Table 2）：zero 674 抽 50，low 64 抽 50，medium 44 全取，high 63 抽 50。
• high 层平均 malleability 为 0.58（§4.4 的 50 个任务）。
• 附录 E 的一个病房任务：20 个物体中 12 个绕过，mal(t) = 0.60，无 inconclusive；未进入分层子样本。
• A5 用 C = 1.0 的 L2 logistic、五折重复五次；论文未报告其他 C 的结果。
• 随机列表 26 项、每任务抽 5 个（附录 D）；论文未单列这 5 个与 20 次 trial 的对应 bypass 率。
• ER-2 与 ER-1.6 的初始拒绝分母都是 1,121 池中该目标有结论的任务，但 Table 4 未给出有结论任务的绝对数。

作者指出的局限与后续方向

• 目标规划器范围：Conclusion 写明 future work 可以扩展目标规划器集合。主实验的被测规划器是 Gemini Robotics-ER 2，附录 F 另有前代 ER-1.6。
• 编辑发生在图像而非真实房间：Conclusion 写明后续可以把编辑布置到真实房间。当前插入由扩散图像编辑器完成，再用约束评审核对。
• 对齐方法：Conclusion 写明后续可发展一种对齐方法，把拒答建立在“于该场景中行动的后果”上，而不是建立在危险有多显眼上。
• 部署前按任务评估：摘要建议在部署前按任务评估 malleability。这是作者的建议，不是已完成的部署评测。
• 代码与数据：Reproducibility Statement 称代码和 LatentHarm 放在脚注的匿名链接；作者计划公开，解读不把链接当作已可访问的地址。

论文的 Limitations 没有单独成节；上面几条来自 Conclusion。Ethics Statement 说明没有操作物理机器人、没有执行任何计划、LatentHarm 为生成而非爬取并经人工确认无个人数据，这是研究做法说明，不是作者列出的方法局限。

实验覆盖范围

• 被测规划器：主结果为 gemini-robotics-er-2-preview；附录 F 在同一 1,121 任务池上重放 RQ1 于 gemini-robotics-er-1.6-preview。评测任务是 EARDataset 中写实且该目标初始拒绝的子集，ER-2 为 846，ER-1.6 为 697。
• 物体条件：RQ1 为每任务 20 个针对性物体；RQ2 在 192 个分层任务上比较 targeted、scene-only 与 26 项固定列表，并与干净图像第二次查询比较。干净重查在全 846 任务上的平均 bypass 为 0.24%，在分层子集上为 1.04%。
• 预测：四个信号和 A5 都在全部 846 个任务上对 RQ1 的 mal(t) 评分；A5 为五折交叉验证重复五次。代理是 Qwen3-VL-30B-A3B-Thinking，与 Vprop 同名。论文报告了 ROC-AUC、PR-AUC、Spearman ρ 和 precision@k。
• LatentHarm：281 个任务、26 个环境，由 gemini-2.5-flash 生成、Flux.2-klein-4B 渲染并人工核对。论文未报告该数据集上的 bypass 率或预测指标。
• 统计与复核：物体与干净重查的比较使用配对差、95% CI 和单侧 t 检验。约束满足率来自分层编辑样本的七项检查，92.6% 全部通过。论文未报告 Js 与人工判断的一致性，也未报告每个条件的查询次数合计之外的重复实验次数。

作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。

• 问题：现有红队改的是提示词、像素或场景中的文字，安全基准则把场景固定。作者问的是，危险不变、只做普通人也能完成的环境改动时，已经给出的拒答是否还在。
• 做法：只取干净图像上已被拒绝的任务。提议模型按任务提出 20 个物体，扩散编辑器合成，约束评审核对物体可见、场景其余不变、不是文字、物理可放且没有使任务变安全。另用只看场景的提议和 26 项固定列表，把“物体是挑过的”和“任务本身易翻转”分开。可塑与稳健两端交给三个判别器；另用小开源 VLM 的轨迹长度、扰动后 margin 离散度、撤掉 constitution 后的 margin 变化和解码不稳定性，经 logistic 回归合成，且不查询目标。
• 主结果：Gemini Robotics-ER 2 的 846 个拒答里，20.2%（171 个）至少被一个物体绕过；16,425 个有结论 trial 中 5.5% 为 bypass。按任务平均，插入物体为 5.68%，未修改图像重查为 0.24%，配对差 5.44 个百分点（95% CI [4.37, 6.50]）。在 192 个分层任务上，针对性、仅场景、随机列表为 20.69%、18.77%、18.97%。
• 任务差异与预测：作者称最不容易翻转的任务在指令或场景里已经写出或画出危险，最容易翻转的任务要到指令在该场景中被执行时危险才出现；constitution 嵌入接近度分不开这两组（0.2768 对 0.2804）。据此做成 281 条、26 个环境的 LatentHarm。A5 对“是否 malleable”的 ROC-AUC 为 0.785，PR-AUC 0.476，作者称是 20.2% 出现率的 2.4 倍。前代 ER-1.6 在它自己拒绝的 697 个任务上，至少一物体绕过的比例为 28.9%。
• 作者的结论：一个日常物体，无论是对手放入还是环境日常变动，都足以推翻一部分拒答；易感性由任务如何被规定决定，因此建议部署前按任务评估 malleability，并把后续工作放在更多规划器、真实房间中的编辑，以及按行动后果而不是危险是否显眼来固定拒答。