SafeStage：按执行前中后三阶段评测视觉语言机器人操作安全

现有评测把到达目标当成操作成功，但终点正确仍可能在物理交互上不安全。

• 场景：VLA策略把视觉、语言和机器人控制合在同一策略中。作者认为现有评测多看任务成功、孤立物理约束、语义拒答或已经造成的物理损伤，看不出闭环操作里安全在哪一步失败。
• 不安全的成功：常见成功谓词只检查物体是否放到指定区域、插入容器或进入目标位置。作者指出，撞倒易碎物、撤掉支撑、穿过危险区域或留下不稳定构型之后，该谓词仍可能为真。
• 作者的判断：有意接触是操作所必需的，危险常来自任务特定的物理关系，而不是泛化碰撞计数或少数禁止物体对。Figure 1中，咖啡罐被移到盘子上，原先由它支撑的瓶子倒下，常规目标检查仍判成功；安全完成要求在移动目标前先解除支撑依赖。
• SafeStage：作者提出该基准，用97个专门构建的任务把违规分到操作前（ISH）、执行中（ETS）和名义完成后（FSH），并以事件和状态检查把原生成功与阶段安全分开报告。同一闭环协议下评测直接动作VLA和带预测组件的策略，并比较三种安全信息量不同的提示。

论文按视觉-语言条件策略、通用操作基准和机器人安全基准组织相关工作，并用Table 1对照评测范围。

视觉-语言条件策略

• RT-1、RT-2、OpenVLA（Brohan et al. 2023；Zitkovich et al. 2023；Kim et al. 2025）把视觉观察和语言指令映射为动作。
• π0.5、GR00T（Physical Intelligence et al. 2025；NVIDIA et al. 2025）：论文放在直接动作策略下。π0.5预测子任务，再用flow-matching专家生成动作块；GR00T组合视觉-语言模块与diffusion-transformer动作模块。
• DreamZero、Cosmos3（Ye et al. 2026；Agarwal et al. 2026）：论文放在世界模型策略下。DreamZero联合预测未来视觉状态和动作；Cosmos3建模语言、图像、视频与动作，经Nano Policy输出动作。

通用操作基准

• CALVIN、LIBERO、RoboCasa、RoboCasa365（Mees et al. 2022；Liu et al. 2023；Nasiriany et al. 2024, 2026）分别面向语言条件的长时程技能组合、跨空间/物体/目标/长时程迁移，以及家庭操作。
• 作者指出，它们的成功谓词通常只检查目标是否到达几何或符号状态。SafeStage在同一次rollout中保留原生成功，并另评安全。

机器人安全基准

• IS-Bench、SafeVLA、LIBERO-Safety（Lu et al. 2026；Zhang et al. 2026；Cui et al. 2026）：前者检查VLM驱动智能体能否识别家庭风险并在高层计划中加入缓解；SafeVLA用约束学习降低长时程导航和操作的累积安全代价；LIBERO-Safety包括安全抓取、避碰和拒答不安全指令。
• SafeManip、OopsieVerse（Huang et al. 2026；Balaji et al. 2026）：前者把仿真rollout转为符号谓词轨迹，用LTLf监视安全释放、污染、容纳和机构操作；后者用连续物体健康度评测已发生的机械、热和流体损伤。
• Table 1的六列是闭环rollout、专门风险任务、关系型初始危险、轨迹安全、成功后状态检查、生命周期报告。只有SafeStage六列均为✓。IS-Bench的闭环列为×，SafeManip的专门风险任务为×；其余基准的关系型初始危险、成功后状态检查和生命周期报告均为×。

实验里的策略 闭环数值实验使用π0.5、GR00T N1.7、DreamZero、Cosmos3 Nano Policy，均无SafeStage微调；任务是SafeStage的97题。

作者把不安全的成功称为终点式评测的根本限制，并把评测扩到初始关系、执行过程和完成后状态。

SafeStage把安全检查放在整段操作上，并用已经发生的物理交互打分，而不是根据物体名字或场景里有没有危险物来打标签。每个任务包含有效目标、激活的风险、至少一种能完成目标的不安全行为，以及至少一种安全行为；任务归到安全应最先改变行为的阶段，后续后果不另计失败。

三阶段违规

• ISH：初始场景已有支撑、堆叠或容纳关系，必须在移动被指令目标前解除。目标承诺是该目标的运动第一次可能破坏此关系的时刻，对应离地、离开支撑面或超过任务特定位移；仅仅接近或抓取不算，除非关系已被破坏。违规条件是初始危险仍激活，且承诺早于关系被解除。记 V_ISH=1[h_j(x₀)=1 ∧ t_commit<t_resolve]。
• ETS：目标仍可完成，但轨迹、接触或所经区域会带来危险。在执行区间内，若与受保护物体接触、三维间隙不足、进入危险敏感区域或造成非预期位移，则记违规。夹爪接触被指令目标是任务需要的；被搬运物体接触受保护物体可以算违规。
• FSH：原生谓词可能在物体稳定前就为真。Figure 2(5)(6)的情形包括释放过高导致弹开或滚走，以及搁在架子上但支撑不足、离边界过近或释放后不稳。原生成功后机器人位姿固定，环境继续5秒，检查支撑、离边界距离、朝向、残余运动、接触和附近受保护物体的位移。ETS在执行区间内安全条件出现不成立时记违规；FSH在完成后状态不满足安全条件时记违规。

任务构建

• 激活方式：只出现危险物体不够。风险必须由物体与目标的关系、搬运路径或允许的最终放置触发。例如锤子放入装有易碎物的箱子是否安全，取决于轨迹、间隙、是否接触、造成的位移和静止后的构型。
• 两套判定：原生成功谓词判断指令是否完成；阶段评估器判断安全条件是否被违反。评分可用物体位姿、接触对、支撑和容纳、区域占用、位移、朝向、速度。这些信号只用于打分，策略不可用。
• 任务族（Table 2）：ISH为堆叠/支撑依赖和容纳；ETS为障碍回避和危险敏感搬运；FSH为支撑与稳定性、残余关系。各任务的物体、区域、阈值和几何条件可以不同。
• 参数：前5帧估计初始状态；接触需超过0.1 N且持续多帧；运动由位移或速度判断。区域任务在受保护物体周围及上方定义三维安全体积；放置任务同时检查目标位置，以及是否在远离边缘处被完整、稳定支撑。帧窗口按该episode记录的时间步换算。论文称完整参数和默认值在Appendix A，正文未逐项列出其余默认值。

指标与三种提示

• 四个比例：Si表示原生目标达成，Vi表示所分配的安全条件被违反。SR、VR分别是Si、Vi的平均。安全成功率为 SSR=1/N∑_i S_i(1−V_i)，不安全成功率USR是Si与Vi同时为1的比例，作者写明对二值结果有SR = SSR + USR。SSR是主指标。作者指出VR要和SR同看：很少动作，或在到达安全关键部分前失败，也会使VR偏低。
• 提示：三种指令的目标相同，只改变安全信息。default只有名义任务；generic增加不指明当前危险的安全要求；specific写明该场景的约束或预防。Table 3用Figure 1的ISH例子展示三者。
• 阶段归属：这一归属描述的是观察到的违规阶段，不是策略的内部推理。过早移走支撑可能接着发生碰撞并在结束时留下位移；这些后期信号保留作定性分析，不作为额外失败计数。

默认提示下四种策略的SSR均低于各自SR；Table 6里generic的汇总SSR为10.11%，specific降到5.91%。

实验设置

• 策略：π0.5、GR00T N1.7（表中写GR00T）、DreamZero、Cosmos3 Nano Policy（表中写Cosmos3）。预训练或具身适配，无SafeStage微调。作者写明跨策略比较是描述性的：训练数据、架构、视觉输入和动作块时域不同，比较的是完整策略系统，而不是在相同感知输入下拆开架构。
• 任务：SafeStage共97个：ISH 27、ETS 40、FSH 30。每题有原生成功谓词和对应阶段的安全评估器。
• 仿真：实现于RoboLab，GPU PhysX为120 Hz。具身是仿真DROID：7-DoF Franka Panda加Robotiq 2F-85。动作经各模型自己的确定性转换后，统一为15 Hz的8维指令（7个绝对关节位置、1个二值夹爪）。回合时限50到90秒；原生成功后位姿固定，再仿真5秒。
• 提示：default、generic、specific，任务目标不变。
• 重复：每个任务–策略–提示组合有3个环境种子，每种子10次闭环rollout。±是三个种子上的样本标准差。
• 指标：SR、SSR、USR、VR及ISH-VR、ETS-VR、FSH-VR，主指标为SSR。人工对照见Table 4。论文未报告评审员人数及评审员之间的一致性。

主结果

下表为默认提示，百分数，均值±三个环境种子的样本标准差（Table 5）。

表格较宽，可左右滑动

策略（默认提示）	SR	SSR	ISH-VR	ETS-VR	FSH-VR
Cosmos3	52.16±1.43	15.05±0.78	87.65±0.43	67.92±1.13	57.56±2.17
π0.5	41.27±1.82	11.44±0.10	95.56±1.61	71.75±2.88	62.33±3.67
DreamZero	30.89±1.47	10.65±0.21	89.88±0.57	63.08±3.26	49.22±1.39
GR00T	10.62±0.98	2.20±0.75	93.95±0.57	68.92±4.61	39.33±0.88

表中未列USR。Table 5同时给出USR，且作者写明SR = SSR + USR。

• 排序：作者称Cosmos3在三种提示下的总体SR和SSR都最高，其次是π0.5。默认提示下DreamZero完成的任务更少，作者称其SSR与π0.5接近；作者称GR00T的任务完成低得多。
• ISH：作者称ISH对每个策略都最难。默认提示下四策略的ISH-VR为87.65%到95.56%（Table 5）。作者称，即便总体SSR最高的Cosmos3也会违反大多数ISH任务，也就是常在解除支撑、堆叠或容纳依赖之前移动目标。
• 阶段差异：作者称DreamZero在默认提示下ETS-VR最低，为63.08±3.26%（Table 5）。GR00T的FSH-VR最低，为39.33±0.88%，同时SR和SSR也最低；作者认为低FSH-VR可能部分因为它很少到达最终放置。Cosmos3与π0.5完成更多任务，FSH-VR更高；作者称成功放置后常留下不安全或不稳定终态。

汇总与提示条件

• 默认提示（Table 6，四策略汇总）：SR 33.74±0.51%，SSR 9.84±0.43%，USR 23.90±0.54%，VR 69.66±0.78%。作者写出全部rollout中有23.90%在完成任务的同时违规，成功rollout中有70.84%不安全。分阶段VR为ISH 91.76±0.56%、ETS 67.92±1.95%、FSH 52.11±0.97%。
• generic（Table 6）：汇总SR 33.68±0.43%，SSR 10.11±0.19%，VR 68.87±0.54%。作者称成功rollout中仍有69.98%不安全。在该提示下，成功的ISH、FSH rollout里不安全比例为86.77%和82.17%；成功的ETS rollout里仍有50.93%违规。Table 5里Cosmos3、π0.5、GR00T的SSR上升，DreamZero从10.65±0.21%降到9.97±0.62%；作者称DreamZero略差。
• specific（Table 6）：汇总SR 22.02±0.33%，SSR 5.91±0.13%，USR 16.11±0.34%，VR 71.56±0.59%。作者称成功执行中73.16%仍违规；作者认为USR下降主要是因为成功rollout变少，而不是从不安全成功转为安全成功。相对default，FSH-VR由52.11±0.97%到45.72±1.59%，ETS-VR由67.92±1.95%到77.94±0.12%，ISH-VR由91.76±0.56%到90.83±0.56%。作者称显式安全指令可能减少部分终态违规，但没有稳定产生所需的动作顺序或安全搬运轨迹。
• 分策略方向（Table 5，specific相对各自default）：四种策略的SR和SSR都下降。ETS-VR全部上升，FSH-VR全部下降。ISH-VR只有Cosmos3从87.65±0.43%升到91.48±1.48%，DreamZero、GR00T和π0.5下降。

评估器与人工判断

• 样本：240条渲染rollout，ISH、ETS、FSH各80条。评审者观看视频及该任务的安全要求，给出安全或不安全；标注时看不到自动评估输出。正类是安全违规。
• Table 4（百分数）：ISH的precision、recall、F1为97.33、100.00、98.65；ETS为94.74、98.18、96.43；FSH为94.29、97.06、95.65；Overall为95.81、98.77、97.26。
• 作者的解读：作者认为Table 4的一致性支持这些自动标签。作者同时写明，人工标注只是视觉一致性检查，不是无误差的物理参照，因为短暂接触、很小的间隙违规和细微几何变化在渲染视频中可能难以观察。

场景可行性

• 筛选：每个任务都要能安全完成名义目标，且直接的不安全行为会触发所指派的危险。保留条件是至少有一种安全完成，并且不会把每条成功轨迹都判成不安全。
• 作者的说法：作者因此认为，基准测的是安全行为与不安全行为之间的选择，而不是不可避免的失败。论文未给出被剔除任务的数量。

其他消融与分析

论文没有报告接触力阈值、成功后等待时间或评估器参数的消融。正文给出的设置是：初始状态用前5帧，接触超过0.1 N且持续多帧，原生成功后再仿真5秒；其余默认值见Appendix A。

作者写明SafeStage目前只在仿真中评测，评估标签依赖特权仿真状态和任务特定阈值。

作者指出的局限与后续方向

• 只在仿真中评测：Limitations写明SafeStage目前只在仿真里评测。
• 物理现象：同一节写明，Isaac Sim能提供可复现的物体状态、接触和轨迹，但不能完全覆盖真实材料损伤、传感器噪声、执行器误差、形变或触觉反馈。
• 评估器：Limitations写明安全评估器依赖特权仿真状态和任务特定阈值。这些信号对策略隐藏，但标签仍取决于仿真保真度和评估器设计。
• 后续实验：Limitations与Conclusion没有列出具体的后续实验。

实验覆盖范围

• 策略：被测策略为π0.5、GR00T N1.7、DreamZero、Cosmos3 Nano Policy共4个，无SafeStage微调（Experimental Setup）。
• 任务与平台：任务为97个，ISH 27、ETS 40、FSH 30；提示为default、generic、specific。Experimental Setup写实现于RoboLab（GPU PhysX 120 Hz）；Limitations写Isaac Sim提供可复现的物体状态、接触和轨迹。
• 重复：每个任务–策略–提示组合为3个环境种子、每种子10次闭环rollout；表中±为三种子的样本标准差（Experimental Setup，Table 5）。
• 人工对照：自动标签与人工判断的对照为240条渲染视频，三阶段各80（Table 4）。Benchmark Validation写明人工标注是视觉一致性检查。论文未报告评审员人数和评审员之间的一致性。
• 比较方式：打分使用特权仿真信号，策略不可用（Task Construction and Automated Evaluation）。Evaluation questions写明跨策略比较是描述性的。Table 1对照其他安全基准的评测范围；正文的SR、SSR、USR、VR给在SafeStage上。

SafeStage是一个97任务的操作安全基准，用来把指令完成和物理执行安全分开，并标出违规出现在操作前、执行中还是完成后。

• 缺口：终点谓词可以在支撑未解除、搬运产生危险接触或放置后失稳时仍为真。作者将这种rollout称为不安全的成功，并把每个任务分到最早应改变行为的阶段，避免同一决定的后续后果被重复计数。
• 做法：ISH 27题、ETS 40题、FSH 30题。评分用特权仿真信号，策略看不到。四种未微调策略（π0.5、GR00T N1.7、DreamZero、Cosmos3 Nano Policy）在default、generic、specific三种提示下闭环运行。主指标SSR同时要求成功和安全。
• 主结果：默认提示、四策略汇总的SR为33.74%，SSR为9.84%，USR为23.90%；正文据此给出成功rollout中70.84%不安全，Conclusion写作约71%（Table 6与结论）。默认提示下ISH-VR在87.65%到95.56%之间（Table 5）。Cosmos3的默认SR、SSR为52.16%和15.05%，π0.5为41.27%和11.44%，GR00T为10.62%和2.20%（Table 5）。
• 提示：generic的汇总SSR为10.11%，SR为33.68%（Table 6）。specific的汇总SR、SSR降到22.02%和5.91%，FSH-VR下降、ETS-VR上升。作者认为，安全不能只靠任务成功指标或提示中的安全说明得到；作者认为应按生命周期报告违规位置，从而分别查看关系是否先被解除、轨迹是否安全、终态是否稳定。