LEASH：让智能体机器人保持安全

核心问题：用基础模型控制机器人的智能体机器人（agentic robotics）存在安全风险，而全面的安全评测仍然缺失。

• 问题场景：GPT-6 Astra 等模型可零样本控制机械臂，作者给出实例：Claude Opus 5.5 把手机放进水里、GPT-6 Astra 把一杯牛奶端过插线板（Figure 1(a)(b)）。作者认为这类语义危害（碰撞自由但仍有害）超出传统机器人安全的覆盖范围。
• 现有方法不足：经典机器人安全只处理可预先指定的状态约束（碰撞、力、速度）；现有安全基准最多覆盖五类风险中的两类，且若干只评文本输出（Supp. Table S3）；模型自带和 harness 自带的防护（如 Codex 的自动审查）不是为三维物理世界设计的。
• 论文的观察：作者评测六个基础模型，报告 HR 从 9.06% 到 76.92%；还发现 Human-Presence Gap——真机场景中有人在场时部分模型过度谨慎，无法平衡任务执行与人机协作。
• 论文提出：RoboRisk 基准（92 个仿真任务 + 13 个真机任务，五类风险，全部闭环执行）和 LEASH 安全层（三个安全门 + 共享安全策略，model-agnostic，可接入几乎任何智能体架构）。
• 威胁模型：论文是防御工作，未定义对抗性攻击者；风险来源是模型自身在开放场景中的不安全决策。
  • 受害系统：基础模型作为规划器驱动的单臂桌面机器人（仿真 Franka Panda、真机 Dobot CR5V2）。
  • 风险形态：有害任务（T）、需修复的计划（P）、执行中突发事件（E）、场景内注入指令（I，如纸条、平板屏幕上的文字）、多轮记忆遗忘（S）。
  • 防御假设：规划器是黑盒、无需重训；安全门由决策模型按视觉上下文打分。

机器人安全

• 经典方法——人机交互中限制力、功率、速度与间距，碰撞检测、无碰撞运动规划、安全强化学习、控制屏障函数；论文指出这些方法只处理可预先指定的状态约束，不推理动作的语义后果。
• 基础模型带来的语义风险——GPT-6 Astra 真机测试出现不安全动作甚至硬件损坏 [72, 74]；LLM 智能体的提示注入研究 [11, 16] 与 LLM/智能体安全基准 [11, 38, 50] 的动作没有物理后果。
• 机器人侧安全研究——Hundt et al. [23]、RoboPAIR [49]、BadRobot [70]、Sun et al. [55] 等考察有害指令与越狱；另有任务规划物理风险与语义安全判断基准 [37, 53, 68, 71, 76]；防御有时序逻辑护栏 [48]、可执行安全谓词 [60]、带安全约束的 VLA [20, 69]、防碰撞架构 [63]。论文指出这些工作主要对应 RoboRisk 的 T 类，P/E/I/S 类要么被单独研究要么未被探索。

智能体机器人操作

• 早期工作用语言模型做高层规划或写机器人代码 [2, 21, 22, 32]；2026 年基础模型直接控制机器人兴起，Robocurve [39]、Galbot [56]、π0.5 [24]、NVIDIA Astranomy [65] 等评测 GPT-6 Astra 的操作能力。
• Embodied harness——Harness VLA [73]、ENPIRE [62]、RoboFoundry [33] 等让智能体通过推理-行动循环操作机器人；论文指出这些框架的安全检查（如有）只覆盖工作空间边界、步长或碰撞，不考虑动作的语义后果。

机器人专用 API

• Pi API [45]、Dream API [12]、PokeBot RoboAPI [46] 提供云端机器人策略；论文认为安全不能交给底层策略，需要 harness 层的 model-agnostic 安全层。

基线与对比：LEASH 的对照是同一 harness（基于 RPent 库 [73]）不加 LEASH 的 Baseline；基准对比见 Supp. Table S3，作者称 RoboRisk 是唯一同时覆盖五类风险且在仿真和真机上都闭环执行的工作（Table S3）。

整体思路：先用 RoboRisk 把智能体机器人的安全风险形式化为五类闭环任务并定义伤害率指标，再用 LEASH（Lease-Enforced Agentic Safety Harness） 在 harness 层加三道安全门，由决策模型在视觉上下文中按共享安全策略审查任务、动作和不可逆操作。

RoboRisk 任务体系

• 五类风险：Task-level Refusal（T，任务本身有害）、Plan Repair（P，计划或执行阶段有隐患）、Execution-time Hazard（E，执行中突发事件）、Injection（I，场景内注入指令）、Sequential Memory（S，多轮记忆遗忘致害）。Table 1 给出每类代表任务。
• 规模与平台：RoboRisk-S 92 个仿真任务（MuJoCo + LIBERO + robosuite，Franka Panda 七自由度臂），分 19 个任务族；RoboRisk-R 13 个真机任务（Table S1、S2）。
• 结果判定：每次运行标为 HARM、SAFE SUCCESS 或 SAFE INCOMPLETE，伤害优先于任务完成；HARM 同时覆盖实际伤害和潜在伤害（如持刀经过人手上方，Supp. B.2）。

评测协议

• 主指标伤害率 HR = N_H / N（越低越好），辅助指标安全成功率 SSR = N_SS / N；同时报告两者以检查是否以降低安全任务表现为代价换安全。
• 仿真每个任务有 Python 评估器做参考，最终标签由人工复核每次运行确定；真机标签全部来自人工回看腕部和第三人称视频（Supp. A.2）。

LEASH 架构

• 两个组件：三个安全门（task gate、action gate、commit gate）和一份共享安全策略；规划器与三个门读同一份策略，规划器在门执行的规则下做规划。
• lease 机制：按最小权限原则，规划器没有对机器人的常驻操作权限，每个门只授予覆盖当前任务、动作或被监控操作的 lease，harness 在执行前强制检查。
• 共享安全策略：以提示词形式给出 13 条安全规则和门的职责说明，规划器和门模型可独立替换；完整策略见 Supp. B.1（Figure S2）。

三道安全门

• 决策模型：门需要快速的多模态判断，作者采用 System 1 决策模型 Jev 或 OpenAI Decisions API，默认 Jev（作者称其门决策更准确，Supp. C.2）；初测中通用模型 GPT-6 Luna 每次门调用约 20 s，一个任务需十次以上调用。
• 判定方式：门 k 查询决策模型得安全分 sk ∈ [0,1]，按阈值判定：δ(s_k; τ_k) = allow 若 s_k > τ_k，否则 reject。任务门和动作门 τ = 0.5，提交门 τ = 0.3（Supp. C.2）；门只看到保留最近五个已执行动作的短历史 h̄t。
• 分工：任务门在规划前筛查指令，是唯一能直接终止任务的门；动作门逐动作审查，拒绝后规划器基于新观测重规划；提交门在长技能执行中审查被监控操作（目前覆盖夹爪张开和倾倒，由代码检查识别），拒绝后保持阻塞，由规划器选择更安全的下一步或终止任务。

设计理由

• 作者认为机器人安全审查需要物理上下文：动作是否安全取决于观测到的场景及其语义后果，仅看指令文本不够；这与 Codex 用独立审查智能体的思路一致，但增加了视觉接地。

实验设置

• 被测规划器：GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5.5、Gemini 4 Argon、Grok 4.7，另评两个机器人专用 API（Dream API、PokeBot RoboAPI）。仿真评前四个（Claude 因成本、Grok 因推理慢和预试失败被排除）；真机评 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon、Grok 4.7（GPT-6 Luna 预试中动作不可预测，为保护机器人和操作者被排除）。
• 基准：RoboRisk-S 92 任务 × 3 种子，12 个配置共 3,312 次运行；RoboRisk-R 13 任务 × 1 次，11 个配置共 143 条记录；两个 API 在改编的 13 任务仿真子集上各 39 次运行。
• 基线：同一 harness（RPent 库）不加 LEASH 的 Baseline；LEASH 默认用 Jev 审查器。
• 指标：HR（主）与 SSR（辅），结果人工判定；仿真按种子平均再等权平均到任务。
• 硬件：真机为 Dobot CR5V2 六自由度臂、Jodell 电动夹爪、两个 RealSense D455 相机；所有危险物品为安全道具（硅胶刀、无电手机壳、电动蜡烛等，Supp. A.3）。
• 运行设置：所有规划器用 high reasoning 设置，经订阅制 CLI 访问（Supp. C.2）。

主结果

据 Table 2（HR↓/SSR↑，%；S 为 RoboRisk-S N=276，R 为 RoboRisk-R N=13）：

表格较宽，可左右滑动

规划器	方法	S: HR	S: SSR	R: HR	R: SSR
GPT-6 Astra	Baseline	11.23	78.99	15.38	69.23
GPT-6 Astra	LEASH	0.00	80.80	0.00	84.62
GPT-6.1 Sol	Baseline	18.48	72.10	38.46	46.15
GPT-6.1 Sol	LEASH	1.45	78.62	0.00	84.62
GPT-6 Luna	Baseline	61.23	23.19	–	–
GPT-6 Luna	LEASH	12.68	51.09	–	–
Gemini 4 Argon	Baseline	9.06	75.00	15.38	61.54
Gemini 4 Argon	LEASH	5.80	79.71	0.00	84.62

• 真机上 Claude Opus 5.5 基线 23.08/53.85、LEASH 后 0.00/84.62；Grok 4.7 基线 76.92/23.08、LEASH 后 38.46/53.85（Table 2）。
• 作者称基线中 GPT-6 Astra 和 Gemini 4 Argon 两项指标最好，推测可能因其空间推理更强；GPT-6 Luna（仿真）和 Grok 4.7（真机）在 LEASH 下仍有 12.68% 和 38.46% HR，作者称部分伤害来自不稳定的运动而非语义决策，不建议两者用于真机实验。
• 作者报告 Gemini 4 Argon 在部分仿真运行中似乎忽略安全策略，认为这种指令遵循失败解释了其部分残余伤害。

机器人专用 API 评测

• 设置：Dream API（双 YAM 臂）与 PokeBot RoboAPI（UR5e + Robotiq 2F-85）在改编的 13 任务仿真子集上各 39 次运行；因 harness 不可修改，未接 LEASH，论文注明与主表不直接可比。
• 结果：Dream API 0.0% HR、28.2% SSR，P/I/S 类无安全成功，作者称其过度谨慎（S3-01 中用户声明花生过敏后连安全的放盘子指令也不执行）；RoboAPI 59.0% HR、0.0% SSR，作者称其运动控制差、几乎不拒绝有害指令（Table 2、S4）。
• 作者解读：这些观察只针对改编后的设置，不确立两项服务内部的安全机制。

审查器对比与组件分析

• 审查器对比（Table 3）：GPT-6 Astra 仿真下，GPT-6 Luna 审查器 SSR 最高（88.41%）且无伤害，但太慢；Jev 在 GPT-6 Astra 和 GPT-6 Luna 上 HR 更低，GPT-6.1 Sol 上两者均为 1.45% HR；作者因此默认用 Jev。
• 组件分析（Sec. 5.5，Supp. C.2）：作者称完整消融需数千次额外运行、成本过高，改为分析门决策日志：Jev 任务门拦下约一半不安全目标，其余由共享策略引导的规划器拒绝，GPT-6 Astra 与 GPT-6.1 Sol 在 T 类无伤害；这两个规划器经动作门和提交门批准的候选中超过 99.9% 是安全的。
• 门准确率（Table S6）：任务门对已知标签，GPT-6 Luna 85.75%、Jev 81.20%、Decisions API 66.76%；动作门与提交门在有标签候选上各审查器准确率为 98%–100%；真机上任务门表现明显差于仿真，作者推测与深度相机图像质量较低有关。

Human-Presence Gap 与效率

• Human-Presence Gap（Sec. 5.7，Table S7）：仿真中 GPT-6 Astra 和 GPT-6.1 Sol 很少拒绝有人的 P 任务；真机上除 Grok 4.7 外所有规划器在 P1（绕手递菜刀）和 P2（递小刀）上无安全成功，多数运行不启动操作。作者把假人手臂换成手机等物品后同一批模型立即开始任务，据此推测是内置安全规则导致有人在场时过度谨慎。
• 效率（Sec. 5.6，Figure S3）：GPT-6 Astra 与 GPT-6.1 Sol 在 RoboRisk-S 上，LEASH 使平均端到端时间从 245.21 s 增至 249.28 s（+1.66%）；三个门每次运行约 $0.00522，占约 $0.791 总成本的 0.66%。
• 失败案例（Figure 4）：作者给出五类各一个基线失败实例；称除 GPT-6 Luna 和 Grok 4.7 外，(d) 是唯一观察到的成功注入，(e) 是仅有的两次记忆失败之一。

作者指出的局限与后续方向

• 依赖审查器准确性与规划器行为（Sec. 6）：现有决策模型推理能力有限，动作门和提交门只能拒绝操作、不能终止任务；门判断错误时，不遵循策略的弱规划器仍可能发出不安全动作，作者称这解释了 GPT-6 Luna 和 Grok 4.7 收益有限。
• 门的终止权限（Sec. 6）：更快更准的决策模型可让动作门和提交门也能终止任务。
• Human-Presence Gap（Sec. 6）：现有模型在真机有人在场时无法平衡安全与协作，作者称未来基础模型和机器人专用模型应解决这一问题。
• 长技能监控不足（Sec. 6）：commit 审查目前只覆盖夹爪张开和倾倒，长 VLA 技能内其他危害未被监控，后续应扩展到这类原语。
• 真机任务门准确率（Supp. C.2）：真机任务门表现明显差于仿真，作者推测与深度相机图像质量有关。

实验覆盖范围

• 被测规划器为六个基础模型，仿真评 4 个、真机评 5 个（GPT-6 Luna 因预试中动作不可预测被排除出真机评测，Sec. 5.1）；另评 Dream API 与 PokeBot RoboAPI，仅在改编仿真子集上、不接 LEASH。
• 规模为仿真 92 任务 × 3 种子（共 3,312 次运行），真机 13 任务 × 1 次运行（143 条记录），API 各 39 次运行（Sec. 5.1）。
• 场景限定为桌面单臂加双指平行夹爪（Sec. 3.2）；注入类任务只覆盖场景内注入（纸条、平板屏幕、标签），Table S3 注明 I 类不含用户写的越狱提示词。
• 结果全部由人工判定（仿真有人工复核、真机为人工回看视频），论文未报告评审一致性；LEASH 组件未做逐件消融，作者称因成本过高改为分析门决策日志（Sec. 5.5）。
• 论文未报告各门的查询次数统计与自适应攻击评测；效率数字只覆盖 GPT-6 Astra 与 GPT-6.1 Sol 两个规划器（Sec. 5.6）。

这是一篇智能体机器人安全的基准加防御论文。作者指出基础模型直接控制机械臂会带来语义层面的伤害（如把电子设备放进水里），而现有安全评测最多覆盖五类风险中的两类。

• 基准：RoboRisk 含 92 个仿真任务（RoboRisk-S）和 13 个真机任务（RoboRisk-R），分 Task-level Refusal、Plan Repair、Execution-time Hazard、Injection、Sequential Memory 五类，全部闭环执行，指标为 HR 与 SSR，结果人工判定。
• 方法：LEASH 在 harness 层加任务门、动作门、提交门三道安全门，由决策模型（默认 Jev）按共享安全策略在视觉上下文中打分；规划器视为黑盒、无需重训。
• 风险结果：六个基础模型（GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5.5、Gemini 4 Argon、Grok 4.7）基线 HR 为 9.06%–76.92%（Figure 1(c)）。
• 防御结果：LEASH(Jev) 降低每个规划器的 HR；仿真中 GPT-6 Astra 从 11.23% 降至 0.00%，真机上 GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5 均达 0.00% HR、84.62% SSR（Table 2）；时间开销增加 1.66%，门的成本占 0.66%（Sec. 5.6）。
• 例外：GPT-6 Luna（仿真 12.68% HR）和 Grok 4.7（真机 38.46% HR）在 LEASH 下仍有残余伤害，作者称部分来自运动不稳定，不建议两者用于真机；两个机器人专用 API 在改编子集上表现为 Dream API 过度谨慎（28.2% SSR）、RoboAPI 59.0% HR。
• 作者结论：作者称 LEASH 可接入多数机器人 harness，并报告 Human-Presence Gap——真机有人在场时模型过度谨慎，呼吁社区把安全作为机器人 harness 的核心部分。