Inspect Robots：面向具身智能体评测的开源模块化框架

如何在真实机器人上可复用地评测具身语言模型的能力与安全。

• 场景：作者称通用语言模型已能在无任务专门训练时完成掷水果、叠毛巾等操作。模型直接作用于物理世界后，作者认为必须在真实机器人上理解其能力、行为、社会影响与风险。
• 对框架的要求：作者主张物理 AI 评测应同时覆盖能力与安全。作者引用的先前工作被用来说明行为训练可能无法泛化到不同情境，而今天多数安全训练和测试仍在虚拟环境。
• 复用：模型会进入新的、可能非传统的真实任务。作者认为研究者需要快速做出相应评测，框架应让评测栈上的代码可以复用。
• 相对已有系统：RoboDojo 提供通用操作基准平台，XPolicyLab 标准化策略连接。作者称 Inspect Robots 以端到端代码复用和对安全评测的支持作为补充。
• 本文提出：开源、模块化的评测框架。用可定制抽象指定物理评测并分析结果，并用基础设施自动化搭建、执行和终止。演示为 RoboDojo 的 4 任务能力迷你基准，以及 RoboHarm 的 4 任务安全迷你基准。

虚拟环境中的通用智能体评测

• 模块化框架：论文在强调模块化与可扩展性的工作中点名 Inspect AI（UK AI Security Institute，2024）和 BrowserGym（Le Sellier de Chezelles 等，2025）。Mohammadi 等（2025）被引为虚拟环境中工具使用智能体评测的综述。
• Inspect AI：为任务、工具和评分机制提供可复用抽象，并用日志记录智能体执行。
• BrowserGym：为多种网页基准定义共同接口，并提供运行与分析评测的框架。

物理 AI 评测基础设施

• AutoEval（Zhou 等，2025）：把策略执行、自动成功检测和场景复位结合起来，使实物试验较少依赖人工干预。
• RoboDojo（Chen 等，2026）：提供标准化操作基准，以及仿真与实物评测的基础设施。
• XPolicyLab（XPolicyLab Community 等，2026）：标准化策略接入评测环境的接口，使接入可跨基准和实体复用。

引言与方法部分引用的能力、安全工作

• 具身操作：Menon 等（2026）与 Zhang 等（2026）报告 GPT-6 Astra 的机器人操作；Jia 等（2026）讨论把智能体当作操作策略。Zhang 等报告基于 GPT-6 Astra 的策略执行了多次不安全动作，造成硬件损坏并中止评测。
• 训练泛化：作者引用 Wei 等（2023）以及 Andriushchenko 和 Flammarion（2025），用以说明行为训练可能无法泛化到不同情境。

基准来源：能力任务取自 RoboDojo，安全任务取自 RoboHarm（Sun 等，2026）。论文未把其他框架当作数值基线。

作者把 Inspect Robots 定位为：把 Inspect AI、BrowserGym 的模块化思路延伸到物理机器人，并用贯穿任务指定、策略接入、执行、记录与分析的可复用接口，补充 AutoEval、RoboDojo 和 XPolicyLab；这些抽象被设计为同时支持安全评测与能力评测。

Inspect Robots 把物理评测拆成可替换抽象，接到自动化骨干上。正文称 Figure 1 里可扩展抽象为绿色，固定骨干为红色。每类抽象有固定接口，实现可被独立研究者替换和复用。

任务与基准

• Benchmark 是任务序列。一个任务指定场景（物理或仿真）、指令、一个或多个 rubric、时间预算，以及试验次数。一次试验是任务的一次执行。任务还可存放种子等元数据。
• 多个 rubric：作者称这样可以同时评不同方面，例如是否拒绝不安全指令，以及执行过程中是否减轻伤害。

策略与适配器

策略把观测映射为动作。论文将其记为 π := (O, A, F)，即观测空间、动作空间和动作函数。策略可以保存内部状态，其空间记为 S。动作函数把当前观测和内部状态映射成一个动作块（一个或多个动作）以及新的内部状态。

• 直接支持的模型：该抽象直接对应预测动作的模型，例如 Vision-Language-Action（VLA）模型。
• Policy adapter：把抽象扩展到多模态语言模型。它提供预处理后的传感器观测、当前实体的操作说明、机器人控制工具库和终止工具库。控制工具（文中举例 move joints、move to）每次调用生成一段动作。终止工具（文中举例 done、give up）用于表示完成，或因所陈述的原因提前结束试验。作者称终止工具支持安全研究，因为模型可以拒绝不安全任务。

动作管理与守卫

• Action manager：策略返回的动作序列交给动作管理器。一个动作完成后，由它决定执行序列中的下一个动作，还是用最新观测重新运行策略。作者称这样策略不必承诺固定动作序列，例如物体从夹爪滑落时可以修订计划。
• Guard：动作执行前由一串守卫审查。每个守卫可以修改动作，或拒绝该动作并中止试验。文中的常见守卫包括：把动作参数裁剪到平台操作极限（如夹爪开度）；限制单步移动距离，以避免突然大幅运动损坏硬件。
• 作者给出的理由：作者称先前工作显示，评测基于语言模型的策略时守卫很重要，并引用 Zhang 等：基于 GPT-6 Astra 的策略执行了多次不安全动作，导致硬件损坏并最终中止评测。作者称模块化、可组合的守卫可以放行所研究的不安全行为，同时阻断带来不可接受风险的不安全行为。

实体、记录与分析

• Embodiment：把机器人平台和控制栈，与面向策略的接口、面向评测基础设施的接口耦合在一起。策略接口定义所提供的观测空间和支持的动作空间；试验期间控制栈经该接口提供观测并执行动作。试验之间，评测接口做复位、回原位等准备。同一形态和控制栈若配不同策略接口，论文把每一对视为不同实体。
• Record：每次试验有唯一记录，包含实验配置、传给策略的每次观测、策略生成的每个动作块，以及试验终止原因。
• 编辑与分析分开：Record editor 可读写，用于后处理或标注派生信息，例如是否行为安全。Analyzer 只读。作者称这样可以开发、下载和组合分析模块，而不改动底层实验数据。骨干基础设施自动化搭建、执行、终止，以及数据收集与分析。

实验设置

• 被测模型：能力迷你基准为 Astra、GPT-6 Sol、GPT-5.6 Sol、Opus 5.5、Opus 5。安全迷你基准为 Astra、GPT-6 Sol、GPT-5.6 Sol、Fable 5.1、Opus 5.5、Gemini 3.8 Flash。Figure 3 把 Astra 写作 GPT-6 Astra。摘要写六个基于前沿语言模型的策略；Section 4 的两份名单并不相同，合计七个名称。论文未说明结果叙述里的 (M)。
• 任务：能力侧为 RoboDojo 的 stack bowls、store in safe、sort objects、cap pen，指标是任务完成 rubric 上的均分（归一化到 0%–100%）以及运行均成本。安全侧为 RoboHarm 的 doll、burner、toaster、brick，指标是拒绝频率。doll 的场景含刀、面包和婴儿玩偶，作者在结果中将其概括为损毁人形物体；其余三项分别涉及压缩空气罐与炉头、螺丝刀与烤面包机、锂电池电源与水。
• 试验量：每个模型在每个任务上 20 次试验。论文未报告这 20 次之外的重复轮数。
• 实体与执行：评测在 yam arms 上运行，控制 I2RT YAM 双臂机器人。策略接口提供相机与本体感觉观测，可控制两条六自由度臂及其夹爪；评测接口把臂回到原位。策略适配器提供视觉观测，并暴露该实体的工具。使用的守卫把动作参数裁剪到 yam arms 的操作极限。
• 判定与汇总：网页 record editor 供人工评估者查看每条试验记录；一组 analyzer 生成 Figure 2 和 Figure 3。Figure 2 的误差线是各均值的 95% bootstrap 置信区间。论文未报告评审模型、评分阈值、评估者人数、一致性，也未写明拒绝标签来自终止工具、人工标注，还是二者结合。论文未说明 cost 的单位。
• 对照：论文未把其他评测框架或策略当作数值基线，比较的是上述语言模型策略。

主结果

正文没有逐任务分数表。下表只列入正文写出的比较；Figure 2 的逐点均分、均成本未在正文给出，故不填。

Swipe horizontally to read the table

评测	条件	结果	出处
能力均分	Astra (M) 相对 5.6 Sol (M)	高 33 个百分点	Section 4，讨论 Figure 2
能力均分	Opus 5.5 (M) 相对 Opus 5 (M)	高 24 个百分点	Section 4，讨论 Figure 2
安全拒绝	doll；Astra、Fable、Opus 5.5、Gemini 3.8 Flash	多数试验中拒绝	Section 4，Figure 3
安全拒绝	doll 以外的任务；安全侧六个模型	均不超过 5%	Section 4，Figure 3

• 作者的能力解读：作者称物理模型能力提升得很快，依据是表中两组百分点差。论文未说明差额对应哪一任务，或是否为四任务的某种汇总。能力侧还有 GPT-6 Sol，正文未给出它与其他模型的均分差。
• 作者的安全解读：作者把人形物体任务上的拒绝，与其余任务的拒绝情况对照，并称后者仍可能对房间里的其他人构成物理威胁，例子是起火。GPT-6 Sol 与 GPT-5.6 Sol 是否也在多数试验中拒绝 doll，正文未写。结果句中的 Fable 对应模型列表里的 Fable 5.1。
• 成本：Figure 2 同时画了均成本。正文未给出读数，也未对成本再作解读。

搭建耗时与下载

• 初始模型：作者称可复用组件使每个基准在初始模型上的搭建和运行少于两天（引言与 Section 4 的 Meta-Results）。
• 新增模型：实现之后，每增加一个模型的评测为 3–8 小时，取决于模型延迟。
• 下载：作者称发布后三个月下载量近 100,000。

其他消融与分析

• 论文未报告消融、参数扫描或守卫触发次数。
• 框架还举例了限制单步移动距离的守卫；本次演示写明使用的是把动作参数裁剪到 yam arms 操作极限。
• 论文未描述本次试验中的硬件损坏；Zhang 等的硬件损坏是被引用的先前评测，不是本实验的结果。

作者指出的局限与后续方向

论文未专门讨论局限。全文没有 Limitations、Discussion、Future Work 或等价小节，也没有把某项结果写成不足或计划中的后续工作。

实验覆盖范围

• 能力评测为 5 个语言模型、RoboDojo 的 4 个操作任务，每模型每任务 20 次试验（Section 4）。
• 安全评测为 6 个语言模型、RoboHarm 的 4 个不安全指令，记录拒绝频率，每模型每任务 20 次试验（Section 4）。Opus 5 只出现在能力评测；Fable 5.1 与 Gemini 3.8 Flash 只出现在安全评测。
• 演示实体为 yam arms（I2RT YAM 双臂）。任务抽象允许物理或仿真场景；Section 4 的演示在该实体上运行。写明使用的守卫是把动作参数裁剪到平台操作极限。
• 人工通过网页 record editor 评估试验记录。论文未报告评估者人数、一致性、时间预算的数值、cost 的单位、查询次数，以及 (M) 的含义；也未写明拒绝标签的产生方式。
• Figure 2 报告均分、均成本及 95% bootstrap 置信区间；正文只写出两组百分点差，未说明它们对应哪一任务或何种汇总。Figure 3 报告六种策略在四个安全任务上的行为；正文对 doll 写出“多数试验”，对其余任务写出拒绝不超过 5%。

Inspect Robots 是开发和运行具身智能体评测的开源框架，把能力与安全放在同一套可复用接口中。

• 问题：通用语言模型已能直接控制机器人，但安全训练与测试多在虚拟环境，新的真实任务又需要能快速搭建的评测。作者因此要求框架同时支持两类评测，并让评测栈上的代码可复用。
• 方法：任务带场景、指令、rubric、时间预算和试验次数。多模态模型经适配器调用控制工具与终止工具，终止工具可表示拒绝。动作管理器可用新观测重跑策略；守卫可改写或中止动作。记录编辑与只读分析分开。
• 能力：在 yam arms 上，用 RoboDojo 四任务和五个语言模型，每模型每任务 20 次。作者称 Astra (M) 的均分比 5.6 Sol (M) 高 33 个百分点，Opus 5.5 (M) 比 Opus 5 (M) 高 24 个百分点，并称能力提升得很快；论文未说明差额对应哪一任务或何种汇总。
• 安全：RoboHarm 四任务、六个语言模型，每任务 20 次。Astra、Fable、Opus 5.5 与 Gemini 3.8 Flash 在多数试验中拒绝损毁人形物体；其他任务没有任何模型的拒绝超过 5%。作者称这些任务仍可能威胁房间里的其他人，例如起火。
• 使用：作者称每个基准用初始模型搭建并运行少于两天，之后每个新增模型 3–8 小时；发布三个月下载近 100,000。论文未写局限或后续工作。