展望智能体机器人学:机器人系统的新纪元
Envisioning Agentic Robotics: A New Era of Robotic Systems
Grid Robotics 提出智能体机器人框架:以基础模型加具身 harness 构成 Embodied System 2 决策核心,并给出九维评测框架与 L1–L4 责任路线图。
- GPT-6 Astra 发布后,带 harness 的前沿模型在多个具身基准上匹敌专用策略,但社区缺乏对智能体机器人的统一定义、可靠评测框架和研究路线图,不同报告的结果难以比较。
- 提出三层功能架构:Embodied System 2(基础模型加具身 harness)负责意图理解、决策、编排与验证,S1 提供技能与工具,S0 负责实时控制;并给出九维 53 子维度的评测框架、九条评测原则和 L1–L4 可委托工作阶梯。
- 论文未做新实验,而是汇总已发表结果:Astra 在 RoboMME 达 92.1%,但在 RobotWorld 仅 19.0%;RT-Safe 实时执行使安全成功率从 19.8% 降到 0.7%;RoboHarm 上文本拒答率 72% 降到真机 18%。
- 作者指出当前评测在责任、空间和时间上覆盖不足,无基准测试工作流或持续数日的角色;仿真结果对真机的有效性未验证;连续时间下的可比性、复杂任务的可信验收和真机评测规模化仍是开放问题。
- 被测模型
- GPT-6 AstraGPT-5.6-Sol
- 基准
- RoboDojoRoboLab-120LIBERO-PRORoboMMELADDERRobotWorldRoboQuestHumanCLAWEmbodiedSkillBenchRT-SafeRoboHarmEmbodied First Exam
- 指标
- success ratesafe successrefusal rateobservation agelatencycost
论文提出以基础模型与具身 harness 构成的 Embodied System 2 作为智能体机器人的决策核心。作者称 GPT-6 Astra 的发布标志这一范式兴起,数周内带智能体 harness 的前沿模型在多项具身基准上追平或超过任务专用策略。其评估框架同时衡量模型能力与闭环系统表现,路线图指向从执行单个动作基元到承担常设角色的持续自主。
深度解读
这篇论文试图解决什么问题?
为智能体机器人建立统一定义、评测框架和研究路线图,核心是以基础模型加具身 harness 构成决策层。
核心问题:智能体机器人(agentic robotics)缺乏共享定义、可靠评测框架和研究路线图,不同研究报告的结果难以比较。
- 问题场景:GPT-6 Astra 发布后,带 agentic harness 的前沿模型在许多具身基准上匹配或超过任务专用策略,作者认为这标志从 policy-centric 机器人向 agentic robotics 的范式转变。
- 现有不足:作者指出,评测常不说明测的是基础模型还是完整系统,很少公开完整协议(观测、预算、演示),且许多评测在模型思考时暂停世界;例如 RoboDojo 上 Astra 的报告成功率因 harness 和协议不同在 22% 到 85% 之间。
- 核心主张:作者认为 Embodied System 2——由基础模型与具身 harness 共同实现——是智能体机器人的决策核心;其核心挑战是在有限反应时间、机械限制、环境变化和不可逆后果等物理约束下,把通用推理转化为有效且可验证的动作。
- 论文产出:提出 S2/S1/S0 参考架构、九维评测框架(区分模型能力与闭环系统性能)、数字智能体与物理智能体的迁移分析,以及从执行原语(L1)到承担持续角色(L4)的研究路线图。
- 论文性质:这是一篇立场与框架性论文,汇总并分析已发表结果,未报告作者自己运行的新实验。
有哪些相关研究?
相关工作分四组:综述与定义、语言模型机器人智能体、分层/双系统模型与具身推理模型、harness 与基准。
综述与立场论文
- Bommasani et al. (2021) 提出 foundation model 概念;后续综述按组件(感知、决策、控制)或按模型角色组织机器人和 VLA 研究。
- Wang et al. (2026b) 按基础模型决策发生的位置给 2,343 个系统编码;Qin et al. (2026a) 围绕模型、数据、环境和 harness 组织综述;Chen et al. (2026d) 发现 64 个基准中只有 5 个评估预期、3 个评估验证。
- 作者定位:与这些工作一样按功能定义 S2,但增加了可检验的判定标准,并把 harness 计入 Embodied S2(Table 12)。
语言模型机器人智能体
- 早期系统(2022–2025):用语言模型分解任务、结合可供性、以代码组合感知与控制(Code as Policies, Liang et al., 2023)、用反馈闭环(Inner Monologue, Huang et al., 2023b)。
- 2026 年系统:HexaShell 用优化器智能体编写工具(Gao et al., 2026b);uni-robot-agent 等组合原语与 VLA 策略(Si et al., 2026);通用智能体直接驱动物理机器人(Jia et al., 2026)。
分层/双系统模型与具身推理模型
- Helix(Figure AI, 2025b)与 GR00T N1(NVIDIA et al., 2025c)的上层模块只输出隐表示,作者据此不将其归类为 S2;π0.5(Black et al., 2025a)先输出子任务再输出动作,作者认为其子任务阶段实现了部分 S2。
- 具身推理模型包括 Gemini Robotics-ER、Cosmos-Reason1、Embodied-R1/R1.5、RynnBrain、MiMo-Embodied、HY-Embodied、Vesta、ACE-Brain、PhysBrain 等;作者认为这些报告多评估离线问答与空间技能,其对 S2 循环的价值需在系统层面验证。
Harness、基准与数字智能体先例
- 数字先例:ReAct、Toolformer、Reflexion、SWE-agent(Yang et al., 2024)显示 agent–computer 接口影响性能;物理 harness 包括 Thea、DynaHarness、RegenHarness、SCOPER 等。
- 论文引用的对比基准包括 RoboDojo、RobotWorld、RoboMME、LIBERO-PRO、LADDER、RoboQuest、HumanCLAW、EmbodiedSkillBench、RT-Safe、RoboHarm 等;被比较的策略包括 π0.5 等训练策略(Table 8)。
- 作者定位:本文把 harness 视为 Embodied S2 的组成部分而非模型外的附加层,并要求每个结果附 harness card 以便归因。
论文如何解决这个问题?
定义 Embodied S2 并给出判定标准,设计五部件 harness,提出九维评测框架、九条评测原则和 L1–L4 路线图。
整体思路:把智能体机器人分解为三个功能角色,Embodied System 2(基础模型 + 具身 harness)作为决策核心,S1 提供技能与可调用模块,S0 提供身体接口与实时控制;在此之上构建评测框架和路线图。
参考架构与 S2 判定标准
- 三层功能角色:S2 解释意图、推理目标与约束、编排技能与工具、验证结果;S1 包含 VLA/WAM 策略、感知与运动规划模块及 S2 生成的程序;S0 执行实时控制(典型 50 Hz–1 kHz)。分解是功能性的:一个模型可兼任多个角色。
- 判定标准:一个组件充当 S2 当且仅当它做两类决策——如何继续(选子目标、技能或重规划等)和对结果的判断(从上一步证据判定是否达成目标),且两类决策可从外部识别(接口暴露或受控替换实验)。
- 三条执行路径(Figure 4):分层编排(S2→S1→S0)、直接控制(S2 经动作接口到 S0)、代码即策略(S2 写代码充当 S1);一个系统可在单个任务内混用。
- 实时事件监视器:独立于三层系统,高速监视用户、身体和场景,可中断 S2,并按预定义安全规则直接触发 S0 的保护性反应。
具身 harness 的组成
- 五个核心部件(Table 1):context manager(组装世界、用户、身体状态)、tool interface、planner、memory、verifier;三个增强件:safety gate、budget control、self-improvement。
- 执行契约:四类契约(观测快照、能力契约、调用记录、证据包)定义每次物理调用的生命周期:propose → admit → dispatch → execute → confirm the terminal state → verify the effect → commit progress,含拒绝、失败、取消和未知结果分支。
- 三条反馈回路:sensorimotor loop(S1/S0)、planning loop(S2)、evolution loop(决定下次运行用哪些能力);作者认为混淆三者会掩盖反应或改进的来源。
物理约束与 capped scaling
- capped scaling:作者称前沿模型遵循 monotonic scaling(更多推理 token 换更好答案、更长延迟),而 Embodied S2 需要在固定决策时限内提升能力(Figure 7,作者注明曲线为示意)。
- 延迟数据(Figure 8):S0 每次控制 1–20 ms;S1 控制技能 5–200 ms;Astra 直接发动作每次推理 18.56 s、生成运动参考平均 39.86 s;作者称 Astra 直接用作 S2 时每次决策约为 S1 控制技能单次更新的 40 到 8,000 倍。
- 观测年龄:Δ tobs = teffect − tcapture,即决策所依据观测的采集时刻到动作生效时刻的间隔;作者认为它比模型推理延迟更贴近物理响应。
评测框架
- 两个层级:模型级(模型单独作答,通常单轮无工具)测知识、理解与推理、安全的模型侧部分;系统级(模型经 harness 闭环行动)测闭环推理、工具使用、记忆、跨具身、安全执行、效率与成本。
- 九个维度 53 个子维度(Figure 9):知识、理解、推理、工具使用、记忆、跨具身、安全、效率、成本;其中 29 个子维度与具身相关;作者要求按维度报告剖面而非加总成单一分数。
- 九条评测原则:模型与系统分离、动作接口作为受控变量、按世界时钟运行(暂停与实时分开报告)、公开观测契约、独立验证完成、量化不确定性、控制并扫描预算、真机验证、事先固定等级声明条件;并要求每个结果附 harness card。
路线图
- L1–L4 阶梯(Figure 12):L1 原语(秒级)、L2 任务(分钟级)、L3 工作流(小时级)、L4 角色(数天及以上);每级建立在下级之上,以机器人可独立承担的责任范围衡量进展。
- 四个研究方向:物理约束下的具身推理、跨任务与空间的可信持久控制、跨环境与具身的高效适配、从物理经验中持续改进(含 adaptation、continual improvement 与 recursive self-improvement 的区分)。
论文做了哪些实验?
论文未做新实验,而是汇总已发表结果(Table 8)并按七条结论分析,证据强度不一。
实验设置
- 论文性质:作者未运行新实验;Table 8 收集截至 2026 年 10 月已发表的结果,作者声明按原样转述、未复现,且各行设置不同、不可互比。
- 被测模型:作为 S2 基础模型的通用模型,主要是 GPT-6 Astra;另有 GPT-5.6-Sol(EmbodiedSkillBench)、HumanCLAW 的九个 VLM、RT-Safe 的八个 VLM、RoboHarm 的六个前沿模型(论文未逐一列出名称)。
- 对比对象:各基准排行榜上的训练策略,如 RoboDojo 的 40 个公开策略、LIBERO-PRO 上的 π0.5(53.0%,作者注明评测设置不同)。
- 指标:成功率为主,另有安全成功率、拒答率、碰撞率、token 与费用、延迟。
- 评审方式:论文未统一评审方式;其原则要求由能接触系统不可观测的真值的检查器判定成功,并引用研究称 agent 会提前宣称成功、VLM 裁判偏向报成功。
- 样本量与重复:各来源不一,如 RoboMME 为 800 个测试 episode 单次运行;SenseNova 报告为每任务 5 个 episode;作者批评许多头条结果来自单次运行或少量种子。
主结果
据 Table 8(各行设置不同,不可互比;若干仿真在模型思考时暂停):
表格较宽,可左右滑动
基准 S2 模型 S1 组件 结果 RoboDojo-Sim GPT-6 Astra 无 22.48%,高于当时 40 个公开策略 RoboDojo-Sim 官方评测 GPT-6 Astra 智能体自写工具 46.9%,发布时居榜首 RoboLab-120 GPT-6 Astra 直接/智能体会话 无 66.3% / 74.8%;最佳榜单策略 51.0% LIBERO-PRO GPT-6 Astra 运动原语、分割、π0.5 94.0%;π0.5 为 53.0%(设置不同) RoboMME GPT-6 Astra 无 92.1%;最佳榜单条目 60.8% LADDER GPT-6 Astra 无 62.0%;学习策略系统最高 29.6% RobotWorld GPT-6 Astra 无 19.0%;63 个任务五个模型都未解决 RoboQuest GPT-6 Astra 无 23.2%;微调的 π0.5 几乎不成功 - 作者称,带 harness 的通用模型在较窄的仿真套件上有竞争力,但在跨域或需主动探索的宽泛基准上远未解决(HumanCLAW 最佳为 16.8%)。
- 作者称高分来自较窄套件,且部分比较中模型获得了策略没有的信息(如书面任务配方);同一接口下上一代模型在 RoboDojo 仅 0.88%,说明结果具模型特异性。
接口、实时执行与物理动作的敏感性
- 接口影响(EmbodiedSkillBench):Astra 原生控制 92%、仅限技能 61%、按需决定用技能 85%;GPT-5.6-Sol 则从 11% 升至 63%;作者称技能只在超出模型已有能力时才有帮助,仅技能执行还使较弱 agent 的 token 用量减少 58%–85%。
- 实时执行(RT-Safe 最难路线):实时执行使碰撞升至 12.3 倍,安全成功率从 19.8% 降到 0.7%,任务完成基本不变;作者称暂停世界掩盖了延迟、成本与风险。
- 文本到动作的拒答差距(RoboHarm 真机):六个模型文本请求拒答率 72%,真机末端执行器控制试验拒答率 18%;作者称文本中学到的拒答只部分迁移到动作,安全必须在动作环中测量。
Harness 与协议的影响
- harness 改动:模型固定时,验证器、记忆、接口和调用后决策的改动在四项研究中使成功率移动约 9–35 个百分点;第五项中限制只用技能最高移动 52 个百分点(Han et al., 2026)。
- 协议差异:RoboDojo 上 Astra 的报告从 22.48%(一个种子、wiki 配方、直接末端控制)到 85.0%(每任务约一页指导)不等;一项研究按 RoboDojo 原生步数上限重计后,某系统成功率从 47.1% 降到 1.0%(99 次成功中 97 次超出该上限)。
- 隐藏验证器:工具返回不再透露成功信息后,两个系统在 RoboDojo 10 任务 50 episode 上的均分从 83.2 降到 63.5、从 42.0 降到 26.1(OpenRUA Team, 2026)。
其他消融与分析
- 推理预算:Astranomy 中 effort 从 medium 提到 extra-high,成功率仅从 72.7% 到 74.5%,延迟 2.6 倍、成本 2.2 倍(Yang et al., 2026d)。
- 成本:Astranomy 中智能体 Astra 每次成功 episode 用 30.9M token($36.40),直接提示为 160k token($1.96)。
- 记忆:冻结 Astra 把整段 episode 放入上下文,在 RoboMME 800 个测试 episode 单次运行成功 92.1%,平均每次调用 18.3 s(模拟器暂停)。
- 空间理解:Astra 低推理档在 VSI-Bench 得 59.8,原评测最佳模型 45.4,人类 79.2(400 题子集)。
- 弃权能力:AbstainEQA 上最佳前沿模型识别出 42.79% 的不可答问题,人类为 91.17%。
- 安全裁判:一项研究中 LLM 裁判漏掉近 83% 的不安全轨迹(Zhan et al., 2025)。
有什么可以进一步探索的点?
作者列出评测覆盖、仿真有效性等四类局限,并提出四个研究方向;证据多来自单次运行。
作者指出的局限与后续方向
- 评测覆盖不足(Section 4.4):所综述的基准多测工作单元或房间内的单 episode 原语与任务;作者称没有基准测试共享资源与期限的工作流,或持续数日的角色。
- 仿真有效性未验证(Section 4.4):作者称不知道 S2 基础模型与 harness 在仿真中的排名能否在真机上成立,也不知道仿真器的哪些属性决定这一点。
- 连续时间下的可比性(Section 4.4):世界不暂停时各次运行在时序上也不重复,如何在真机可承受的成本下控制时序差异是开放问题。
- 复杂任务的可信验收(Section 4.4):VLM 裁判在证据模糊时偏向报成功;如何为工作流和角色获得错误率已知的验收判断是开放问题。
- 真机评测规模化(Section 4.4):真机试验慢且贵,许多报告每任务只有少量试验;如何在更大空间、更长时间、更宽责任下获得统计可靠的证据是开放问题。
- 四个研究方向(Section 6.2):物理约束下的具身推理(把 capped scaling 作为训练与系统目标)、跨任务与空间的持久可验证控制、跨环境与具身的高效适配、从物理经验中持续改进;作者称持续改进的收益尚不能可靠累积,物理递归自我改进(Physical RSI)据所引综述尚未被证实。
实验覆盖范围
- 论文自身未运行实验;Table 8 转述的已发表结果覆盖 12 个基准/设置,作者声明未复现且各行设置不同、不可互比。
- 被测模型以 GPT-6 Astra 为主;另有 GPT-5.6-Sol、HumanCLAW 的九个 VLM、RT-Safe 的八个 VLM、RoboHarm 的六个前沿模型,论文未逐一列出后三者的名称。
- 真机证据包括 RoboHarm 的拒答率对比和一项真机评测(任务耗时约为人的 100 倍);多数结果为仿真,且若干仿真在模型思考时暂停。
- 跨模型 × harness 条件的对照研究规模小:同一任务上最多四个模型和少量条件(Ge et al., 2026; Wei et al., 2026a; Han et al., 2026)。
- 论文未报告对转述结果的统计检验;其引用的 Robot Intelligence Index 为每个模型报告 90% 重采样重跑下的排名区间。
总结一下论文的主要内容
一篇立场论文:定义 Embodied S2 为智能体机器人决策核心,配套九维评测框架与 L1–L4 责任路线图。
Grid Robotics 的立场论文,针对 GPT-6 Astra 发布后智能体机器人缺乏统一定义、评测不可比、无路线图的问题。
- 问题:不同报告在 harness、协议、时间语义上差异大,例如 RoboDojo 上 Astra 的报告成功率在 22% 到 85% 之间,跨研究比较失去意义。
- 方法:提出 S2/S1/S0 参考架构;Embodied S2 由基础模型与具身 harness(context manager、tool interface、planner、memory、verifier 五部件)共同实现,并给出按两类决策判定 S2 的可检验标准;物理约束下提出 capped scaling,即在固定决策时限内提升能力。
- 评测框架:模型级与系统级两层,九个维度 53 个子维度(29 个与具身相关),九条评测原则(含按世界时钟运行、独立验证完成、公开观测契约),每个结果附 harness card。
- 主要证据(转自已发表结果,设置互不相同):Astra 在 RoboMME 达 92.1%、LIBERO-PRO 达 94.0%,但在 RobotWorld 仅 19.0%、HumanCLAW 最佳 16.8%;RT-Safe 实时执行使安全成功率从 19.8% 降到 0.7%;RoboHarm 上拒答率从文本 72% 降到真机 18%;EmbodiedSkillBench 中仅技能接口把 Astra 从 92% 压到 61%。
- 路线图:以可委托责任衡量进展——L1 原语、L2 任务、L3 工作流、L4 角色;作者认为当前系统能执行原语和任务,刚开始触及工作流,尚未达到角色级。
- 作者结论:数字智能体的原则大多可迁移,但其可靠性所依赖的假设在物理世界不成立;作者呼吁社区优先建设可靠评测、提升限时推理效率、标准化报告模型与 harness 配置。