跳到正文
原文
公众号 新智元·本站收录· 原文发表· AI 动态 →· 扫描记录里的位置 →精选关注度40

Claude Fable 5.2在具身机器人评测的391个核心任务上开卷解出80%,闭卷仅47%

Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

AI 导读

西北大学、卡内基梅隆大学等8所高校研究者提出具身评测框架 Embodied First Exam(EFE),把编程智能体接入仿真机器人,覆盖1156个任务、47种机器人,论文为 arXiv 2611.12177。在同一批391个核心任务上,最强的 Claude Fable 5.2 特权模式(读取完整仿真状态、不限次重置)解出80%,标准模式(只靠传感器、默认不能重置)仅47%;456项标准模式核心测试中169项无智能体解出。对 GPT-6 Astra 的对照实验显示,补上不限次重置比补上精确状态更能缩小与特权模式的差距。团队用编程智能体标注了10个智能体的6027次失败尝试,发现不同智能体常败在同一阶段;除真机演示外结果均来自仿真,且每项测试仅运行一次。

推荐理由

评测给出特权与标准模式下编程智能体完成机器人任务的成功率差距,逐阶段失败标注方法可迁移到其他智能体评测。

相关论文
阅读原文mp.weixin.qq.com