Embodied First Exam：编码智能体的机器人控制评测基准
Embodied First Exam
arXiv· arXiv:2611.12177· Kangrui Wang, Qineng Wang, Changhe Chen, Pingyue Zhang, Chi Gui, Feishi Wang, Canyu Chen, Wenli Xiao, Xiaoyu Huang, Tonghe Zhang, Linjie Li, Zihan Wang, Minyeong Kim, Yiyou Sun, Mingkai Deng, Jinyu Hou, Qi Zhu, Han Liu, Eric P. Xing, Huaxiu Yao, Zhiwen Fan, Yuejiang Liu, Dawn Song, Pieter Abbeel, Li Fei-Fei, Jiajun Wu, Yuke Zhu, Guanya Shi, Ruohan Zhang, Manling Li·本站收录· 2 天前· 原文发表AI 动态 AI 导读
论文提出 Embodied First Exam，一个让编码智能体自行选择直接控制、代码控制或训练策略来控制机器人的统一评测框架。基准包含 47 台机器人、35 个套件、1,156 项任务，其中 9 个新套件覆盖空间拼图、灵巧操作、多机器人交互、动态全身控制和 sim-to-sim 工程。每种任务最多可在标准、实时和特权三种设置下运行，标准设置只给传感器观测且默认不能重置环境。在 456 项核心任务上，八种智能体中最强的 GPT-6 Astra 在 Codex 中于标准设置下成功率为 34%。
阅读原文arxiv.org