事件观察中
UniPat AI 发布论文复现基准 PaperBenchX
先了解这件事
AI 综述
UniPat AI 发布论文复现基准 PaperBenchX，用 93 篇真实论文构建 93 个端到端复现任务，覆盖电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。在 93 个任务上，表现最强的 GPT-6 Astra 完整复现率只有 13.98%；10 组受测配置的建模与执行平均得分分别为 62.70% 和 61.84%，验证环节仅 42.80%。评测要求 Agent 在容器化环境中完成复现。
AI 根据报道生成 · 2 天前更新
后续时间线
10月8日
- 量子位UniPat AI 发布 PaperBenchX：GPT-6 Astra 论文完整复现率仅 13.98%
UniPat AI 发布 PaperBenchX，用 93 篇真实论文构建 93 个端到端复现任务，覆盖电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。在 93 个任务上，表现最强的 GPT-6 Astra 完整复现率只有 13.98%；10 组受测配置的建模与执行平均得分分别为 62.70% 和 61.84%，验证环节仅 42.80%。评测要求 Agent 在容器化环境中提交可执行复现工作流，系统删除全部输出、断网后在隔离环境重跑，只认重放产物，Agent 自述的复现成功不被当作证据。单任务预算 4 至 24 小时，中位数 7 小时。团队已开源 12 个代表性测试任务，并维护 81 个封闭测试任务。
相关讨论
关注度走势
每天新增来源
- 10月8日 新增 1 个来源（1 家媒体、0 个账号）
- 10月9日 新增 0 个来源（0 家媒体、0 个账号）
- 10月10日 新增 0 个来源（0 家媒体、0 个账号）