EventPast event
UniPat AI 发布论文复现基准 PaperBenchX
Start here
AI overview
UniPat AI 发布论文复现基准 PaperBenchX，用 93 篇真实论文构建 93 个端到端复现任务，覆盖电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。在 93 个任务上，表现最强的 GPT-6 Astra 完整复现率只有 13.98%；10 组受测配置的建模与执行平均得分分别为 62.70% 和 61.84%，验证环节仅 42.80%。评测要求 Agent 在容器化环境中完成复现。
Generated by AI from reports · Updated 5 days ago
Latest update
UniPat AI 发布 PaperBenchX：GPT-6 Astra 论文完整复现率仅 13.98%Progress timeline
Oct 8
- 量子位UniPat AI 发布 PaperBenchX：GPT-6 Astra 论文完整复现率仅 13.98%
UniPat AI 发布 PaperBenchX，用 93 篇真实论文构建 93 个端到端复现任务，覆盖电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。在 93 个任务上，表现最强的 GPT-6 Astra 完整复现率只有 13.98%；10 组受测配置的建模与执行平均得分分别为 62.70% 和 61.84%，验证环节仅 42.80%。评测要求 Agent 在容器化环境中提交可执行复现工作流，系统删除全部输出、断网后在隔离环境重跑，只认重放产物，Agent 自述的复现成功不被当作证据。单任务预算 4 至 24 小时，中位数 7 小时。团队已开源 12 个代表性测试任务，并维护 81 个封闭测试任务。
Related discussion
Attention trend
New sources per day
- Oct 8New1 sources (1 outlets,0 accounts)
- Oct 9New0 sources (0 outlets,0 accounts)
- Oct 10New0 sources (0 outlets,0 accounts)
- Oct 11New0 sources (0 outlets,0 accounts)
- Oct 12New0 sources (0 outlets,0 accounts)
- Oct 13New0 sources (0 outlets,0 accounts)