UniPat AI 发布 PaperBenchX：GPT-6 Astra 论文完整复现率仅 13.98%
ChatGPT踢到铁板了！能破解千禧数学难题，但论文复现率低至13.98%？
AI 导读
UniPat AI 发布 PaperBenchX，用 93 篇真实论文构建 93 个端到端复现任务，覆盖电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。在 93 个任务上，表现最强的 GPT-6 Astra 完整复现率只有 13.98%；10 组受测配置的建模与执行平均得分分别为 62.70% 和 61.84%，验证环节仅 42.80%。评测要求 Agent 在容器化环境中提交可执行复现工作流，系统删除全部输出、断网后在隔离环境重跑，只认重放产物，Agent 自述的复现成功不被当作证据。单任务预算 4 至 24 小时，中位数 7 小时。团队已开源 12 个代表性测试任务，并维护 81 个封闭测试任务。