跳到正文
事件历史事件

TheoPhysEval:GPT-6-Astra解出49/50物理题

3篇报道3个报道来源最近报道

先了解这件事

AI 综述

TheoPhysEval 是一套 50 道未发表、答案可验证的研究级理论物理题,用于测试 AI 智能体在无人类提示下自主解题的能力。论文称,在可使用文献检索及数值、符号计算脚本等工具时,表现最好的 GPT-6-Astra 搭配 OpenAI Codex 达到 98% 准确率,答对 49 道,平均每题成本低于 3 美元,整轮约 116 美元。Anthropic 的 Opus 5.5 在 Claude Code 中得 92%,Gemini 3.8 Flash 为 68%,开源权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别为 54% 和 42%。论文还称,禁用网络搜索与背景研究论文后,各智能体准确率平均只有小幅变化,提示其对文献存在显著记忆。另有报道称,该评测由哈佛、Google DeepMind 等机构参与,题目取自专家未发表的研究笔记,涵盖量子场论、全息理论等,并设联网与断网两条测试轨道;GPT-6 Astra 初评约 88%,专家复核并修正标准答案后升至 98%。

AI 根据报道生成 · 2026-10-18更新

后续时间线

10月19日
10月18日
  1. 公众号 新智元
    哈佛等机构发布 TheoPhysEval:专家修订答案后 GPT-6 Astra 得分 98%

    由哈佛、Google DeepMind 等机构参与的 TheoPhysEval 评测显示,GPT-6 Astra 在 50 道未发表的理论物理难题上初评得分约 88%,专家复核并修正标准答案后升至 98%,解出 49 道。题目取自专家未发表的研究笔记,涵盖量子场论、全息理论等,并设联网与断网两条测试轨道,断网下 Astra 与 Claude Opus 5.5 均得 92%。报道称平均每题 API 成本不到 3 美元。MIT 团队同期研究显示,前沿 AI 在理论科学领域的解题率从 2024 年中期的 2% 升至 2026 年中期的 35%。

10月15日
  1. The Decoder精选
    GPT-6-Astra 以每题 2.40 美元解出 50 道物理研究题中的 49 道

    在 TheoPhysEval 的 50 道理论物理研究题上,运行于 OpenAI Codex 环境的 GPT-6-Astra 答对 49 道(98%),平均每题成本不到 3 美元,整轮约 116 美元。Anthropic 的 Opus 5.5 在 Claude Code 中得 92%,Gemini 3.8 Flash 为 68%,开源权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别为 54% 和 42%。题目覆盖 11 个理论物理子领域,刻意排除重大开放问题,聚焦应用已知方法、稍作修改的常规研究题。联网搜索影响很小,无联网时 Astra 与 Opus 各得 92%,作者据此认为领先语言模型已记住大量理论物理文献。作者还称部分 AI 的答错实为参考答案本身有误,并认为当前最强模型在具体计算上可能已超过最优秀的人类研究者,但还不具备判断问题是否有趣的研究品味。

10月9日
  1. arXiv
    TheoPhysEval:评估 AI 智能体自主解决理论物理问题的能力

    TheoPhysEval 提出一套 50 道未发表的、答案可验证的研究级理论物理题目,用来测试现成 AI 智能体在无人类提示下自主解题的能力。论文称,在可以使用文献检索以及数值和符号计算脚本等工具时,表现最好的智能体 GPT-6-Astra 搭配 Codex 达到 98% 的准确率,平均每题成本低于 3 美元。禁用网络搜索与背景研究论文后,各智能体的准确率平均只有小幅变化,论文认为这提示其对文献存在显著的记忆。作者还讨论了这些结果的含义,以及智能体解题能力突出却尚未带来理论物理突破的可能原因。

相关讨论

共25条