TheoPhysEval:GPT-6-Astra解出49/50物理题
先了解这件事
TheoPhysEval 是一套 50 道未发表、答案可验证的研究级理论物理题,用于测试 AI 智能体在无人类提示下自主解题的能力。论文称,在可使用文献检索及数值、符号计算脚本等工具时,表现最好的 GPT-6-Astra 搭配 OpenAI Codex 达到 98% 准确率,答对 49 道,平均每题成本低于 3 美元,整轮约 116 美元。Anthropic 的 Opus 5.5 在 Claude Code 中得 92%,Gemini 3.8 Flash 为 68%,开源权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别为 54% 和 42%。论文还称,禁用网络搜索与背景研究论文后,各智能体准确率平均只有小幅变化,提示其对文献存在显著记忆。另有报道称,该评测由哈佛、Google DeepMind 等机构参与,题目取自专家未发表的研究笔记,涵盖量子场论、全息理论等,并设联网与断网两条测试轨道;GPT-6 Astra 初评约 88%,专家复核并修正标准答案后升至 98%。
AI 根据报道生成 · 2026-10-18更新
后续时间线
- X@leishen168888· 讨论https://mp.weixin.qq.com/s/W7wG-_3XdufChPXh2_XWtQ(新标签页打开原帖)
- 网页新智元· 媒体跟进哈佛谷歌惊人研究:GPT-6 Astra已解决98%世界物理难题!(新标签页打开原帖)
- 公众号 新智元哈佛等机构发布 TheoPhysEval:专家修订答案后 GPT-6 Astra 得分 98%
由哈佛、Google DeepMind 等机构参与的 TheoPhysEval 评测显示,GPT-6 Astra 在 50 道未发表的理论物理难题上初评得分约 88%,专家复核并修正标准答案后升至 98%,解出 49 道。题目取自专家未发表的研究笔记,涵盖量子场论、全息理论等,并设联网与断网两条测试轨道,断网下 Astra 与 Claude Opus 5.5 均得 92%。报道称平均每题 API 成本不到 3 美元。MIT 团队同期研究显示,前沿 AI 在理论科学领域的解题率从 2024 年中期的 2% 升至 2026 年中期的 35%。
- The Decoder精选GPT-6-Astra 以每题 2.40 美元解出 50 道物理研究题中的 49 道
在 TheoPhysEval 的 50 道理论物理研究题上,运行于 OpenAI Codex 环境的 GPT-6-Astra 答对 49 道(98%),平均每题成本不到 3 美元,整轮约 116 美元。Anthropic 的 Opus 5.5 在 Claude Code 中得 92%,Gemini 3.8 Flash 为 68%,开源权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别为 54% 和 42%。题目覆盖 11 个理论物理子领域,刻意排除重大开放问题,聚焦应用已知方法、稍作修改的常规研究题。联网搜索影响很小,无联网时 Astra 与 Opus 各得 92%,作者据此认为领先语言模型已记住大量理论物理文献。作者还称部分 AI 的答错实为参考答案本身有误,并认为当前最强模型在具体计算上可能已超过最优秀的人类研究者,但还不具备判断问题是否有趣的研究品味。
- XX @boazbaraktcs· 讨论Nice to see the model holding its ground when it’s right!(新标签页打开原帖)
- RedditReddit r/ControlProblem· 讨论GPT-6 Astra autonomously solves 49 out of 50 unpublished theoretical physics research problems, scoring 98% at under $3 per problem. Researchers initially marked several answers wrong, only to discover the AI had caught errors in the calculations of world-class physicists.(新标签页打开原帖)
- arXivTheoPhysEval:评估 AI 智能体自主解决理论物理问题的能力
TheoPhysEval 提出一套 50 道未发表的、答案可验证的研究级理论物理题目,用来测试现成 AI 智能体在无人类提示下自主解题的能力。论文称,在可以使用文献检索以及数值和符号计算脚本等工具时,表现最好的智能体 GPT-6-Astra 搭配 Codex 达到 98% 的准确率,平均每题成本低于 3 美元。禁用网络搜索与背景研究论文后,各智能体的准确率平均只有小幅变化,论文认为这提示其对文献存在显著的记忆。作者还讨论了这些结果的含义,以及智能体解题能力突出却尚未带来理论物理突破的可能原因。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- X@aryaniyaps · Aryan IyappanGPT-6-Astra solved 49 of 50 unpublished physics problems for under $3 a problem man. what happens when someone points t…(新标签页打开原帖)
1 赞·10月26日 23:34采集
- XX @rohanpaul_ai · Rohan PaulNew paper from Google Deep Mind, and many top Universities finds the best AI agent tested solved 49 of 50 unpublished r…(新标签页打开原帖)
301 赞 · 91 评论·10月27日 18:45采集
- X@leishen168888 · 雷神https://mp.weixin.qq.com/s/W7wG-_3XdufChPXh2_XWtQ(新标签页打开原帖)
- XX @haider1no doubt GPT-6 Astra is a big breakthrough model for scientific research especially considering how much cheaper it is(新标签页打开原帖)
- 网页新智元哈佛谷歌惊人研究:GPT-6 Astra已解决98%世界物理难题!(新标签页打开原帖)
- X@Tsubame33785667 · Tsubame数学の次は理論物理学だ。Astraに未発表の研究問題を解かせてみたところ、専門家が用意した模範解答の方が間違っていると主張し、その指摘は正しかったという。これは、AIが人間の専門家を超えたことの明確な証拠だ。人間はAIの答えを採点する側か…(新标签页打开原帖)
185 赞 · 14 评论·10月20日 04:33采集
- X@mcelia · Michael CeliaGPT 6 Astra in Codex got 49 of 50 unpublished research physics problems on TheoPhysEval. A few it first got marked wron…(新标签页打开原帖)
1 赞 · 1 评论·10月19日 23:34采集
- X@EveryMeetsAI · Everything Meets AIAI INDUSTRY: GPT-6-Astra solves 49 of 50 physics research problems at $2.40 apiece https://the-decoder.com/gpt-6-astra-…(新标签页打开原帖)
- X@kabelsalat_info · Kabel-Salat | AI & Tech49 of 50 is not a theory of everything. TheoPhysEval grades final answers on unpublished physics problems: GPT-6-Astra…(新标签页打开原帖)
1 评论·10月17日 18:33采集
- X@AnatoliKopadze · Anatoli KopadzePhysics is solved. 30+ physicists from Harvard, Google DeepMind and top research institutes just admitted AI now match…(新标签页打开原帖)
48 赞 · 7 评论·10月19日 04:34采集
- X@alex_verem · Alex VeremeyenkoGPT-6 Astra disagreed with expert physicists on several research problems. It insisted the expert results were wrong an…(新标签页打开原帖)
115 赞 · 12 评论·10月26日 17:34采集
- X@blockquery1234 · Goblin LabGPT-6 Astra 在一个物理评测上拿了 49/50,丢的那 1 分不是它答错,是出题人参考答案写错了。评测作者后来自己复查,承认模型那几个答案是对的。 有意思的不是分数。题库谁出的、答案谁审的、有没有第二个人复核过,榜单从来不写。…(新标签页打开原帖)