TheoPhysEval:评估 AI 智能体自主解决理论物理问题的能力
TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving
用50道未发表理论物理题评测五个智能体,Astra在realistic轨道通过49/50。
- 要测的是现成智能体能否在无人类提示下,自主解出评测时公开文献查不到、答案可核验的研究级理论物理计算题。作者称这类题代表研究中的具体计算,而不是开放突破。
- 专家提供50道题。符号答案被改成数值,以免用LLM裁判。Harbor下分realistic(可检索与本地工具)和isolated(禁网页检索)两条轨道,五个智能体各跑一次,按最终数值判对错。
- realistic通过数:Astra 49/50,Opus 46/50,Gemini 34/50,DeepSeek 27/50,GLM 21/50。isolated上Astra与Opus为46/50,GLM为26/50。无人解出§1b。
- 作者称关于问题品味与改换方向的观察无法量化,且不构成对未来AI的主张。套件不是对抗式题集。每个智能体每条轨道只跑一次;§9a与§11d约定未完全规定。
- 被测模型
- GPT-6-AstraOpus 5.5Gemini 3.8 FlashDeepSeek-V4.1-FlashGLM 5.3
- 基准
- TheoPhysEval
- 指标
- pass rateaccuracytoken usageevaluation cost (USD)
TheoPhysEval 提出一套 50 道未发表的、答案可验证的研究级理论物理题目,用来测试现成 AI 智能体在无人类提示下自主解题的能力。论文称,在可以使用文献检索以及数值和符号计算脚本等工具时,表现最好的智能体 GPT-6-Astra 搭配 Codex 达到 98% 的准确率,平均每题成本低于 3 美元。禁用网络搜索与背景研究论文后,各智能体的准确率平均只有小幅变化,论文认为这提示其对文献存在显著的记忆。作者还讨论了这些结果的含义,以及智能体解题能力突出却尚未带来理论物理突破的可能原因。
相关热点
4 个事件 · 6 条新闻提到
提到这篇论文的新闻
七位物理学家谈AI对理论物理的冲击
- Understanding AI引用了论文编号或链接我采访了七位正在应对 AI 革命的物理学家
In other words, Raju’s TheoPhysEval benchmark was saturated before it was released.
Simons基金会与OpenAI、Anthropic出资1500万美元支持数学家检验AI成果
- 公众号 新智元提到论文的名字1500万美元!OpenAI联手Anthropic,请数学家给AI「验卷」
修正后,Astra在TheoPhysEval的50道研究级题目中答对49道,正确率达到98%。
Anthropic联创在IMF演讲称AI奇点已开始
- Import AI提到论文的名字Import AI 477:作者在 IMF 演讲称奇点已经开始
The latest example comes to us from a paper published just last week, called TheoPhysEval.
再看 3 条
TheoPhysEval:GPT-6-Astra解出49/50物理题
- 公众号 新智元引用了论文编号或链接哈佛等机构发布 TheoPhysEval:专家修订答案后 GPT-6 Astra 得分 98%
- The Decoder提到论文的名字GPT-6-Astra 以每题 2.40 美元解出 50 道物理研究题中的 49 道
The agents do better on TheoPhysEval than on some other physics benchmarks, such as CritPt, even though the authors consider their own problems harder on average.
- LessWrong提到论文的名字「约四分之一含缺陷」:Gemini 4 安全报告的 ML R&D 基准
Or, the same bug type showed up in a new physics benchmark (TheoPhysEval), where it hid how good the strongest model was.
深度解读
这篇论文试图解决什么问题?
评测现成智能体能否无提示地解出可核验的研究级理论物理计算题。
现成智能体能否在无人提示下,自主解出答案可核验的研究级理论物理计算题。
- 场景:作者称近几个月智能体已能在很少或无人监督下做多种科学任务。数学里已有开放问题被智能体解决;理论物理这边作者称尚未取得值得注意的突破,但研究者已用智能体讨论想法、做计算、检索文献和起草文稿。本文要评估的是其中一项:自主解决提法清楚、答案可核验的问题。
- 现有评测:作者称已有工作覆盖中学、竞赛和本科物理;TPBench、SciCode、FrontierScience、PRL-Bench、QMBench、CritPt等含研究级题,也含更简单的题。多数评测通常不让智能体使用现实中可用的全套工具。
- 题目性质:50道题来自各方向世界专家。作者称为“turn-the-crank”题:用已知技术推广已有结果;结果严格说来是新的,有时甚至可发表,但不是路径突破。无AI辅助时,典型题世界专家约一天或更短可解,相邻方向则要久得多。不因智能体能解就拒收,故不是对抗基准。作者写明部分题的人类求解用过AI,不能排除数据泄漏,也不满足“未被AI碰过”的更严标准。
- 本文提出:TheoPhysEval。realistic轨道可联网检索并使用本地工具;isolated轨道除对模型提供方的调用外禁用网页检索。用Harbor按最终数值答案自动评分,不给人类提示。
有哪些相关研究?
作者把本文放在研究级科学基准之中,并与First Proof的人工评证明对照。
按引言与Previous work的分组。
中学到本科
- 学校阶段[19, 20]、竞赛[21, 22]与本科物理[23]:作者称已有大量工作在这些层次上评测LLM。正文未逐篇展开各基准的做法,也未逐篇点名批评。
含研究级题的基准
- TPBench[24]、SciCode[25]、FrontierScience[26]、PRL-Bench[27]、QMBench[28]、CritPt[29]:除较简单的题外也包含研究级问题。作者称本文与这一文献的区别是只做现代研究级题;评测方法也不同,因为多数其他评测通常不让智能体使用现实中会用到的全套工具。
更广的科学工作流基准
- Terminal-Bench-Science[30]:覆盖面比本评测更广。作者称本评测聚焦理论物理、在该领域覆盖更深;因为要评物理学家会遇到的现实问题,不因智能体能解就丢弃题目。本评测使用Terminal-Bench所用的Harbor框架。
未发表的研究级数学题
- First Proof[31–34]:作者称与本评测大致可比,都涉及未发表的研究级问题。区别是First Proof由人类评估证明,本评测自动、且只看最终答案。
对照设置
- 论文未设独立的外部基线方法。对照是五个现成智能体在同一50题、realistic与isolated两条轨道上的通过率(Section IV,Figure 3、Figure 4,Table IV)。
作者把本文定位为只收现代研究级理论物理题、允许现实设定中的工具、并只按最终答案自动评分;题目要代表研究中的问题,而不是对抗式基准。引言把这与数学中已出现的自主求解对照,并称理论物理尚未出现同类突破。
论文如何解决这个问题?
50道专家题改成数值答案,在可检索与禁检索两条轨道上自动评分。
专家供题、主持人改题并实现基准,在realistic与isolated两条轨道上用Harbor按最终数值答案评分。
选题标准与来源
- 三条标准(Section II):与当前物理研究相关;已知解答易于核验、难以猜测;解答不能在已发表文献或其他地方查到。并请贡献者短期内不要发表解答。这些标准排除专家打算不久发表的进行中研究。
- 难度取舍:贡献者被要求给出各自领域尽可能难的题,但不因智能体能解就拒收。作者称套件要代表理论物理中的问题,而不是对抗基准。
- 两条来源:研究笔记里已做出但未发表的题;或改编自己近期论文,改变若干参数,使新答案不能从旧答案猜出。贡献者可改已有代码求解;另一位专家或智能体则须定位并理解原解答、重建计算、再适配。作者称这类练习常交给开始做研究的研究生。
- 例子:Box 1给出黑洞弦Page时间、class D费米子宇称泵、平板边界层三例及预期解答轨迹。全息那道与已有论文[35]相关,陈述刻意简短;原作者之一(SR)改编原计算大约用了一天。评测问的是:除给定prompt外不给提示,智能体能否自主走完解答步骤。
规模与主题
- 50题:Table I为经典物理5、随机过程与生物物理5、非平衡统计力学3、格点理论3、量子物相5、电子结构4、量子场论7、粒子物理2、散射振幅5、全息与纠缠5、引力与宇宙学6。全文在附录A。
- 覆盖:作者称不认为任何物理学家有能力尝试其中超过一小部分;同一主题类里,单个专家也往往难做完全部。分布受邀请网络影响,也受学科影响:量子场论等更容易构造带可核验答案的硬计算,其他领域更难。作者称这不是理论物理全部领域的穷尽调查。
把符号答案改成数值
- 为何不用LLM裁判:同一表达式可有多种等价写法,记号也不统一。用LLM把答案改成标准记号再做符号比较,会引入额外误差。
- 做法:给智能体相关和无关物理量的数值,把表达式转成浮点数或不易猜的整数序列(Box 2)。按这些数值答案评分。
轨道与运行
- realistic:可网页检索,也可使用本地工具。作者称职业物理学家没有理由关掉检索或重写已有科学代码,故这条更能反映助手用途。
- isolated:可用本地工具;除对模型提供方本身的调用外,禁用网页检索。面向想测内在物理知识、以及从零重写研究级代码与计算的模型开发者。在Harbor管理的本地Docker沙箱中运行,关闭互联网。作者称自动分析轨迹后,未发现逃出沙箱的实例。
- 机器与时限:最终评测在Google Cloud的e2-standard虚拟机上,每题2 vCPU、4 GB内存、10 GB存储。不限制总费用或token。8小时未完成则切断,记为无输出。附录A.6的多任务题合计时限20小时。
- 运行次数与推理力度:为节省时间和费用,每个智能体经API只跑完整套件一次。作者提醒非零温度下不同运行输出可能不同。除Gemini 3.8 Flash用可用的最高档high外,其余模型的reasoning effort设为max。正文未给出温度数值。
- 五个智能体:GPT-6-Astra配Codex;Opus 5.5配Claude Code CLI;Gemini 3.8 Flash配Antigravity;DeepSeek-V4.1-Flash配Codex;GLM 5.3配Claude Code CLI。
通过判定与已知歧义
- 主判定:最终数值是否与评分键一致。电子结构四道题前后衔接,附录A.6写明部分字段的容差;Table IV仍按整题通过与否计。
- 约定未写死:终轮后发现§9a与§11d的约定未完全规定。评分键允许评测中观察到的约定选择。附录A脚注写明§9a未显式规定N,§11d的模空间度规、轴荷与渐近模值未规定,评分计入评测中见到的选择。
- §1b:难以做Box 2那种数值转换。要求若无方程则输出0,若找到则输出方程;任何能在视觉上拟合曲线的方程都会判对。附录B给出一种含分数阶导数与时滞的方程,并称解不唯一。
论文做了哪些实验?
作者称Astra在realistic通过49/50;多数智能体禁检索后变化小,GLM除外。
实验设置
- 被测智能体:GPT-6-Astra with Codex、Opus 5.5 with Claude Code CLI、Gemini 3.8 Flash with Antigravity、DeepSeek-V4.1-Flash with Codex、GLM 5.3 with Claude Code CLI。推理力度除Gemini 3.8 Flash为high外均为max。
- 题目:50道,主题见Table I,全文在附录A。作者称评测时答案未公开;实验完成后§10a的一种解已公开出现[61]。引言写明部分题的人类求解用过AI,不能排除数据泄漏。
- 轨道:realistic允许网页检索与本地工具;isolated禁用网页检索(对模型提供方的调用除外)。各智能体每条轨道经API跑一次。
- 环境:Harbor;isolated为关互联网的Docker沙箱。e2-standard:2 vCPU、4 GB内存、10 GB存储。一般任务8小时截止,附录A.6合计20小时。无费用或token上限。
- 判定:通过与否看最终数值是否符合评分键,不是LLM裁判,也不评证明。§9a、§11d允许多种约定;§1b按曲线的视觉拟合判。
- 论文未报告:温度的具体数值;多次运行的方差。专家复核只用于纠正若干参考解答,论文未报告与人工评分的一致性系数。
主结果
通过率来自Figure 3(realistic)与Figure 4(isolated);解出题数来自Table IV末行。
表格较宽,可左右滑动
智能体 realistic通过率 isolated通过率 realistic解出 isolated解出 GPT-6-Astra with Codex 98.0% 92.0% 49/50 46/50 Opus 5.5 with Claude Code CLI 92.0% 92.0% 46/50 46/50 Gemini 3.8 Flash with Antigravity 68.0% 62.0% 34/50 31/50 DeepSeek-V4.1-Flash with Codex 54.0% 50.0% 27/50 25/50 GLM 5.3 with Claude Code CLI 42.0% 52.0% 21/50 26/50 - 作者的两处表述:引言称部分前沿模型在具体计算上可能已经超过最强的人类研究者。Section V称广度超过任何个人,专门领域的计算能力现已与世界专家相当。摘要写Astra的准确率为98%,Figure 3标为98.0%。
- 两条轨道:作者称多数智能体两条轨道的准确率变化很小,并认为前沿LLM已有效记住理论物理文献的很大一部分,不必查阅也能再现关键公式。表中GLM是isolated高于realistic的一行;作者对这一例外的解释见下节。
- 与其他基准:作者称目视看来本题平均比包括CritPt在内的既有理论物理题集更难,但通过率更高。作者称近期文献提示一些理论物理基准可能存在不准确的评测[50],了解这一差异是有兴趣的。论文未给出那些基准的数字。
错题与定性分析
- 无人通过的逆问题:§1b在Table IV中五个智能体、两条轨道均为0。作者称这是逆问题,出题者与智能体有信息不对称,解答还玩弄了prompt里“differential equation”的措辞。附录B称从严格角度看可能显得不公平,但仍类似研究者面对略不精确数据的情形。私人聊天(非最终API)中Astra曾猜到需要分数阶导数与时滞,仍未搜到参数。
- Astra与参考解答:realistic上Astra只错§1b。isolated另错3题,其中2题被它错误拒绝为不可解。作者称起初认为Astra还有多题错误,经专家修正原解答后,Astra的解是对的。其他模型以及Astra在isolated上做对的题,都是Astra在realistic上做对题集的严格子集。
- 其余错法:Opus在realistic的§1c用了文献[51]的初始数据而非prompt指定值,isolated未犯;§9a两条轨道都对无穷级数收敛速率给出错误结论;§7a在realistic反复触及最大输出token限制而无有效输出,isolated解出;isolated的§7d建立模微分方程有小错,realistic没有。§10d上,Gemini与GLM在realistic使用了[35]中适用于五维、须改到四维的公式;isolated上Gemini、GLM、DeepSeek计算的是测地线长度而非所需极小面积。§11f上GLM两条轨道都把该题错误说成等价于另一题;DeepSeek仅isolated选错基、realistic做对;Gemini在realistic有类似错误,isolated无输出。作者称GLM的isolated更高,主要因为附录A.6已提供关键文献,isolated劣势较小,而realistic上早期符号错误传到后面的小题。
费用与token
费用据Table III,由token乘API单价得到(GLM除外)。
智能体 realistic(美元) isolated(美元) Astra 116.28 95.20 Opus 240.43 275.46 Gemini 95.01 90.48 DeepSeek 37.42 36.23 GLM(coding plan,两轨道合计) 180 180 - 摘要称Astra平均每题低于3美元;Table III给出的是整轨合计,论文未单列每题平均的计算值。GLM若按API计价,realistic为311.71美元、isolated为371.46美元。作者称Opus费用明显高于其他模型。
- token总量(百万,Table II的Total列):realistic上Astra 37.41、Opus 211.18、Gemini 606.71、DeepSeek 1025.60、GLM 971.96;isolated上Astra 24.53、Opus 228.43、Gemini 594.20、DeepSeek 833.97、GLM 1115.61。作者称输入token远多于prompt token,因为智能体写脚本、读输出,realistic上还访问网页。cached与uncached分开计价,作者称这一划分科学意义有限,且依赖API端当时的运行条件。四舍五入后分量之和可能与合计不完全相等。
其他消融与分析
- 无超参数或组件消融;reasoning effort固定为max(Gemini为high)。
- 每智能体每轨道一次;作者称非零温度下重复运行输出可能不同(Section III)。
- DeepSeek的§11e在isolated因超过时限被切断,未记录token(Table VIII脚注)。
- 逐题通过、token与美元费用在附录C(Table IV–X)。
- 作者称isolated轨迹的自动分析未发现逃出沙箱的实例(Section III)。
- 作者称其他模型的部分错误对人类专家会是明显的,例如§10d未把五维公式改到四维(Section IV)。
有什么可以进一步探索的点?
作者称关于问题品味与改换方向的观察无法量化,且不构成对未来AI的主张。
作者指出的局限与后续方向
- 观察不可量化:关于当前智能体不擅长在问题过难时改换方向、缺少物理学家对“有趣问题”的共享判断、以及不能把重大物理问题直接交给它们自主解决,作者写明这些说法基于经验与交谈,无法量化;其他研究者可能经验不同;它们不构成关于AI未来发展的主张。(Section V)
- 专用harness:作者称本评测用的是常见消费级harness。面向科学工作的专用harness在数学中已有成功案例。了解这类harness能否提高本评测中的准确率,是作者认为有兴趣的问题。(Section V)
- 模型与harness搭配:作者称Astra、Opus、Gemini分别配Codex、Claude Code、Antigravity是自然的,但DeepSeek配Codex、GLM配Claude Code是他们的选择;不同组合可能更好,并鼓励读者尝试。(Section V)
- 非对抗式题集:作者称或许可以用对抗方式构造题目来降低准确率,例如无人解出的逆问题§1b,且应能构造更多此类题;他们选择不这样做,因为套件要代表研究中实际遇到的难题。(Section V)
- 训练与资源:作者称,除非目标明确是把题目做一遍而不是要最终结果,否则不宜再把集子中的某些题当作起步研究者的初始课题。作者预期更难的题将需要更多资源,并由此提出物理研究中的获取与公平问题。(Section V)
实验覆盖范围
- 被测为上述五个智能体,各在realistic与isolated轨道上经API完整跑一次(Section III、IV)。
- 题目50道,主题为Table I的11类;判定为最终数值答案是否通过,不评证明(Section I.A、III)。
- 时限为一般任务8小时、附录A.6合计20小时;无费用或token上限;推理力度除Gemini 3.8 Flash为high外为max(Section III)。论文未报告温度数值。
- 作者在引言写明不能排除数据泄漏,因为部分题的人类求解用过AI;实验完成后§10a的一种解已公开(引言)。§9a与§11d的约定未完全规定,评分纳入观察到的选择;§1b按视觉拟合判(Section III、附录A脚注、附录B)。
- 逐题通过、token与费用见附录C;DeepSeek的§11e在isolated因超时无token记录(Table VIII)。
总结一下论文的主要内容
Astra在realistic通过49/50;作者称具体计算已强,自主研究仍要人定方向。
TheoPhysEval用50道未发表、答案可核验的研究级理论物理题,测现成智能体能否在无人类提示下自主给出最终答案。
- 要测的能力:作者关心的不是开放的重大突破,而是“turn-the-crank”计算:用已知技术推广已有结果。无AI时,典型题世界专家约一天或更短可解,相邻方向则久得多。部分题的人类求解用过AI,作者写明不能排除数据泄漏。
- 做法:专家供题,主持人改题并实现评分。符号答案被改成不易猜测的数值,再自动核对,不用LLM裁判。realistic允许检索与本地脚本;isolated禁用网页检索。五个智能体各跑一次。推理力度除Gemini 3.8 Flash为high外为max。超时一般为8小时,附录A.6合计20小时。
- 通过数:realistic上Astra 49/50(Figure 3为98.0%),Opus 46/50(92.0%),Gemini 34/50(68.0%),DeepSeek 27/50(54.0%),GLM 21/50(42.0%)(Table IV)。isolated上Astra与Opus均为46/50(92.0%),Gemini 31/50(62.0%),DeepSeek 25/50(50.0%),GLM 26/50(52.0%)。五者都未解出逆问题§1b。作者称多数智能体两条轨道变化很小,并认为文献被大量记住;GLM相反,作者称主要是一组已提供关键文献的电子结构题上,符号错误传到了后面的小题。
- 费用:Astra的realistic总费用为116.28美元(Table III)。摘要称其平均每题低于3美元。Opus的realistic为240.43美元、isolated为275.46美元。
- 作者的结论:作者称前沿智能体已能准确完成理论物理各方向所需的具体计算,广度超过个人,专门领域可与世界专家相比;引言另称部分前沿模型在具体计算上可能已经超过最强人类研究者。作者同时称,具体计算只出现在研究后期,构造理论、提出合适的高层问题、把问题变成计算仍需要人类专家定方向;当前不能把一个重大物理问题直接交给智能体并期望它自主解决。关于问题品味与改换方向的说法,作者称无法量化,也不构成对未来AI的主张。