跳到正文
原文

TheoPhysEval:评估 AI 智能体自主解决理论物理问题的能力

TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving

arXiv· arXiv:2610.16733· A. Ramesh Chandra, Aaghaz Mahajan, Ainesh Sanyal, Mianqi Wang, Shubhadeep Chakraborty, Sudip Chakraborty, Shailesh Chandrasekharan, Rama Govindarajan, Akshit Goyal, Jonathan J. Heckman, Yasir Iqbal, Divya Jaganathan, Saumav Kapoor, Andreas Karch, Pushkar Khandare, Sandeep Krishna, Anupam Kundu, Alok Laddha, Tongyan Lin, Swarnendu Maity, Nilmani Mathur, Shani Nadir Meynet, Alessandro Mininno, Abhijeet Mishra, Vidur Niranjan, Abhishodh Prakash, Pratik Rath, Durbar Roy, Debargha Sarkar, Srikanth Sastry, Gary Shiu, Aninda Sinha, Thomas Van Riet, Praneeth Netrapalli, Suvrat RajuInternational Centre for Theoretical Sciences; Tata Institute of Fundamental Research; University of Texas at Austin; Kavli IPMU (WPI), The University of Tokyo; Harish-Chandra Research Institute; Homi Bhabha National Institute; Duke University; University of Pennsylvania; Indian Institute of Technology Madras; Harvard University; Jawaharlal Nehru Centre for Advanced Scientific Research; Chennai Mathematical Institute; University of California, San Diego; University of Wisconsin–Madison; Monash University; Indian Institute of Science; University of Calgary; KU Leuven; Google DeepMind本站收录· 2026-10-18· 原文发表评测

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

用50道未发表理论物理题评测五个智能体,Astra在realistic轨道通过49/50。

问题
要测的是现成智能体能否在无人类提示下,自主解出评测时公开文献查不到、答案可核验的研究级理论物理计算题。作者称这类题代表研究中的具体计算,而不是开放突破。
方法
专家提供50道题。符号答案被改成数值,以免用LLM裁判。Harbor下分realistic(可检索与本地工具)和isolated(禁网页检索)两条轨道,五个智能体各跑一次,按最终数值判对错。
实验与结果
realistic通过数:Astra 49/50,Opus 46/50,Gemini 34/50,DeepSeek 27/50,GLM 21/50。isolated上Astra与Opus为46/50,GLM为26/50。无人解出§1b。
局限与可以继续做的
作者称关于问题品味与改换方向的观察无法量化,且不构成对未来AI的主张。套件不是对抗式题集。每个智能体每条轨道只跑一次;§9a与§11d约定未完全规定。
实验设置GPT-6-Astra、Opus 5.5 等 · TheoPhysEval · pass rate、accuracy 等
被测模型
GPT-6-AstraOpus 5.5Gemini 3.8 FlashDeepSeek-V4.1-FlashGLM 5.3
基准
TheoPhysEval
指标
pass rateaccuracytoken usageevaluation cost (USD)
AI 导读TheoPhysEval 提出一套 50 道未发表的、答案可验证的研究级理论物理题目,用来测试现成 AI 智能体在无人类提示下自主解题的能力。论文称,在可以使用文献检索以及数值和符号计算脚本等工具时,表现最好的智能体 GPT-6-Astra 搭配 Codex 达到 98% 的准确率,平均每题成本低于 3 美元。禁用网络搜索与背景研究论文后,各智能体的准确率平均只有小幅变化,论文认为这提示其对文献存在显著的记忆。作者还讨论了这些结果的含义,以及智能体解题能力突出却尚未带来理论物理突破的可能原因。

TheoPhysEval 提出一套 50 道未发表的、答案可验证的研究级理论物理题目,用来测试现成 AI 智能体在无人类提示下自主解题的能力。论文称,在可以使用文献检索以及数值和符号计算脚本等工具时,表现最好的智能体 GPT-6-Astra 搭配 Codex 达到 98% 的准确率,平均每题成本低于 3 美元。禁用网络搜索与背景研究论文后,各智能体的准确率平均只有小幅变化,论文认为这提示其对文献存在显著的记忆。作者还讨论了这些结果的含义,以及智能体解题能力突出却尚未带来理论物理突破的可能原因。

相关热点

4 个事件 · 6 条新闻提到

提到这篇论文的新闻

七位物理学家谈AI对理论物理的冲击

Simons基金会与OpenAI、Anthropic出资1500万美元支持数学家检验AI成果

Anthropic联创在IMF演讲称AI奇点已开始

再看 3 条

TheoPhysEval:GPT-6-Astra解出49/50物理题

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    评测现成智能体能否无提示地解出可核验的研究级理论物理计算题。

    现成智能体能否在无人提示下,自主解出答案可核验的研究级理论物理计算题。

    • 场景:作者称近几个月智能体已能在很少或无人监督下做多种科学任务。数学里已有开放问题被智能体解决;理论物理这边作者称尚未取得值得注意的突破,但研究者已用智能体讨论想法、做计算、检索文献和起草文稿。本文要评估的是其中一项:自主解决提法清楚、答案可核验的问题。
    • 现有评测:作者称已有工作覆盖中学、竞赛和本科物理;TPBench、SciCode、FrontierScience、PRL-Bench、QMBench、CritPt等含研究级题,也含更简单的题。多数评测通常不让智能体使用现实中可用的全套工具。
    • 题目性质:50道题来自各方向世界专家。作者称为“turn-the-crank”题:用已知技术推广已有结果;结果严格说来是新的,有时甚至可发表,但不是路径突破。无AI辅助时,典型题世界专家约一天或更短可解,相邻方向则要久得多。不因智能体能解就拒收,故不是对抗基准。作者写明部分题的人类求解用过AI,不能排除数据泄漏,也不满足“未被AI碰过”的更严标准。
    • 本文提出:TheoPhysEval。realistic轨道可联网检索并使用本地工具;isolated轨道除对模型提供方的调用外禁用网页检索。用Harbor按最终数值答案自动评分,不给人类提示。
  2. 有哪些相关研究?

    作者把本文放在研究级科学基准之中,并与First Proof的人工评证明对照。

    按引言与Previous work的分组。

    中学到本科

    • 学校阶段[19, 20]、竞赛[21, 22]与本科物理[23]:作者称已有大量工作在这些层次上评测LLM。正文未逐篇展开各基准的做法,也未逐篇点名批评。

    含研究级题的基准

    • TPBench[24]、SciCode[25]、FrontierScience[26]、PRL-Bench[27]、QMBench[28]、CritPt[29]:除较简单的题外也包含研究级问题。作者称本文与这一文献的区别是只做现代研究级题;评测方法也不同,因为多数其他评测通常不让智能体使用现实中会用到的全套工具。

    更广的科学工作流基准

    • Terminal-Bench-Science[30]:覆盖面比本评测更广。作者称本评测聚焦理论物理、在该领域覆盖更深;因为要评物理学家会遇到的现实问题,不因智能体能解就丢弃题目。本评测使用Terminal-Bench所用的Harbor框架。

    未发表的研究级数学题

    • First Proof[31–34]:作者称与本评测大致可比,都涉及未发表的研究级问题。区别是First Proof由人类评估证明,本评测自动、且只看最终答案。

    对照设置

    • 论文未设独立的外部基线方法。对照是五个现成智能体在同一50题、realistic与isolated两条轨道上的通过率(Section IV,Figure 3、Figure 4,Table IV)。

    作者把本文定位为只收现代研究级理论物理题、允许现实设定中的工具、并只按最终答案自动评分;题目要代表研究中的问题,而不是对抗式基准。引言把这与数学中已出现的自主求解对照,并称理论物理尚未出现同类突破。

  3. 论文如何解决这个问题?

    50道专家题改成数值答案,在可检索与禁检索两条轨道上自动评分。

    专家供题、主持人改题并实现基准,在realistic与isolated两条轨道上用Harbor按最终数值答案评分。

    选题标准与来源

    • 三条标准(Section II):与当前物理研究相关;已知解答易于核验、难以猜测;解答不能在已发表文献或其他地方查到。并请贡献者短期内不要发表解答。这些标准排除专家打算不久发表的进行中研究。
    • 难度取舍:贡献者被要求给出各自领域尽可能难的题,但不因智能体能解就拒收。作者称套件要代表理论物理中的问题,而不是对抗基准。
    • 两条来源:研究笔记里已做出但未发表的题;或改编自己近期论文,改变若干参数,使新答案不能从旧答案猜出。贡献者可改已有代码求解;另一位专家或智能体则须定位并理解原解答、重建计算、再适配。作者称这类练习常交给开始做研究的研究生。
    • 例子:Box 1给出黑洞弦Page时间、class D费米子宇称泵、平板边界层三例及预期解答轨迹。全息那道与已有论文[35]相关,陈述刻意简短;原作者之一(SR)改编原计算大约用了一天。评测问的是:除给定prompt外不给提示,智能体能否自主走完解答步骤。

    规模与主题

    • 50题:Table I为经典物理5、随机过程与生物物理5、非平衡统计力学3、格点理论3、量子物相5、电子结构4、量子场论7、粒子物理2、散射振幅5、全息与纠缠5、引力与宇宙学6。全文在附录A。
    • 覆盖:作者称不认为任何物理学家有能力尝试其中超过一小部分;同一主题类里,单个专家也往往难做完全部。分布受邀请网络影响,也受学科影响:量子场论等更容易构造带可核验答案的硬计算,其他领域更难。作者称这不是理论物理全部领域的穷尽调查。

    把符号答案改成数值

    • 为何不用LLM裁判:同一表达式可有多种等价写法,记号也不统一。用LLM把答案改成标准记号再做符号比较,会引入额外误差。
    • 做法:给智能体相关和无关物理量的数值,把表达式转成浮点数或不易猜的整数序列(Box 2)。按这些数值答案评分。

    轨道与运行

    • realistic:可网页检索,也可使用本地工具。作者称职业物理学家没有理由关掉检索或重写已有科学代码,故这条更能反映助手用途。
    • isolated:可用本地工具;除对模型提供方本身的调用外,禁用网页检索。面向想测内在物理知识、以及从零重写研究级代码与计算的模型开发者。在Harbor管理的本地Docker沙箱中运行,关闭互联网。作者称自动分析轨迹后,未发现逃出沙箱的实例。
    • 机器与时限:最终评测在Google Cloud的e2-standard虚拟机上,每题2 vCPU、4 GB内存、10 GB存储。不限制总费用或token。8小时未完成则切断,记为无输出。附录A.6的多任务题合计时限20小时。
    • 运行次数与推理力度:为节省时间和费用,每个智能体经API只跑完整套件一次。作者提醒非零温度下不同运行输出可能不同。除Gemini 3.8 Flash用可用的最高档high外,其余模型的reasoning effort设为max。正文未给出温度数值。
    • 五个智能体:GPT-6-Astra配Codex;Opus 5.5配Claude Code CLI;Gemini 3.8 Flash配Antigravity;DeepSeek-V4.1-Flash配Codex;GLM 5.3配Claude Code CLI。

    通过判定与已知歧义

    • 主判定:最终数值是否与评分键一致。电子结构四道题前后衔接,附录A.6写明部分字段的容差;Table IV仍按整题通过与否计。
    • 约定未写死:终轮后发现§9a与§11d的约定未完全规定。评分键允许评测中观察到的约定选择。附录A脚注写明§9a未显式规定N,§11d的模空间度规、轴荷与渐近模值未规定,评分计入评测中见到的选择。
    • §1b:难以做Box 2那种数值转换。要求若无方程则输出0,若找到则输出方程;任何能在视觉上拟合曲线的方程都会判对。附录B给出一种含分数阶导数与时滞的方程,并称解不唯一。
  4. 论文做了哪些实验?

    作者称Astra在realistic通过49/50;多数智能体禁检索后变化小,GLM除外。

    实验设置

    • 被测智能体:GPT-6-Astra with Codex、Opus 5.5 with Claude Code CLI、Gemini 3.8 Flash with Antigravity、DeepSeek-V4.1-Flash with Codex、GLM 5.3 with Claude Code CLI。推理力度除Gemini 3.8 Flash为high外均为max。
    • 题目:50道,主题见Table I,全文在附录A。作者称评测时答案未公开;实验完成后§10a的一种解已公开出现[61]。引言写明部分题的人类求解用过AI,不能排除数据泄漏。
    • 轨道:realistic允许网页检索与本地工具;isolated禁用网页检索(对模型提供方的调用除外)。各智能体每条轨道经API跑一次。
    • 环境:Harbor;isolated为关互联网的Docker沙箱。e2-standard:2 vCPU、4 GB内存、10 GB存储。一般任务8小时截止,附录A.6合计20小时。无费用或token上限。
    • 判定:通过与否看最终数值是否符合评分键,不是LLM裁判,也不评证明。§9a、§11d允许多种约定;§1b按曲线的视觉拟合判。
    • 论文未报告:温度的具体数值;多次运行的方差。专家复核只用于纠正若干参考解答,论文未报告与人工评分的一致性系数。

    主结果

    通过率来自Figure 3(realistic)与Figure 4(isolated);解出题数来自Table IV末行。

    表格较宽,可左右滑动

    智能体realistic通过率isolated通过率realistic解出isolated解出
    GPT-6-Astra with Codex98.0%92.0%49/5046/50
    Opus 5.5 with Claude Code CLI92.0%92.0%46/5046/50
    Gemini 3.8 Flash with Antigravity68.0%62.0%34/5031/50
    DeepSeek-V4.1-Flash with Codex54.0%50.0%27/5025/50
    GLM 5.3 with Claude Code CLI42.0%52.0%21/5026/50
    • 作者的两处表述:引言称部分前沿模型在具体计算上可能已经超过最强的人类研究者。Section V称广度超过任何个人,专门领域的计算能力现已与世界专家相当。摘要写Astra的准确率为98%,Figure 3标为98.0%。
    • 两条轨道:作者称多数智能体两条轨道的准确率变化很小,并认为前沿LLM已有效记住理论物理文献的很大一部分,不必查阅也能再现关键公式。表中GLM是isolated高于realistic的一行;作者对这一例外的解释见下节。
    • 与其他基准:作者称目视看来本题平均比包括CritPt在内的既有理论物理题集更难,但通过率更高。作者称近期文献提示一些理论物理基准可能存在不准确的评测[50],了解这一差异是有兴趣的。论文未给出那些基准的数字。

    错题与定性分析

    • 无人通过的逆问题:§1b在Table IV中五个智能体、两条轨道均为0。作者称这是逆问题,出题者与智能体有信息不对称,解答还玩弄了prompt里“differential equation”的措辞。附录B称从严格角度看可能显得不公平,但仍类似研究者面对略不精确数据的情形。私人聊天(非最终API)中Astra曾猜到需要分数阶导数与时滞,仍未搜到参数。
    • Astra与参考解答:realistic上Astra只错§1b。isolated另错3题,其中2题被它错误拒绝为不可解。作者称起初认为Astra还有多题错误,经专家修正原解答后,Astra的解是对的。其他模型以及Astra在isolated上做对的题,都是Astra在realistic上做对题集的严格子集。
    • 其余错法:Opus在realistic的§1c用了文献[51]的初始数据而非prompt指定值,isolated未犯;§9a两条轨道都对无穷级数收敛速率给出错误结论;§7a在realistic反复触及最大输出token限制而无有效输出,isolated解出;isolated的§7d建立模微分方程有小错,realistic没有。§10d上,Gemini与GLM在realistic使用了[35]中适用于五维、须改到四维的公式;isolated上Gemini、GLM、DeepSeek计算的是测地线长度而非所需极小面积。§11f上GLM两条轨道都把该题错误说成等价于另一题;DeepSeek仅isolated选错基、realistic做对;Gemini在realistic有类似错误,isolated无输出。作者称GLM的isolated更高,主要因为附录A.6已提供关键文献,isolated劣势较小,而realistic上早期符号错误传到后面的小题。

    费用与token

    费用据Table III,由token乘API单价得到(GLM除外)。

    智能体realistic(美元)isolated(美元)
    Astra116.2895.20
    Opus240.43275.46
    Gemini95.0190.48
    DeepSeek37.4236.23
    GLM(coding plan,两轨道合计)180180
    • 摘要称Astra平均每题低于3美元;Table III给出的是整轨合计,论文未单列每题平均的计算值。GLM若按API计价,realistic为311.71美元、isolated为371.46美元。作者称Opus费用明显高于其他模型。
    • token总量(百万,Table II的Total列):realistic上Astra 37.41、Opus 211.18、Gemini 606.71、DeepSeek 1025.60、GLM 971.96;isolated上Astra 24.53、Opus 228.43、Gemini 594.20、DeepSeek 833.97、GLM 1115.61。作者称输入token远多于prompt token,因为智能体写脚本、读输出,realistic上还访问网页。cached与uncached分开计价,作者称这一划分科学意义有限,且依赖API端当时的运行条件。四舍五入后分量之和可能与合计不完全相等。

    其他消融与分析

    • 无超参数或组件消融;reasoning effort固定为max(Gemini为high)。
    • 每智能体每轨道一次;作者称非零温度下重复运行输出可能不同(Section III)。
    • DeepSeek的§11e在isolated因超过时限被切断,未记录token(Table VIII脚注)。
    • 逐题通过、token与美元费用在附录C(Table IV–X)。
    • 作者称isolated轨迹的自动分析未发现逃出沙箱的实例(Section III)。
    • 作者称其他模型的部分错误对人类专家会是明显的,例如§10d未把五维公式改到四维(Section IV)。
  5. 有什么可以进一步探索的点?

    作者称关于问题品味与改换方向的观察无法量化,且不构成对未来AI的主张。

    作者指出的局限与后续方向

    • 观察不可量化:关于当前智能体不擅长在问题过难时改换方向、缺少物理学家对“有趣问题”的共享判断、以及不能把重大物理问题直接交给它们自主解决,作者写明这些说法基于经验与交谈,无法量化;其他研究者可能经验不同;它们不构成关于AI未来发展的主张。(Section V)
    • 专用harness:作者称本评测用的是常见消费级harness。面向科学工作的专用harness在数学中已有成功案例。了解这类harness能否提高本评测中的准确率,是作者认为有兴趣的问题。(Section V)
    • 模型与harness搭配:作者称Astra、Opus、Gemini分别配Codex、Claude Code、Antigravity是自然的,但DeepSeek配Codex、GLM配Claude Code是他们的选择;不同组合可能更好,并鼓励读者尝试。(Section V)
    • 非对抗式题集:作者称或许可以用对抗方式构造题目来降低准确率,例如无人解出的逆问题§1b,且应能构造更多此类题;他们选择不这样做,因为套件要代表研究中实际遇到的难题。(Section V)
    • 训练与资源:作者称,除非目标明确是把题目做一遍而不是要最终结果,否则不宜再把集子中的某些题当作起步研究者的初始课题。作者预期更难的题将需要更多资源,并由此提出物理研究中的获取与公平问题。(Section V)

    实验覆盖范围

    • 被测为上述五个智能体,各在realistic与isolated轨道上经API完整跑一次(Section III、IV)。
    • 题目50道,主题为Table I的11类;判定为最终数值答案是否通过,不评证明(Section I.A、III)。
    • 时限为一般任务8小时、附录A.6合计20小时;无费用或token上限;推理力度除Gemini 3.8 Flash为high外为max(Section III)。论文未报告温度数值。
    • 作者在引言写明不能排除数据泄漏,因为部分题的人类求解用过AI;实验完成后§10a的一种解已公开(引言)。§9a与§11d的约定未完全规定,评分纳入观察到的选择;§1b按视觉拟合判(Section III、附录A脚注、附录B)。
    • 逐题通过、token与费用见附录C;DeepSeek的§11e在isolated因超时无token记录(Table VIII)。
  6. 总结一下论文的主要内容

    Astra在realistic通过49/50;作者称具体计算已强,自主研究仍要人定方向。

    TheoPhysEval用50道未发表、答案可核验的研究级理论物理题,测现成智能体能否在无人类提示下自主给出最终答案。

    • 要测的能力:作者关心的不是开放的重大突破,而是“turn-the-crank”计算:用已知技术推广已有结果。无AI时,典型题世界专家约一天或更短可解,相邻方向则久得多。部分题的人类求解用过AI,作者写明不能排除数据泄漏。
    • 做法:专家供题,主持人改题并实现评分。符号答案被改成不易猜测的数值,再自动核对,不用LLM裁判。realistic允许检索与本地脚本;isolated禁用网页检索。五个智能体各跑一次。推理力度除Gemini 3.8 Flash为high外为max。超时一般为8小时,附录A.6合计20小时。
    • 通过数:realistic上Astra 49/50(Figure 3为98.0%),Opus 46/50(92.0%),Gemini 34/50(68.0%),DeepSeek 27/50(54.0%),GLM 21/50(42.0%)(Table IV)。isolated上Astra与Opus均为46/50(92.0%),Gemini 31/50(62.0%),DeepSeek 25/50(50.0%),GLM 26/50(52.0%)。五者都未解出逆问题§1b。作者称多数智能体两条轨道变化很小,并认为文献被大量记住;GLM相反,作者称主要是一组已提供关键文献的电子结构题上,符号错误传到了后面的小题。
    • 费用:Astra的realistic总费用为116.28美元(Table III)。摘要称其平均每题低于3美元。Opus的realistic为240.43美元、isolated为275.46美元。
    • 作者的结论:作者称前沿智能体已能准确完成理论物理各方向所需的具体计算,广度超过个人,专门领域可与世界专家相比;引言另称部分前沿模型在具体计算上可能已经超过最强人类研究者。作者同时称,具体计算只出现在研究后期,构造理论、提出合适的高层问题、把问题变成计算仍需要人类专家定方向;当前不能把一个重大物理问题直接交给智能体并期望它自主解决。关于问题品味与改换方向的说法,作者称无法量化,也不构成对未来AI的主张。
阅读原文arxiv.org