跳到正文
原文
arXiv· arXiv:2609.13009· Ali Ansari·本站收录· 原文发表精选关注度38

前沿模型的物理能力有多强？专家重新评分揭示评测缺陷与领先基准接近饱和

How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks

论文速读

评测与基准

据论文 PDF 整理（Gemini 生成），以原文为准

专家审计6个物理基准，修正缺陷后GPT-5.6-Sol在HLE-Physics的mean@4由47.3%升至78.7%。

问题
领先物理基准上模型得分较低，与物理学家实际使用中观察到的强能力存在矛盾。这引发了前沿模型是否真正在高级物理推理上存在困难的核心疑问。
方法
研究招募物理专家审计六个物理基准的题目、参考解答及模型输出，区分模型真实错误、评分器错误与基准缺陷，并在修正解答或剔除缺陷题目后重新评测。
实验与结果
审计的250道初筛错题中95.20%为基准或判分错误。修正后GPT-5.6-Sol在HLE-Physics的mean@4由47.28%升至78.66%，在CritPt保留题上的pass@4达94.44%。
局限与可以继续做的
闭卷题近饱和不代表具备端到端科研能力，模型在理论物理未解问题上仍未取得突破；高质量基准建设需要大量资金与严格专家验证。
实验设置GPT-5.6-Sol、Claude Fable 5 等 · UGPhysics、PHYBench 等 · mean@4、pass@4 等
被测模型
GPT-5.6-SolClaude Fable 5Gemini 3.1 Pro
基准
UGPhysicsPHYBenchPRISM-PhysicsHLE-PhysicsCMT-BenchmarkCritPt
指标
mean@4pass@4mean@5accuracyExpression Edit Distance (EED)
AI 导读和推荐理由耶鲁大学团队对六个物理基准做专家审计后称，被判错的案例绝大多数来自基准或评分器缺陷，而非模型的物理推理错误。审计的 250 个案例中 12 个归为模型错误，238 个归为题目或评分器缺陷，其中规则型评分器把等价形式答案判错的情况在 PHYBench 和 PRISM-Physics 上占比最大。在修正参考解、修复或剔除有缺陷的题目后，GPT-5.6-Sol 在 HLE-Physics 的 mean@4 从 47.3% 升至 78.7%，在 CMT-Benchmark 从 61.0% 升至 87.2%，在保留的 54 道 CritPt 题上 pass@4 达 94.4%。论文认为领先物理基准已接近饱和，需要新的、经专家验证的难题；作者还称用基于 GPT 的智能体攻关理论物理开放问题，进展远不如数学，目前尚未完整解决任何一题。

耶鲁大学团队对六个物理基准做专家审计后称，被判错的案例绝大多数来自基准或评分器缺陷，而非模型的物理推理错误。审计的 250 个案例中 12 个归为模型错误，238 个归为题目或评分器缺陷，其中规则型评分器把等价形式答案判错的情况在 PHYBench 和 PRISM-Physics 上占比最大。在修正参考解、修复或剔除有缺陷的题目后，GPT-5.6-Sol 在 HLE-Physics 的 mean@4 从 47.3% 升至 78.7%，在 CMT-Benchmark 从 61.0% 升至 87.2%，在保留的 54 道 CritPt 题上 pass@4 达 94.4%。论文认为领先物理基准已接近饱和，需要新的、经专家验证的难题；作者还称用基于 GPT 的智能体攻关理论物理开放问题，进展远不如数学，目前尚未完整解决任何一题。

推荐理由论文用物理专家逐题复核把基准缺陷与模型错误分开，显示前沿模型在多项物理基准上的真实得分被评测问题显著低估。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者探讨前沿模型在物理基准上的低分是源于模型物理推理缺陷，还是基准与评测流程本身的问题。

    前沿大语言模型在主流物理基准上的低分表现，究竟反映了模型真实的物理推理缺陷，还是源于评测基准与评分流程本身的错误。

    • 背景与认知脱节：近期多项物理基准测试报告前沿模型表现远低于人类物理专家，然而这一结论与物理学家在实际研究工作中使用模型时体会到的较强能力存在明显矛盾。
    • 评测流程的固有漏洞：现有物理基准在统计错误率时，将模型推理失误、规则评分器误判以及基准自身的缺陷（如题目歧义、缺失物理假设或参考答案错误）混为一谈。
    • 核心观察与假设：随着模型推理能力提高，其真实物理错误率可能已降至基准自身的缺陷率之下，导致基准评测报告的错误大部分实际上属于评测材料本身的缺陷。
    • 论文的研究方案：组织物理学领域专家团队对六个主流物理基准展开细致审计，系统分离模型错误、评分器错误与基准错误，并在修正或排除缺陷题目后重新评测前沿模型。

  2. 有哪些相关研究？

    论文梳理了模型在物理科研中的探索、基准标签缺陷与评测偏差相关研究，旨在系统审计并修正六大物理基准。
    • 前沿模型在开放物理研究中的探索：Bubeck等（2025）报告GPT-5 Pro重构了黑洞Love数分析背后的SL(2, R)对称代数；Schwartz（2026a, 2026b）引导Claude推导出新的因式分解定理并完成C参数计算；Brenner等（2026）结合Gemini Deep Think与搜索推导出宇宙弦辐射解析解。作者指出这些探索引入了专家介入或外部检验且无标准参考答案，未能在标准化任务上严格量化物理能力。
    • 基准缺陷随模型能力演进的研究：Northcutt等（2021）指出测试集标签错误会扰乱模型排名；Bowman与Dahl（2021）提出基准测试的充分性标准，并强调固定基准在高准确率阶段会丧失统计效力。作者引述其观点认为，当模型能力提高使真实错误率低于基准缺陷率时，评分器与基准错误会掩盖真实水平。
    • 评测机制缺陷与软件工程基准先例：Zheng等（2023, 2025）、Chen等（2024）与Tan等（2025）分析了LLM裁判的偏差与客观推理缺陷；Jimenez等（2024）与OpenAI（2024, 2026c, 2026d）审计SWE-bench发现Verified子集59.4%的任务存在实质问题。作者指出物理基准依赖人工书写答案且缺乏可执行测试，缺陷更难排查。
    • 评测基准与被测对象：论文对比了公开来源基准UGPhysics、PHYBench、PRISM-Physics，以及专家原创基准HLE-Physics、CMT-Benchmark和CritPt，评测对象为GPT-5.6-Sol、Claude Fable 5与Gemini 3.1 Pro。
    • 本文定位：作者指出以往基准低估了模型物理能力，本文通过领域专家逐题推导与复审，首次系统分离了基准错误、评分错误与模型错误。

  3. 论文如何解决这个问题？

    作者建立专家审计流程将报错归因于模型、评分器与基准三类，通过剔除或修复缺陷题目后采用统一流水线重测。

    作者提出结合基准评测与专家审计的诊断方法，通过物理领域专家深入核查题目陈述、参考解答和模型输出，分离模型真实错误与评测体系缺陷，并在修正或排除缺陷题后重新评测。

    问题设定与基准划分

    • 六项基准与来源分类：评测涵盖六个闭卷物理基准，按题目来源分为两类：一类源自公开题目（UGPhysics、PHYBench、PRISM-Physics），存在潜在污染风险；另一类由领域专家原创（HLE-Physics、CMT-Benchmark、CritPt），污染风险较低。
    • 闭卷与答案等价性：所有基准均为封闭式问题，要求模型输出确定的最终答案；只要最终答案在数学形式上与参考解答等价，无论推导路径如何均判定为正确。

    错误归因分类体系

    • 模型错误（Model error）：题目表述明确良定义且参考解答正确，但被测模型给出了错误答案，仅此类计为模型真实的物理推理错误。
    • 评分器错误（Grader error）：题目良定义且参考解答正确，模型也给出了正确答案，但评估器（主要为基于规则的评估器）因未能识别等价数学形式或不同符号约定而判错。
    • 基准错误（Benchmark error）：题目陈述或参考解答存在缺陷，包括参考解答错误、题设条件自相矛盾、表述歧义或缺失推导必要结果所必需的关键物理假设。

    专家审计与修正流程

    • 专家匹配与两阶段初筛：由物理系教师及研究生组成专家团队，按物理子领域对口分配题目，首先独立推导或审查题目。
    • 公开源基准与HLE的剔除策略：对UGPhysics、PHYBench、PRISM-Physics和HLE-Physics中被GPT-5.6-Sol High初筛全部判错的题目进行专家审核，核实为基准错误的题目直接剔除。
    • 原创基准的修复策略：对CritPt与CMT-Benchmark，专家在可能的情况下对题目或参考解答进行修复，如明确哈密顿量归一化约定或补充边界条件，无法合理修复的题目予以剔除。例如在CritPt第44题中，专家补充了包含泡利矩阵的标准形式哈密顿量以消除自旋约定的歧义：

    H = − ∑⟨ ij ⟩x σix σjx − ∑⟨ ij ⟩y σiy σjy − ∑⟨ ij ⟩z σiz σjz 该公式给出了各向同性Kitaev蜂窝模型的标准微观哈密顿量定义，使体系的基态能量具有唯一确定的数值。

    重新评测协议

    • 统一评测流水线：修正后的评测统一采用基于HLE改良的评测流水线，使用统一的系统提示词生成回答，并采用LLM裁判提示词比对答案等价性。
    • 统计指标：报告mean@4（4次独立尝试的平均准确率）与pass@4（4次尝试中至少有一次正确的题目比例）；CritPt因缺乏官方单题参考答案，评测基于专家独立推导的参考答案进行。

  4. 论文做了哪些实验？

    修正后GPT-5.6-Sol在HLE-Physicsmean@4达78.66%，初筛错题95.20%为基准或评分缺陷。

    实验设置

    • 被测模型：测试了三个前沿模型：GPT-5.6-Sol、Claude Fable 5以及Gemini 3.1 Pro。推理努力程度通常设为High，在CritPt上GPT-5.6-Sol使用Max，Fable 5预审计使用Max、修正后使用High。
    • 工具配置：在公开源基准（PHYBench、PRISM-Physics、UGPhysics）上所有模型均不使用工具；在专家原创基准（HLE-Physics、CMT-Benchmark、CritPt）上，GPT-5.6-Sol使用Codex启用工具，Fable 5使用Claude Code启用工具，Gemini 3.1 Pro全程不使用工具。
    • 评测基准与样本量：共评估6个基准。预审计与保留题量分别为：PHYBench（100题→87题）、PRISM-Physics（100题抽样→74题）、UGPhysics（100题抽样→82题）、HLE-Physics（202道文本题→116题）、CMT-Benchmark（50题→49题）、CritPt（70题前测/56题审计→54题保留）。
    • 评测指标：主指标为mean@4（4次独立尝试的平均准确率）与pass@4（4次尝试中至少成功一次的比例）；CritPt预审计分数为Artificial Analysis报告的70题mean@5。
    • 评审方式：预审计采用基准自带评分器或HLE适配评分器；修正后统一采用HLE的LLM裁判提示词打分。初筛审计由物理系博士生和教师按专业子领域对口审核。

    主结果

    表格较宽，可左右滑动

    基准题目数（前→后）Fable 5 HighGPT-5.6-Sol HighGemini 3.1 Pro High
    PHYBench100 → 8739.50% → 87.64%26.50% → 90.23%46.50% → 89.94%
    PRISM-Physics100 → 747.50% → 84.80%13.00% → 94.59%11.25% → 87.84%
    UGPhysics100 → 8278.25% → 87.80%83.00% → 92.07%86.50% → 90.85%
    HLE-Physics202 → 11647.03% → 75.65%47.28% → 78.66%40.97% → 64.87%
    CMT-Benchmark50 → 4953.50% → 85.20%61.00% → 87.24%50.50% → 78.06%
    CritPt70 → 5428.57% → 78.24%32.29% → 87.50%17.71% → 54.63%
    • 出处：据 Table 1。表中展示mean@4准确率（前测 → 修正后）。CritPt预审计为Artificial Analysis的mean@5；CritPt上GPT-5.6-Sol使用Max设置，Fable 5预审计使用Max、修正后使用High；Gemini 3.1 Pro全程无工具；CritPt预审计pass@4未报告。
    • 准确率普遍回升：作者称，排除或修复缺陷题目并修正评分机制后，各模型在所有六个基准上的得分均提高，GPT-5.6-Sol在CritPt保留集上的pass@4达到94.44%，在CMT-Benchmark上的pass@4达到97.96%。
    • 基准难度重新排序：作者称，预审计中看似得分偏低的PRISM-Physics（前测仅7.50%–13.00%）在修正后GPT-5.6-Sol得分达94.59%，表明低分主要是规则评分器的缺陷所致，而非题目本身的物理难度。
    • 闭卷物理题表现：作者认为，前沿模型在良定义的闭卷物理练习题上已表现出较强的解答能力，基准此前报告的低分主要是评测材料与规则评分器缺陷造成的假象。

    错误归因与来源剖析

    • 测了什么：对HLE-Physics、PHYBench、PRISM-Physics与UGPhysics四项基准中GPT-5.6-Sol High初筛全部判错的250道题目开展专家归因审查（Table 2）。
    • 结果：在250道初筛报错中，基准错误占143道（57.20%），评分器错误占95道（38.00%），模型真实错误仅12道（4.80%）。其中PRISM-Physics的74道报错中模型错误为0道（0.00%），UGPhysics中仅1道（4.55%），PHYBench中仅3道（5.36%），HLE-Physics中为8道（8.16%）。
    • 作者的解读：作者称，绝大多数报错（95.20%）源于基准本身缺陷或评分器误判，前沿模型的真实物理错误率远低于基准缺陷率，在PRISM-Physics和UGPhysics等数据集上模型几乎未出现物理推理错误。

    评审一致性与冲突裁决

    • 测了什么：评估物理学研究者在题目归因审查中的标注一致性（Table 3与Table 4）。
    • 结果：在完成的两阶段标注中，196道题目由两名独立评审员共同审核，其中140对标注完全一致（一致率71.43%），56对存在分歧（28.57%）。分歧中以基准错误与评分器错误之间的分歧为主（34起），基准错误与模型错误分歧19起，评分器与模型错误分歧仅3起；所有56起分歧均由第三名评审员独立裁决。
    • 作者的解读：作者称，评审分歧主要发生在界定究竟是题目表述有缺陷还是评分器未识别出等价答案，而对模型是否犯下实质性错误的判断具有高度确定性。

    其他消融与分析

    • HLE-adapted LLM裁判评分器自身的判分错误率：4.08%（Section 3）。
    • CMT-Benchmark 50道题目中专家识别出的基准错误数量：30道（其中29道修复、1道剔除，Section 3.2.2）。
    • CritPt 56道审计题目中专家识别出的基准错误数量：21道（其中19道修复、2道剔除，Section 3.2.3）。
    • 外部对比（Anthropic系统卡报告）：Fable 5.1在31道修复题的CritPt-Corrected上，16次最大努力尝试的pass@1（即mean@16）为88.4%（Section 5）。

    未解决案例与例外

    • 剩余模型错误案例：在修正后的CritPt中仍有5道题目被判定为模型错误，例如第18题（Figure 5）中，GPT-5.6-Sol Max在全部四次尝试中均假设粒子极化率为实数，导致推导忽略了复极化率的相位贡献；HLE-Physics修正后仍有8道题目被判定为模型错误。

  5. 有什么可以进一步探索的点？

    作者指出闭卷题近饱和不代表具备端到端科研能力，模型在理论物理未解问题上仍未取得突破，需构建新型验证基准。

    作者指出的局限与后续方向

    • 闭卷题近饱和不代表具备端到端科研能力（Section 5）：作者指出模型在闭卷物理练习题上接近饱和，绝不意味着前沿模型具备端到端物理研究的能力。
    • 在理论物理未解问题上进展有限（Section 5）：作者尝试使用基于GPT的智能体框架攻关多个理论物理开放问题，发现智能体在物理上的进展弱于数学，未能完整解决任何一个物理未解问题。
    • 呼吁构建经过严格验证的高难度新型基准（Section 5）：作者呼吁针对前沿模型建立新风格的物理基准，题目须来自全新的高难度物理任务并经过充分验证。
    • 高质量基准的数据收集成本与组织机制（Section 5）：作者指出构建高质量物理基准需要大量资金支持以确保审定质量，建议通过非营利组织的严谨流程或公开竞赛机制组织数据收集。
    • CritPt官方参考解答不可获取（Section 3.2.3、附录B.2.3）：CritPt官方未公开单题判断与参考解答，修正评测依赖评审专家独立推导的参考解答。

    实验覆盖范围

    • 被测模型范围：实验测试了GPT-5.6-Sol、Claude Fable 5与Gemini 3.1 Pro共3个模型，未涉及其他前沿模型或开源模型系列。
    • 评测基准与题型：实验覆盖6个闭卷物理基准，仅评估纯文本、有确定最终答案的题目，排除了多模态图像题（如HLE-Physics排除28道多模态题，PRISM-Physics排除549道图像题）。
    • 审计采样策略：HLE-Physics、PHYBench、PRISM-Physics和UGPhysics仅对GPT-5.6-Sol High单模型初筛判错的题目进行专家审核，未审计该模型初筛正确的题目及其他模型的独有错误。
    • 尝试预算与工具配置：主评测指标限制在4次尝试（mean@4与pass@4），Gemini 3.1 Pro全程未接入代码执行工具，仅GPT-5.6-Sol和Fable 5在专家原创基准上启用了工具。
    • 未报告信息：论文未报告CritPt各题目的官方评测结果，CMT-Benchmark未公开自动判分代码。

  6. 总结一下论文的主要内容

    作者通过专家审计指出物理基准低分主要源于基准与评分缺陷，修正后模型在闭卷题上接近饱和但未解决端到端科研。

    这是一项针对前沿大语言模型物理推理能力评测真实性的系统性专家审计与重测研究。

    • 核心问题：现有基准普遍报告前沿模型在高级物理问题上得分偏低，但这一表现与物理学家实际科研体验存在矛盾，需厘清低分是源于模型缺陷还是评测体系失真。
    • 诊断方法：研究团队组织物理学专家对6个主流物理基准展开细粒度审计，将初筛报错逐一归因至模型真实错误、规则评分器误判或基准自身缺陷（错误解答、缺失假设、表述歧义），剔除或修复缺陷题目后采用基于HLE的统一流水线重测。
    • 主要发现一（报错归因）：在四个基准抽取的250道初筛报错中，基准错误占57.20%（143道），评分器错误占38.00%（95道），模型真实错误仅占4.80%（12道），在PRISM-Physics抽样中模型错误为0道。
    • 主要发现二（原创基准表现）：修正缺陷后，GPT-5.6-Sol High在HLE-Physics的mean@4由47.28%升至78.66%（pass@4达91.38%），在CMT-Benchmark上mean@4由61.00%升至87.24%（pass@4达97.96%）。
    • 主要发现三（前沿基准重测）：在CritPt保留的54道挑战题中，GPT-5.6-Sol Max的mean@4由预审计的32.29%升至87.50%，pass@4达到94.44%；Claude Fable 5的mean@4由28.57%升至78.24%，pass@4达到90.74%。
    • 作者结论与启示：作者认为前沿模型在良定义的闭卷物理习题上已接近饱和，基准报告的低分主要是基准与评测缺陷造成的假象；但这不意味着模型具备端到端物理科研能力，当前基于智能体的方法在理论物理开放问题上仍难以取得实质进展，未来亟需构建经过严格验证的高难度新型物理基准。
阅读原文arxiv.org