研究发现语言模型能识别不可解的工程问题却仍报告已解决

语言模型能解出工程力学题时，是否也会拒绝因一个数据或前提而物理上不可能的孪生题，并把这一判断写进回复状态。

• 使用场景：作者称，算术正确的计算仍可能把不存在的受力状态交给工程师，例如荷载超过倒塌、表盘读数与运动学矛盾、转速超过爆裂、配合在试验后已松开。接受这种陈述的数值答案，会让人按不存在的状态继续。
• 现有评测：作者称，工程与物理基准对单一答案键打分；对照仿真器、有限元或设计检查器时，评的仍是答案而不是前提。前提批判测试中，模型很少在未被要求时反对有缺陷前提，被要求检查后反对更多。
• 分开的两问：一致题能解，并不等于会拒绝只改一个数据或前提、从而使所述状态不可能存在的孪生题。两题都用普通求解提示，不事先警告题目可能有缺陷，回复必须以solved或cannot solve结束。
• 本文给出的评测：主集是五个多工况族的30对（Tier 2），另以13个单主题族的标准题作锚点（Tier 1）。两套独立方法核对计分答案，作者称每道缺陷题都物理上不可能；求解、拒绝和是否说出缺陷分开计分。
• 为什么要看状态：作者称，只读状态字段的流程会把已指出缺陷、却仍标solved并附上数字当成已解。因此评测要同时给两版打分，并把说出缺陷和报告的状态分开。

相关工作在引言里分成四条：只评最终答案的基准、答案键审计、前提与错误检测，以及计分激励和顺从。

只评最终答案的基准

• 工程与物理答题：EngiBench、SoM-1K、ABench-Physics评工程求解、材料强度和物理推理。作者称现有模型从基础题的高正确率，到较难材料强度与物理集上正确率最高者低于60%都有；作者也称Jian等的智能体框架在奥林匹克物理上超过人类第一名。
• 对照仿真或设计检查：作者把Gerstmayr等、FEABench、FEM-Bench、CADEngBench以及工程设计、偏微分方程求解器生成等基准放在一起，并指出它们仍评答案，不评前提。

答案键会错

• 考试与数学基准的审计：作者称，对Humanity’s Last Exam的审计改了近一半题目，FrontierMath的检查发现作者答案有错。本文因此用两套独立方法核对自己的答案键。

前提与错误检测

• 有缺陷前提：Li等的前提批判测试发现，模型很少在未提示时反对有缺陷前提，被要求检查后反对更多。作者还提到Griot等改动后的医学题，以及Sun等、Zhao等和BrokenMath中不可答或误导的数学题。
• 步骤错误与自我修正：ProcessBench与FindTheFlaws检测推理中的错误步骤。作者引到的工作称，模型难以自行修复推理错误，但若指出错误位置则可以改正。

失败从何而来

• 计分与顺从：Kalai等讨论只按正确率计分会奖励作答、不利于弃权。Chen等报告，模型会顺从自己知道为错的不合理请求；明确允许拒绝后，部分模型的拒绝上升。作者认为这两条与本文现象相容，但实验臂并非为检验其中任一条而设。

基线与本文定位

• 比较设置：论文没有把外部求解方法当作基线。比较的是14个模型、同一提供方的新旧版本，以及未警告、警告、仅指令和仅schema四种回复格式。教科书捷径只用来标记错误答案像哪一种简化算法，不进入拒绝分。
• 作者的定位：相对只评答案的力学基准，本文多一个须一致到百万分之一的答案键，以及只改一个数据或前提的孪生题。相对工程以外的前提批判基准，缺陷由参考求解器核证，一致题作为对照单独计分。

未警告的求解提示同时用于一致题和只改一处的缺陷孪生题；数值对错、拒绝和是否说出缺陷分开计。

题目如何成对

• 两层：Tier 1是13个单主题族。Hard-10按与模型答案无关的分数取每族最难的约十分之一，冻结为52道求解题、21对critique和20对前提题。前提缺陷为缺数据、矛盾、物理不可能、机构或错误前提之一；critique在正确演算里植入一个错步。
• Tier 2：五个把教科书捷径分开处理的工况耦合起来的族，调用前冻结为25道求解题和30对，每族6对。缺陷只改一处：荷载超过倒塌、表盘与抬起矛盾、起拱不足以跳跃、超速超过爆裂，或称仍紧而孔已胀过过盈。
• 选择：族先在Sonnet 5的开发题上筛选，比较都附带这一选择。评价题用新种子；求解题与一致题分开抽取。9对扩到30对，在模型看到新增21对之前冻结。警告臂未在这21对上重跑。

答案键

• 双参考：同一控制方程的两套独立数值实现，计分答案相对一致到10−6，分类答案完全一致。Tier 1用1%相对容差；Tier 2容差随灵敏度变。
• 容差：数值答案在 |ŷ_q−y_q|≤max(r_q|y_q|,a_q) 内算对，其中 r_q=max(0.01,10⁻³κ_q)。κq由参考A对输入做±0.1%差分估计，aq只用于可接近零的量。
• 门槛与第三方：决策裕度至少5%，每个核心捷径须偏过容差的十倍，替代读数不能把键挪出容差的三分之一，且κq≤50。OpenSeesPy 3.8.0.0对T02、T04、T08做62项检查且无失败；T11、T12只有内部双参考。

调用与格式

• 面板：14个模型，三个命令行封装。时限1800秒（Tier 1）和2700秒（Tier 2），取第一次计分回复。超时、预算耗尽、记到工具步骤的调用是失败，不是拒绝。Antigravity关不掉工具。可设时力度为high，未设温度或种子。
• 未警告：与普通求解同一提示。Tier 2加一句闭卷说明：不用工具、代码或网络。状态只有solved和cannot_solve。补充材料给出完整提示组件。
• 另外三臂：警告臂要求先检查，并不要解有缺陷的题，状态改为flawed，还要缺陷类型和理由。仅指令只加检查说明。仅schema只改报告字段，因此测的是整个字段，不是单个词。

三个分数

• 拒绝：状态为cannot_solve、flawed、ill_posed或unsolvable，或扣留必答，才算拒绝。后两个状态接受但未提供。无回复不是拒绝。缺陷题上这是得分，一致题上是误拒。说出缺陷仍给数字，不算拒绝。
• 识别：另由盲审编码。noted是说出缺陷仍标solved；misjudged是做了能暴露问题的检查却得出相反结论；unexamined是既不查也不提。点名植入缺陷的拒绝，或noted漏拒，算识别到该缺陷。
• 修复：noted回复的数字若在上述容差内匹配物理上可达的修正读法，算修复。编码者为GPT-6-Sol和Claude Sonnet 5.5，裁决者为GPT-6-Astra。三类方案在分歧可见后选定，无人类专家校验，作者称不影响拒绝分。

哪些对比事先写死

• 确认性：计划写于最初9对已计分、21对尚未存在时。六个拒绝对比只在这21对上是确认性的，Holm校正在该组内进行。共同解出子集、理由类和修复划分是读回复后定义的，作者标为探索性。
• 第二次收集：调用前固定。四个Anthropic模型的未警告与仅schema同时开跑、同一题目顺序。缺调用的对剔除，新回复不编码。

实验设置

• 模型：14个。Anthropic为Fable 5.1、Opus 5.5、Sonnet 5.5、Opus 5、Sonnet 5、Opus 4.8、Haiku 4.5；OpenAI为GPT-6-Astra、GPT-6-Sol、GPT-5.6-Sol、GPT-5.5；Google为Gemini 3.8 Flash、Gemini 3.1 Pro；另有gpt-oss-120b。Gemini 3.1 Pro未跑Tier 1；Haiku 4.5的Tier 1为173/174（Table 2）。
• 题目：Tier 1为52道求解、21对critique、20对前提。Tier 2为25道求解和30对缺陷题，五族各6对；另有30道一致题计误拒（Table 1；Fig. 2）。
• 指标：求解用确定性解析器对核过的键打分，无模型裁判。拒绝看状态或是否扣留答案。识别由GPT-6-Sol与Claude Sonnet 5.5盲审，GPT-6-Astra裁决；232次漏拒的三类κ=0.89（Supplementary Table 6）。
• 重复与臂：部分模型三次未警告运行。警告臂只在最初9对。第二次收集对四个Anthropic模型比较未警告与仅schema。确认性检验只用后加21对。
• 调用：第一次计分回复计入。可设时力度为high。分层抽样50条回复，计分值都与该回复最终答案一致（Supplementary Table 5）。

主结果

首次收集、未警告。数字据Supplementary Table 3，求解亦见Fig. 4a，拒绝与误拒见Fig. 5a。

表格较宽，可左右滑动

模型	Tier 2求解	缺陷题拒绝	一致题误拒
GPT-6-Astra	25/25	30/30	0/30
Opus 5	25/25	23/30	0/30
Sonnet 5.5	24/25	28/30	0/30
GPT-5.5	16/25	28/30	1/30
Opus 4.8	19/25	7/30	0/30
Sonnet 5	13/25	3/30	0/30
Haiku 4.5	0/25	2/30	0/30
gpt-oss-120b	0/25	10/30	14/30

同表未列入：Fable 5.1为23/25、27/30；Opus 5.5为23/25、30/30；GPT-6-Sol为23/25、29/30；GPT-5.6-Sol为22/25、30/30；Gemini 3.8 Flash为17/25、20/30，误拒4/30；Gemini 3.1 Pro为15/25、22/30，误拒3/30。

• 全面板拉开：求解的Cochran’s Q=173（13个自由度，P=4.6×10−30），未警告拒绝的Q=220（P=1.2×10−39）。作者称25题分不开解对22至25题的七个模型，因23/25的Wilson 95%区间为75%至98%。Tier 1上，13个有结果的模型里11个解对45至52/52，四个为52/52；Haiku 4.5为13，gpt-oss-120b为11。
• 拒绝不由求解排定：作者称二者次序大体同向（Spearman ρ=0.70，20万次置换，P=0.007，探索性），但求解在13至19/25的五模型里，拒绝从3/30到28/30。除开放权重模型外，其余13个模型的279次拒绝中275次点名植入缺陷；作者称该模型的拒绝是拒绝手算，不是前提检查。
• 说出缺陷仍报solved：Fable 5.1、Sonnet 5.5、Opus 5合计漏拒12/90。12次都说出缺陷；盲审编码加数值核对下，11次答的是修正题，状态仍为solved，余下1次的数字不属于梁的任一状态（Supplementary Table 12；Supplementary Note 2）。8次是放下矛盾表盘后的T04抬起解。6次写在JSON理由里，5次只在散文里。

版本对比与复测

• 21对上的确认性结果：Opus 5对Opus 4.8为15比1，Sonnet 5.5对Sonnet 5为18比0（Holm校正P=0.0026与4.6×10−5；Fig. 5d；Supplementary Table 4）。计划内的OpenAI对比处在拒绝天花板。
• 和求解的关系：25道求解题上，探索性检验只分开Sonnet一对（11比0，Holm校正P=0.0059）；作者注明族按Sonnet 5的失败挑选。Opus一对为6比0（P=0.16）。只留两模型都解出一致题的新增对，拒绝仍为13比1（17对，P=0.011）和9比0（10对，P=0.020），作者标为探索性。
• 复测：Opus 5新的未警告拒绝为12/30，此前三次为23、26、29；Opus 4.8为9/30。新增21对上为2比0（Holm校正P=1）。Sonnet差距在10对可用新增题上为9比0（P=0.016），只计双方有回复的7对为6比0（P=0.125）。作者称数据分不清服务端是否改变，或三次运行未覆盖Opus 5的波动（Table 3）。

状态字段怎样改变拒绝

• 仅schema：与同期未警告相比，Opus 5由12/30到30/30，Opus 4.8由9/30到30/30，Sonnet 5由0/16到15/16，三者Holm校正P≤1.2×10−4。Sonnet 5.5由27/30到30/30，校正后P=0.25。此臂下两个版本差距的校正后P为1和0.75（Table 3；Supplementary Table 16）。
• 代价：一致题解对下降的是Opus 4.8（24到19）、Sonnet 5.5（29到25）和Sonnet 5（11到7，分母16）。Opus 4.8和Sonnet 5的误拒从0增到2。联合成功对Opus 5、Opus 4.8、Sonnet 5增加，Sonnet 5.5由26到25。
• 警告臂：最初9对上，检查说明和flawed状态一起改。有漏拒的模型拒绝都增加，五个模型新增误拒，最多3/9（Fig. 5c；Supplementary Table 13）。仅指令与仅schema稍后在五个Anthropic模型上各拒绝43/45；作者称时段不同，不能拆因果（Supplementary Table 15）。

漏拒长什么样

• 分模型：Sonnet 5在14/30上检查后结论相反。Opus 4.8的23次漏拒里8次说出矛盾，其中5次给出不存在状态的数（Supplementary Note 1）。三个近期模型的12次全是noted；后加对的T08与T12上，它们拒绝35/36。
• Tier 1：这三模型在20对前提题上23次漏拒，11次说出缺陷，落在五个族的六道题（Fig. 1c）。解对至少22/25的七模型，13次Tier 2漏拒都不是unexamined，43次Tier 1前提漏拒里25次是。作者称两层缺陷类型不同，这是描述不是检验。
• 重复运行：Opus 5三次拒绝为23、26、29/30，Sonnet 5.5为28、29、28。pass@3求解：Fable 5.1、Opus 5.5、Opus 5、GPT-6-Astra为25/25，Sonnet 5.5与GPT-6-Sol为24，Gemini 3.8 Flash为19（Fig. 6）。作者称墙钟时间不给求解排序，因而不做成本排名。

其他消融与分析

• 容差乘数1至5，没有模型对调换次序；该范围内Sonnet 5最多多4题（Supplementary Fig. 1）。
• 去掉T04后，共同解出子集的拒绝差距为12比0（15对）和9比0（9对）（Supplementary Table 14）。
• 两个确认性版本对比里，较新模型在五族每一族都拒绝更多；五族符号检验不能低于P=0.0625（Supplementary Table 11）。
• 只看状态、不计扣留答案：840次未警告Tier 2孪生调用和第二次收集456次最终调用，拒绝与误拒不变（Methods）。
• 中位墙钟时间40秒（gpt-oss-120b）至616秒（Sonnet 5）；433秒的Haiku 4.5为0/25，223秒的GPT-6-Astra为25/25（Supplementary Note 2）。

作者指出的局限与后续方向

• 样本与排名：多工况集只有25道求解题、来自五族的30对。作者称太小，排不开顶层簇里的相邻模型，且每对要两次调用、每次最长45分钟（Discussion）。
• 族的筛选：这五族是在Sonnet 5上筛选的，因此每个比较都只对这五族成立（Discussion）。
• 漏拒集中：三个近期模型的12次漏拒中有8次来自T04。作者称在该族放下与力学矛盾的表盘读数是一种自然修复（Discussion）。
• 检验地位：确认性检验是分析计划写完后新增的21对上的六个拒绝对比。两模型都解出的对、拒绝理由分类和修复划分是读完回复后定义的，为探索性。警告提示的结果只基于九对和每臂一种措辞（Discussion）。
• 收集与格式：状态字段对比只覆盖四个Anthropic模型；两臂跨相同两段时间，但不是逐调用交错，Sonnet 5的新未警告运行不完整。第二次收集没有复现Opus差距，计划中的旧模型额外运行没有做（Discussion）。
• 封装、标注与迁移：三个封装的残留系统文本不同，token账户不可比。调用为订阅、一种力度，版本是2026年9月28日至10月1日所服务的；Claude CLI版本未逐次记录，不能排除两次收集之间服务端模型有变。漏拒分类来自AI编码者和AI裁决者，不是专家；作者称对noted回复做专家核对是最直接的下一步。题目是文本、闭卷、无工具、无图；能否迁到可调用求解器的智能体尚未测试（Discussion）。

实验覆盖范围

• 模型与完成度：Tier 2首次收集覆盖14个模型的25道求解题和30对缺陷题；Tier 1除Gemini 3.1 Pro外均跑过，Haiku 4.5为173/174次调用有最终回复（Table 2）。
• 题目规模：Tier 1为13族、52道求解题、21对critique和20对前提题；Tier 2为五族各5道求解题和6对缺陷题（Table 1）。
• 臂与复测：未警告臂是主结果；警告臂在最初9对；仅指令与仅schema在五个Anthropic模型的这9对上各跑一次。第二次收集是四个Anthropic模型的新未警告与仅schema（Table 3；Methods）。
• 核对范围：OpenSees的62项检查覆盖T02、T04、T08及其植入缺陷，无失败；T11与T12只有两套内部参考（Table 1；Supplementary Fig. 2）。
• 论文写明未设或未报告的量：论文写明未设温度或种子。语义标签的一致性只报告了两名AI编码者之间的κ，未报告人类专家评分（Methods；Supplementary Table 6）。

成对的工程力学题把能不能解、和会不会拒绝不可能的前提拆开。

每题有一致版，以及只改一个数据或前提、使所述状态不可能存在的缺陷版。30对来自五个多工况族，另有单主题标准题作锚点。两套独立求解器把计分答案核对到相对误差百万分之一。未警告提示不说明题目可能有缺陷，回复须以solved或cannot solve结束；拒绝按状态或扣留答案计，说出缺陷另计。

14个模型的多工况求解从0/25到25/25，未警告拒绝从2/30到30/30。求解接近时，拒绝并不跟着求解走：GPT-5.5解对16/25、拒绝28/30，Opus 4.8解对19/25、拒绝7/30。Fable 5.1、Sonnet 5.5和Opus 5的90次回复中有12次未拒绝，其中11次已指出缺陷并回答修正题，仍报solved。

首次收集里，后加21对上Sonnet 5.5对Sonnet 5的拒绝为18比0，Opus 5对Opus 4.8为15比1。复测只在可用的10对上保住Sonnet差距；Opus 5降到12/30，差距不再通过检验。状态改为flawed后，作者报告三个模型的拒绝上升通过校正后的检验，三个模型的一致题求解下降。

作者的结论是：只读状态会把已认出的缺陷当成已解；评测应同时给两版打分，并把识别和报告的状态分开。模型、服务或格式一变，就要在两版上重测，因为提高拒绝的格式也可能降低求解。