研究：iGSM 基准显示正确答案常伴随无效思维链

在答案正确时，模型写出的思维链是否构成对该答案的合法推导。

• 场景与重要性：作者称思维链被用于调试、智能体审计、解释忠实性、奖励投机检测和多智能体行为解读。这些做法都依赖一个假设：轨迹忠实，或至少与模型如何得到答案可靠相关。轨迹有助于算出正确答案，并不等于它是该答案的合法推导。
• 现有做法的不足：自然语言轨迹很少能被程序逐步核验。Ye et al. (2025a) 把 iGSM 上的分布外泛化、极简解和隐状态探针解读为学会推理与规划的证据。作者问的是，外部观察者仅凭轨迹能合理推断什么。
• 核心观察：iGSM 暴露每题应使用的量与依赖，轨迹可被逐步程序检查，从而把“答案对不对”和“轨迹是不是合法推导”分开。
• 本文做了什么：在只接受合法极简轨迹训练的模型上比较二者，再干预训练轨迹（非极简、交换、打乱前缀）和提问位置，讨论对思维链监测与解读的含义。

思维链训练与结果奖励

• CoT 与 STaR：Wei et al. (2022) 用思维链提示引出逐步解答；Kojima et al. (2022) 用 Zero-shot-CoT。STaR（Zelikman et al., 2022）保留导向正确答案的轨迹并微调。
• 结果监督的推理模型：DeepSeek-R1-Zero 用 GRPO，奖励主要看答案正确与输出格式，不直接看轨迹内容（Guo et al., 2025；Shao et al., 2024）。Kimi K1.5 也主要按最终答案是否正确评价轨迹（Kimi Team et al., 2025）。
• 过程监督：Lightman et al. (2024)、Wang et al. (2024) 对中间步骤给反馈。作者称这些做法未用于上述训练配方。

小学数学与 iGSM

• GSM8K：Cobbe et al. (2021) 的 8.5K 道小学应用题，逐步解答既提高准确率，也被当作推理证据。
• iGSM 及后续：Ye et al. (2025a) 给出带完整依赖结构的合成基准，并把分布外泛化、极简解和隐状态探针解读为学会推理与规划。Ye et al. (2025b) 用它研究纠错；Zhou et al. (2025) 把图构造扩展到更大规模（GSM-∞）。
• 相关基准：GSM-Symbolic（Mirzadeh et al., 2025）把 GSM8K 题变成模板，报告实例间方差大，并在加入无关从句后准确率下降。GSM-Infinite 有可用于检查的图，但论文称其并未用来检查轨迹，两者都只评最终答案。

轨迹不能当作推理记录

• 不忠实与无效轨迹：Turpin et al. (2023)、Lanham et al. (2023)、Chen et al. (2025) 指出看似合理的解释可以漏掉因果影响答案的因素。Valmeekam et al. (2026) 在迷宫规划、Bhambri et al. (2026) 在问答中报告：答案正确而轨迹语义无效。附录 A 称本研究沿用 Valmeekam 等人的设置，但对象是小学数学推导而非搜索日志。
• 无意义 token 仍有用：Goyal et al. (2024) 的 pause token、Pfau et al. (2024) 的 filler token、Wang et al. (2023) 的错误但相关且有序的演示步骤，以及 Kambhampati et al. (2026) 关于不要把中间 token 读成思考的立场。作者把本文的交换轨迹放在 filler 与真实思维链之间：形式像解答，但属于另一道题。
• 步骤核验：Uesato et al. (2022) 在 GSM8K 上发现结果监督与过程监督的最终答案错误率接近，但更多正确答案经由错误步骤得到。Lightman et al. (2024) 在 MATH 上指出只看最终答案会把步骤错误的解答判为正确。

安全中的思维链监测

• 监测前提：Baker et al. (2025)、Korbak et al. (2025) 把轨迹当作外部监测界面。Korbak et al. (2025)、Shah & Dragan (2026) 认为这个窗口有价值但脆弱，价值取决于轨迹是为得到答案而优化，而不是为了看起来像某种样子。Guan et al. (2026) 追踪不同模型与训练下的可监测性。
• 监测会失效的情形：Baker et al. (2025) 报告惩罚轨迹中的不良推理会导致奖励投机同时轨迹看起来无害；McCarthy et al. (2025) 报告惩罚特定字符串会导致编码推理；Haskins et al. (2026) 报告只在描述监测器的文档上微调，模型就会把不当行为留在轨迹之外；Zolkowski et al. (2025) 报告部分被提示的模型能在压力下对监测器隐藏副任务。
• 必要性不等于正确：Emmons et al. (2025) 与 Brown-Cohen et al. (2026) 讨论必须写出的串行计算。作者称自己的设置没有对抗者、没有环内监测器，也没有把轨迹压到最优的压力。

基线方法与基准：实验基线是 clean 轨迹、swapped（及 op-matched）、按句子比例打乱前缀、no trace，以及 90% 或 100% 非极简轨迹。基准是 iGSM-med（ip ≤ 20，训练 op ≤ 15），另有加宽世界与 re-asked 提问。作者称 iGSM 已被用于得出对轨迹语义偏正面的结论，因而可以在同一证据上检验这些结论；与“思维链不重要”相比，结论更窄：答案正确、轨迹合法与极简性可以分开，且在分布偏移下关系变差。

作者在 iGSM 上从零训练只在训练轨迹上不同的 GPT-2 式模型，用生成器保留的符号计算逐步判定轨迹是否为合法推导，再改变监督与提问。

问题与可检查结构

• 题目：若干句子各陈述一个量，顺序随机，后接一个查询。轨迹每句定义一个量、给单字母名，并由先前定义的量计算。算术一律模 23。
• 结构图与依赖图：结构图 Gs 是分层实体图，边是实例参数。层次还定义题目未写出的抽象参数。依赖图 Gd 是参数上的有向无环图，常量来自特殊顶点 RNG。查询真正需要的子图记为 Gnece_d。参考轨迹只计算该子图中的参数，且按拓扑序。
• 难度：对入度 t 的参数 a，op(a) = max{1, t − 1}；op 是 Gnece_d 中除 RNG 外各参数 op(a) 之和。常数赋值、复制和每个二元运算各算一次操作。ip 是实例参数个数。iGSM-med 用 ip ≤ 20、训练 op ≤ 15，分布外测 op ∈ {20, 21, 22, 23}。

轨迹检查

• 四项检查：解析轨迹后确认每个被用到的名字此前已定义、每步所用输入恰好是依赖图规定的那些、算术在模 23 下正确、轨迹最后定义的是被查询的参数。四项都过才算 valid。模型给出的答案与真值分开比较。
• 检查不看运算种类：比较的是一步读取的参数是否与规定一致，而不是这些参数的数值是否相同。因此可能出现轨迹被判 valid 但答案错误的情况（附录 D 的 Example 9）。
• 失败类型：句法失败只看轨迹即可发现，包括无法解析、使用未定义符号或等式算错。语义失败通过上述检查，只有对照题目才显现：一步读了依赖图未规定的量，或定义了题目中不存在的名字。

训练与三种轨迹干预

• 共同配方：iGSM-med，124M 参数、12 层、hidden size 768、旋转位置编码的 GPT-2 式 Transformer，从零训练 10 万步、batch size 512，题目在线生成，op ≤ 15、ip ≤ 20。模型之间只改每题后面的训练轨迹。评测为贪心解码，每级固定 4096 题。
• 交换：轨迹来自另一道独立生成的题，或按 op 匹配使操作数与合法轨迹相同。
• 打乱前缀：把轨迹前 p% 的句子换成同一批 token 的随机顺序块，后缀不动。因为在句子边界截断，p = 10、30、50、75、100 实际破坏的 token 比例为 21%、29%、45%、61%、100%。另有只输出答案、不带轨迹的 no trace。
• 非极简：按随机拓扑序计算题目的每一个参数；要么全部训练样本如此，要么 90% 如此、其余 10% 仍为极简。

极简性是否等于选择性规划

• 训练提问的位置：每道训练题都问依赖图的汇点，即没有其他参数依赖它的那个量。因此“问题需要的参数”和“通向汇点的链”是同一集合。标准评测无法区分二者。
• 加宽世界：每层实体数和深度都固定为 4，最多 48 条陈述关系，使典型题目有 6–11 句查询不需要的句子，其中约三分之一定义依赖该链的参数。原问题仍然指向汇点。
• 改问：按 Ye et al. (2025a)，把生成题的问题改指到随机选出的某个参数，正文不变，所需链不再以汇点结束。padded 指至少定义了一个不必要参数；不必要参数按答对的题统计。

作者明确不测量的内容

• 范围：无效轨迹不表示内部没有有用计算。实验不测量轨迹是否忠实记录了产生答案的计算，也不测量安全监测器的准确率。作者称设置中没有对抗者，也没有隐瞒行为的激励。

实验设置

• 模型：全部为从零训练的 124M GPT-2 式模型（12 层、hidden size 768、旋转位置编码）。正文表用一次 clean 运行（附录称 run A）；附录另有同配方的 run B、训练 20 万步的 run C，以及 swapped、shuffled、非极简模型的第二个种子。
• 数据与解码：iGSM-med，训练 op ≤ 15、ip ≤ 20；评测 op ≤ 15、op = 15，以及分布外 op ∈ {20,…,23}。贪心解码，每级 4096 道固定题。Table 5 每个格子 1024 题。
• 轨迹条件：clean（合法极简）、swapped、op-matched swapped、前缀打乱 p = 10/30/50/75/100、no trace、90% 与 100% 非极简。
• 指标：答案正确率；轨迹四项检查全过为 valid；正确答案中轨迹无效的比例；不必要参数的均值与标准差；极简轨迹占比；padded 轨迹占比。模 23 下恒答 0 约 15%，作者把它当作解读低准确率的基线；随机猜对为 1/23 ≈ 4.3%。
• 评审：程序检查，无 LLM 评审。论文未报告人工一致性。

主结果

clean 模型上，答案正确与轨迹合法在分布内几乎重合，分布外拉开。Figure 3 与 Table 3 的对应数字如下（每级 4096 题）。

Swipe horizontally to read the table

op	答案正确率	答案对且轨迹合法	正确答案中轨迹无效
15	98.8%（Table 1）	98.3%（Figure 3）	0.5%（20/4047，Table 3）
20	83.3%	77.0%	7.5%（256/3410）
23	58.0%	39.7%	31.6%（750/2376）

• 作者的解读：正确答案作为合法推导的证据随推理深度变弱。op = 23 时，这些无效轨迹中 51.2% 只是语义失败（384/750），48.8% 为句法或算术失败（366/750）；算术错误一栏为 0。语义失败里绝大多数是“一步用了错误输入”（377）。
• 训练步数：附录 B 称把训练加倍到 20 万步（run C）后，op = 23 的答案正确率从 58.0% 到 58.5%，答案对且轨迹合法从 39.7% 到 41.3%。正确答案中轨迹合法的比例在 run A、B、C 分别为 68%、68%、71%。
• 运行差异：附录称两次同配方运行在 op = 23 相差 10 个百分点，作者把这个量级的模型间差异当作噪声。第二个种子的 swapped、shuffled、非极简准确率落在 5 个百分点以内。正文称复现的分布外准确率低于 Ye et al. (2025a) 报告的数值；附录 Table 10 的具体对照数字在所给文本中未完整出现，这里不引用。

破坏语义的训练轨迹

据 Table 1、Table 2，分布内（op ≤ 15）与分布外准确率（%）：

Swipe horizontally to read the table

训练轨迹	op ≤ 15	op = 15	op = 20	op = 23
clean	100.0	98.8	83.3	58.0
10% shuffled	99.9	98.5	83.9	60.1
30% shuffled	98.6	74.9	43.5	27.8
swapped	81.7	19.9	16.5	17.4
no trace	87.6	24.7	18.0	17.7
100% shuffled	66.6	4.8	1.8	1.2

• 交换：两种 swapped 模型在任何级别都没有轨迹通过检查。分布内平均约 82%（81.7% 与 op-matched 的 81.4%），作者称该平均由短题主导：四次操作以内几乎全对，五到七次操作为 82–96%，十一次约 30%，十五次约 20%（Appendix Table 6）。分布外落到 16–20%，与恒答 0 的先验同级。op = 22 的 swapped 为 16.8%，50% shuffled 为 14.6%，75% shuffled 分布外为 0.0。
• 打乱：p = 10 全程与 clean 相当，op = 22 为 69.6%、op = 23 为 60.1%，而 clean 为 67.8% 与 58.0%。p = 30 在 op = 15 为 74.9%、op = 20 为 43.5%，高于 no trace 的 24.7% 与 18.0%。p = 50 只在分布内高于 swapped 与 no trace；p ≥ 75 时模型在分布外大多不能正常结束。作者称没有任何生成轨迹通过检查器。
• 作者的解读：轨迹可以在远非合法推导时仍对模型有用；更大的破坏会逐步损害泛化。交换轨迹被作者称为纯仪式：分布内能答对，写出的却是另一道题的轨迹。

极简性与提问位置

• 监督改变极简性（Table 4，4096 题）：clean 在 op = 15/20/23 的极简轨迹占比为 99.9%、98.7%、93.8%，每条轨迹的多余参数为 0.00±0.07、0.01±0.45、0.13±2.02。100% 非极简时，op = 15 为每条 2.45±2.87 个多余参数、极简只占 40.2%；op = 23 极简占 60.9%。作者称后者上升是因为该级 60.0% 的题没有查询不需要的已陈述参数；有余量时模型几乎全部纳入。90% 非极简时极简约占四分之三（op = 15 为 73.9%）。
• 加宽与改问（Table 5，每格 1024 题，只在答对的题上计 padded）：原问题下，standard 世界 op = 20 的 padded 为 0.4%，wide 世界 op = 10/20 为 0.4% 与 1.3%。改问后，standard、op = 20 从 0.4% 升到 3.7%（多余参数 0.18 个/轨迹）；wide、op = 20 从 1.3% 升到 9.6%（0.77 个）。wide、op = 15 的改问 padded 为 9.7%。作者称多出来的参数属于通向原汇点的链，而不是无关干扰项；在所有题上，模型纳入的不必要参数中 89–97% 位于通向汇点的链，而这类参数只占可供纳入者的 18–28%。
• 作者的解读：极简性受训练轨迹分布和问题怎么问的塑造。标准评测只问汇点，无法把极简性与“独立选出当前问题所需计算”区分开。

其他消融与分析

• op-matched swapped（Table 1）：op ≤ 15 为 81.4%，op = 15 为 19.2%，op = 20/21/22/23 为 16.1%、16.4%、16.7%、17.1%，与随机交换接近，且无轨迹通过检查。
• 50% 与 75% shuffled（Table 2）：50% 在 op ≤ 15 / op = 15 / op = 23 为 93.5%、42.9%、15.0%；75% 为 83.1%、0.6%、0.0%。
• Table 3 的 op = 20：256 条伴随正确答案的无效轨迹中，句法或算术失败 56（21.9%），仅语义失败 200（78.1%）；“一步用了错误输入”为 197。op = 15 的 20 条里，仅语义失败占 95.0%（19 条）。
• 零答案基线：因乘法会传播 0，14–16% 的题正确答案为 0；恒答 0 约 15%。接近该值的准确率，作者称在统计上不显著。
• 检查器的盲点：检查不比较运算种类，附录 D 的 Example 9 是 valid 但答案错误的例子。附录 D 还给 Table 9 每一行配了带注释的轨迹示例；Table 9 把“错误输入”再按答案为何仍然正确拆开，所给文本未列出全表数字。

作者指出的局限与后续方向

• 外推：Conclusion 写明模型小且数据合成，直接外推到前沿系统没有依据。同一节称，前沿模型的思维链在分布偏移下是否仍然可靠，必须直接检验，不能只从正确答案和看起来合理的轨迹推断。
• 未测的量：Discussion 写明实验不测量因果忠实性，也不测量安全监测器的准确率。作者同时称，轨迹不完美时思维链监测仍可能有用，他们并不否定这一点。
• 结论边界：Discussion 称，无效的外显轨迹并不表示内部没有发生有用推理；从轨迹的合法性、极简性、连贯性和题目相关含义推断推理机制，需要反事实检验，不能只靠观察。
• 方法上的含义：Discussion 称，在熟悉任务上建立的可靠性会转移到更难或不熟悉任务上，这一假设在他们看来没有依据。

实验覆盖范围

• 模型与数据：实验是 iGSM-med 上从零训练的 124M GPT-2 式模型，10 万步、batch size 512；评测为贪心解码，每级 4096 题。附录 B 包含其他 clean 运行、与 Ye et al. (2025a) 的比较、20 万步，以及 swapped、shuffled、非极简的第二个种子。
• 轨迹干预：包括 clean、随机交换、按 op 匹配的交换、前缀打乱 10/30/50/75/100%、no trace，以及 90% 与 100% 非极简监督。
• 极简性检验：Table 5 覆盖 standard 与 wide 两种世界、original 与 re-asked 两种提问，每个格子 1024 题。wide 世界把每层实体数和深度固定为 4、关系最多 48 条。
• 难度范围：训练 op ≤ 15、ip ≤ 20；分布外报告到 op = 23。论文在 Background 介绍了 iGSM-hard（ip ≤ 28，训练 op ≤ 21，测试到 op = 32），实验节使用的是 iGSM-med。
• 未报告项：论文未报告对预训练或前沿语言模型做同一检查，也未报告安全监测器在这些轨迹上的准确率；附录 A 讨论了自然语言模型上 GSM8K 变体与 GSM-Infinite 的既有结果，但那不是本文的实验。

iGSM 上的程序可检查实验：正确答案并不保证思维链是合法推导。

作者针对一个被用于监测和解读的假设：发出的轨迹忠实于、或至少可靠相关于模型如何得到答案。iGSM 保留每题的量与依赖，因此答案对错和轨迹是否为合法推导可以分开判定。

模型是从零训练的 124M GPT-2 式网络，只在训练轨迹上不同。检查器核对定义顺序、依赖图规定的输入、模 23 算术，以及最后是否定义了被查询的量。

• clean 监督：分布内二者几乎重合。op = 23 时答案正确率 58.0%，其中 31.6% 的正确答案带着无效轨迹（750/2376）；这些无效轨迹里 51.2% 通过全部句法与算术检查，只在语义依赖上失败。
• 交换与打乱：轨迹来自别的题时，分布内仍有 81.7% 答对，但没有任何轨迹通过检查，分布外降到约 16–17%。打乱 10% 前缀句子后，op = 23 仍有 60.1%，与 clean 的 58.0% 相当，生成轨迹同样通不过检查。
• 极简性：100% 非极简监督下，op = 15 只有 40.2% 的轨迹是极简的。把问题从汇点改到其他量后，加宽世界、op = 20 的答对题中 padded 轨迹从 1.3% 升到 9.6%，多出来的计算多在原汇点链上。

作者的结论比“思维链不重要”更窄：轨迹可以有计算用途而不是合法推导；极简性和连贯性可以来自监督与题目构造。熟悉任务上的轨迹可靠性不应被假定能转移到更难的题上。他们同时写明，这些小模型与合成结果不能直接外推到前沿系统。