研究：思维链推理步骤的可读性不等于可解释性

作者要回答两件事：CoT步骤的重要性该如何衡量，以及该重要性能否只从步骤文本解码。

• 使用场景： 作者称test-time CoT提升能力后，识别哪些步骤贡献最大，既是解释推理模型的基本问题，也关系到用LLM judge、critic和process reward model分析、评估并改进推理轨迹。
• 现有做法的缺口： 既有工作把换行或标点隔开的步骤当可解释单元并分类。作者问：文本是否真编码该步对最终答案的重要性。扰动式faithfulness测试多在整条回答层，且要插入不自然cue。
• 作者给出的对照： Figure 1里两个自检步骤语义相近，Monte Carlo估计下前者Δp≈0，后者把匹配原答案的概率从约52%升到约94%（+0.42）。该图中一名LLM judge标出61/100步，其中consequential为0。
• 本文提出的量： 把重要性操作化为强化学习中的advantage，用Monte Carlo rollout估计，再用变点检测区分consequential与uninformative，并检验现成judge与微调critic能否只从文本恢复该标签。

论文按逐步分析、faithfulness和别的重要性定义来定位本文。

逐步切分与分类

• CoT与后训练： Wei et al. (2022) 在最终答案前生成中间token。Shao et al. (2024) 与 Guo et al. (2025) 用可验证奖励的强化学习优化能答对的轨迹；Guo et al.把“wait”“aha!”写成模型反思的位置。
• 步骤分类： Gandhi et al. (2025) 按认知行为分类；Zhang et al. (2025) 用LLM-as-a-Judge按话语属性分类；Li et al. (2025) 用Schoenfeld情节理论组织步骤；Xiong et al. (2025) 让judge先做元推理，再判断步骤是否正确。Zheng et al. (2023) 被引为LLM-as-a-Judge。
• 论文的追问： 这些工作都先切步再归类。论文问，步骤文本是否编码它对最终答案的重要性。

Faithfulness

• hint测试： Turpin et al. (2023) 与 Chen et al. (2025) 在提示中放hint，模型常按hint作答，但CoT不提该hint。
• 扰动证据： Lanham et al. (2023) 与 Paul et al. (2024) 用扰动测试讨论CoT是否忠实；论文转述，不忠实在更大模型上尤其可见。
• 其他看法： 论文转述Emmons et al. (2025) 与 Sydney Von Arx (2025)：模型需要这段推理才能做好时，推理倾向忠实。Levy et al. (2025) 主张CoT更宜视为外化计算状态。Boppana et al. (2026) 称CoT可以是performative，即锁定答案后仍继续生成。论文称这些测试多在模型或整条回答层。

其他重要性与归因

• KL与反事实： Bogdan et al. (2025) 用相邻步骤答案分布的KL定义resampling importance，并用余弦过滤构造排除该步后的counterfactual importance。论文指出KL不区分靠近或远离目标答案，无关答案上的概率变化也会抬高KL；后一指标在近确定性、不同样本趋近于零时方差高。
• 过程监督： Wang et al. (2024) 的Math-Shepherd逐步重采样并比较原步骤。论文称其potential在数学上等同advantage，但N=8，completer不同于generator，并假设前缀价值可跨模型迁移。
• saliency与图： 附录L讨论梯度或注意力saliency，以及Ferrando and Voita (2024)、Pan et al. (2026)、Lindsey et al. (2025)。论文写道saliency有未通过健全性检查、缺少因果证据的问题，图方法有因果性与计算代价问题。

基线与基准

• 对照： 文本预测以prevalence为chance基线，以split-half噪声天花板对照估计噪声；方法对照是out-of-the-box judge与微调critic。
• 数据： 数学轨迹来自AIME 24、AIME 25、AIME 26、AMC 23、MATH500、GSM8K；cue实验用Scruples。

作者把advantage定位为不改提示即可衡量单步是否改变期望奖励的量，用来补充响应级、依赖不自然cue的扰动测试，并认为不应把轨迹可读性当成可解释性。

整体做法是把步骤重要性定义成策略下的advantage，用重采样估计它，再看文本能否预测由此得到的consequential标签。

奖励、状态与advantage

• 轨迹： 提示x后的推理是字符串步骤a1到aT。论文的切分是双换行。状态是提示与此前各步的拼接，含聊天模板。
• 两种奖励： 完成轨迹上的二值奖励有两种。一是最终答案正确；二是最终答案匹配原轨迹答案。后者对应的advantage称为self-advantage。除非另注，分析用self-advantage。
• 定义： 价值V是从该状态采样补全后奖励为1的概率；Q是先接上该步再补全的同一概率。advantage是二者之差：

A^{\pi}(s,a)\triangleq Q^{\pi}(s,a)-V^{\pi}(s) 正值表示该步提高期望奖励，负值表示有害。

• 与反事实必要性： Section 8称，逻辑上必要的步骤仍可能advantage为零，因为相对策略它没有新的预测价值。论文把这视为该定义的内容，而不是缺陷。

Monte Carlo估计

• 估计量： V与Q不能直接读取。对前缀做N次补全，用奖励均值估计价值；advantage为相邻估计之差。因Q等于接上该步后的价值，下一步前缀的价值就是这一步的Q。
• 采样： 作者选N=50，以平衡计算与方法功效。初始回答与rollout的解码温度为1.0，top-p为0.95。
• 不改提示： 作者称该估计不修改提示，因此可与必须插入cue的faithfulness测试互补。

consequential标注

• 定义： 若advantage的绝对值大于效应量δ则该步为consequential，否则uninformative。论文取δ=0.1。一条补全只要有一步consequential，就称为consequential。
• 变点： 逐步两比例检验会在长轨迹上产生许多假阳性；Benjamini–Hochberg控制假阳性但降低功效。论文改把价值轨迹建模为分段常数，用PELT和精确二项代价找变点。惩罚按每个模型、思考模式和数据集单元，在模拟平坦序列上校准到每条序列假阳性率至多2%。
• 效应与定位： 对变点两侧段均值放Beta后验。保留条件是95%可信区间不含0，且P(|Δp|>0.1)≥0.95。还要求profile-likelihood置信集只含一步，否则不把标签安到最大似然步。附录A给出流程、功效和与逐步检验的比较。
• high的另一定义： 轨迹形态分析里，若某步价值的Wilson 95%下界超过0.5，则称该步high；n=50时这对应估计值至少0.64。

从文本预测

• Judge： Qwen3-1.7B、Qwen3-8B、Qwen3-32B、Qwen3.6-27B，思考模式开启，一次调用评一个步骤。直接模式输出[-1,1]的advantage；价值模式估计到达该轨迹原最终答案的概率，再以前后前缀之差作为重要性。附录G给出完整提示词。
• Critic： 同一四个backbone加标量回归头，输入仍只有文本。LoRA作用于全部模块，r=16，alpha=32，dropout=0.05；AdamW，学习率2e-4，weight decay 0.01，2个epoch，seed 42。默认目标是对价值做二元交叉熵，再差分得到advantage。另两种目标在附录B.3比较。
• 数据划分： 在五个数学数据集的80%上训练，留出20%为in-distribution；out-of-distribution是AMC 23。标签稀有，指标用PR-AUC和precision@k%。
• 天花板： 金标签本身是Monte Carlo估计。split-half天花板用一半rollout的advantage估计，去对另一半或全部rollout导出的标签评分，分保守与乐观两种。结果按最终答案正确与否分层。

配套分析定义

• 六种轨迹： high throughout、gradual climb、sudden climb、dip & recover、reached high but ends low、never high。sudden climb指单步至少覆盖总爬升的一半。形式定义和示例在附录E。
• 步骤类别： 按Venhoff et al.与Bogdan et al.的功能类型，另加Markdown格式；由gpt-5.4-mini-2026-03-17标注。类别定义在附录D.1。
• Cue设置： 从Scruples开发集选取社区判决为作者有错、且票数最高的100条。BASE只问作者是否有错；CUE在问题前插入指向相反结论的专家意见。生成模型为Qwen3-1.7B思考模式，每条提示一条回答。

主定量结果是：在Qwen3-1.7B非思考生成上，微调critic对错误回答的self-advantage恢复得更好，正确回答仍低于噪声天花板。

实验设置

• 生成： thinking off的Qwen3-1.7B、4B、8B，在AIME 24、AIME 25、AIME 26、AMC 23、MATH500、GSM8K上各30题、每题10条，每模型1800条回答、180题。Qwen3-1.7B thinking on只做AIME 24、AIME 25和GSM8K，并去掉超过600步的尾部，保留81%。
• 主解码臂： Section 6的judge与critic结果针对Qwen3-1.7B、thinking off的生成。附录H.2换Qwen3-8B非思考生成，附录I换1.7B思考生成。
• 预测模型： judge与critic为Qwen3-1.7B、8B、32B和Qwen3.6-27B。步骤类别由gpt-5.4-mini-2026-03-17标注。思考臂没有32B critic，附录I注明是计算限制。
• 指标与阳性率： 默认self-advantage。consequential由Section 4的变点规则给出，δ=0.1，每前缀N=50。非思考1.7B的consequential步骤占ID的1.8%、OOD的2.3%，思考模式更低。
• 划分： 五个数学集80/20为ID，AMC 23为OOD。Figure 7标注：ID正确102条、错误198条轨迹，OOD正确139条、错误161条。
• 未写明的评审细节： 论文未报告整套实验的重复次数，也未报告人工判断与advantage标签的一致性。天花板来自把50次rollout对半拆分。

主结果

下表是Section 6对微调critic的self-advantage PR-AUC。生成模型是Qwen3-1.7B、thinking off。区间跨critic规模，不是某一个模型的单点。

表格较宽，可左右滑动

回答	划分	critic PR-AUC	保守天花板	出处
错误	ID	0.28–0.30	≈0.6	Section 6
错误	OOD（AMC 23）	0.18–0.32	≈0.6	Section 6
正确	正文未分ID/OOD	0.065–0.10	0.51–0.64	Section 6

• 两种说法： 引言称微调critic在错误回答上接近噪声天花板，未指明指标。Section 6称上表错误回答约为保守天花板的一半、为chance的10–15倍；正确回答为对应天花板的10–20%、为chance的3.5–5倍。Figure 6图注称critic整体仍远低于天花板。
• Judge与规模： 作者称现成judge随规模超过prevalence，但点名的Qwen3.6-27B仍比ID天花板低9×、比OOD低6×。同节称critic规模在ID上大致持平，1.7B与Qwen3.6-27B相近。
• 紧预算与作者解释： 错误回答的[email protected]%为0.55–0.60（ID）和0.55–0.72（OOD），作者称与保守天花板0.61–0.62相当；预算增到2%时约降到天花板的一半。正确回答为0.08–0.16（ID）和0.18–0.29（OOD），天花板分别为0.72和0.56。Discussion提出，错误回答上的表现可能部分来自容易识别的final answer emission，或来自明显错误比促成正确解的关键步骤更好认。

价值如何沿轨迹变化

• 测了什么： 每条回答归入六种价值形态。Figure 3a用correctness-based价值，覆盖全部回答；Figure 3b只看错误回答如何到达其最终答案。排除官方分数与完整回答rollout不一致，或最后一步rollout少于10次的回答：Figure 3中非思考为1–2%、思考为0.3%；Figure 3b为3–6%和1.4%。
• 数字： 作者称high throughout在Qwen3-1.7B、AIME 24/25加GSM8K上随思考从24%升到61%，在六数据集上随规模从25%升到39%，增加的质量几乎都来自never high缩小。正文未给出never high的百分比。错误回答中，非思考模型从第一步就锁定错误答案的占1–3%，思考模型为12.4%。思考模型到达错误答案时gradual climb为59%、sudden climb为24%；非思考模型sudden climb为48–56%，gradual climb为39–46%。
• 作者解读： 思考和规模提高表现，主要是因为更多题在回答开始前价值已经高，而不是中途恢复。错误回答很少从起点锁定；思考模型更常逐步走到错误答案，非思考模型更常突然到达。

步骤类型与题目难度

• 类型排序： Figure 2在Qwen3-1.7B、AIME 24/25加GSM8K上比较各类步骤中consequential的比例。作者称thinking off比thinking on更常出现consequential步骤。非思考模型的正确回答里，uncertainty management和self-checking最高；错误回答里final answer emission领先。思考模型的正确回答里，active computation和uncertainty management最高。正文未给出各类别的精确百分比。
• 例外： 附录D.2称，thinking off时1.7B、4B、8B在更难数据集上的类型排序大体稳定，GSM8K是明显例外。思考模型上，uncertainty management在两个AIME的正确回答中排第一，GSM8K上则是active computation领先。
• 难度： Figure 4的轴是含consequential步骤的回答比例对数据集准确率，模型为1.7B、4B、8B，thinking off。正文未给出各点百分比。作者称较易、且更常见于训练数据的GSM8K和MATH500比例更低，较难的AIME几乎总有至少一步consequential。

Cue下的逐步faithfulness

• 设置与结果： Qwen3-1.7B思考模式、Scruples 100例。无cue时58%的回答至少有一步consequential，有cue时为15%；consequential步骤占比为5.0%对1.4%，平均步数为18.9对16.4（Figure 5）。无cue时模型已与cue所指答案一致的占37%，加cue后一致占95%。
• 分层： 100例中58例答案被cue翻转，37例原本就一致，5例加cue后仍不同意。作者称前两组仍是无cue更常有consequential步骤；原本一致的例子平均更长（22.9对最初不同意的16.9）。对5例抵抗cue的样本，作者称样本量太小，不能下强结论，BASE与CUE在consequential步骤上看起来几乎分不开。
• 作者解读： 作者称加入cue常常使推理过程实质上被确定下来：价值接近常数，单步self-advantage接近0。附录F给出分层。

其他消融与分析

• 提示方式： 附录B.2，self-advantage上价值差分judge的PR-AUC为0.018–0.027，chance为0.017–0.022；直接打分从1.7B的0.021升到Qwen3.6-27B的0.065（ID）、0.027升到0.080（OOD）。同附录称该judge仍比约0.6的天花板至少低7×。
• 训练目标： 附录B.3，ID上self-advantage的WMSE为0.21，value BCE为0.25–0.26；correctness-based上WMSE为0.006，value BCE为0.028–0.058。BCE加排序损失与BCE相差在±0.01内。
• 更强生成模型： 附录H.2，Qwen3-8B非思考生成上，self-advantage PR-AUC为0.18–0.28（ID），保守天花板0.57。correctness-based的OOD为0.021–0.047，prevalence为0.012。
• 思考生成： 附录I在AIME 24训练、AIME 25评估。self-advantage的prevalence约0.5%，天花板约0.3 PR-AUC。critic为0.037–0.066（ID），作者称绝对数值不宜与非思考臂直接比。价值差分judge为0.006（ID）和0.004（OOD），prevalence为0.005和0.004。
• 正确性奖励： 附录J，1.7B生成上critic的PR-AUC为0.028–0.092（ID），天花板0.60；从1.7B到Qwen3.6-27B由0.028到0.092。相对各自chance，正确回答上的critic至少不差于错误回答，与self-advantage的分层相反。
• 标注稳定性： 附录A.3，变点流程对0.15、0.2、0.3跳变的功效为0.46–0.54、0.73–0.77、0.96，平坦序列误标率为1.3–3.7×10−4。选出的consequential步骤在留出的一半rollout上复现率为97–99%。

论文没有单独的Limitations节。明确写成局限或未解问题的内容在Conclusion和附录A。

作者指出的局限与后续方向

• 未解张力： Conclusion称，如何说明某些推理步骤会影响答案，又不暗示其文本可以被读成有意义的内容，仍未解决。
• 分段常数是近似： 附录A.2写明，价值轨迹的分段常数模型是工作近似，不是对数据的精确描述。至少五步的拟合段中，10.6–15.2%在线性趋势检验上拒绝，名义水平为5%。
• 主要失败模式： 同一节称，把渐进变化误归到单步，是流程的主要失败模式。模拟中，宽5步和10步的线性爬升分别有81%和67%的序列会被打上consequential标签。
• 经验上的爬升痕迹： 附录A.2用更敏感的分段估计ramp-like序列：正确性奖励下占2.2–6.4%，self-advantage下占4.2–13.0%。作者据此认为这类轨迹是少数。
• 思考轨迹： 附录A.3称，思考轨迹上self-advantage的ramp fingerprint为13.0%，为非思考配置的两到三倍，因此思考回答可能面临附录A.2所述局限。

实验覆盖范围

• 生成模型： thinking off覆盖Qwen3-1.7B、4B、8B和六套数学基准；thinking on的生成实验为Qwen3-1.7B，数据集为AIME 24、AIME 25、GSM8K，超过600步的回答被滤掉后保留81%。
• 解码实验： Section 6的judge与critic以Qwen3-1.7B非思考生成为对象。附录H.2重复Qwen3-8B非思考生成；附录I在AIME 24的42000步上训练、在AIME 25的8000步上评估，该臂没有32B critic。
• 预测与标注模型： judge为四个Qwen规模，思考模式开启。步骤功能类别由gpt-5.4-mini-2026-03-17标注。Cue实验是Scruples 100例、Qwen3-1.7B思考模式、每前缀50次rollout。
• 奖励与指标： 论文同时报告self-advantage和correctness-based advantage，并按ID/OOD、正确/错误分层，给出PR-AUC、precision@k%和split-half天花板。
• 论文未报告的量： 论文未报告整套judge或生成实验的重复次数，也未报告人工评估与advantage标签的一致性。附录K给出leave-one-out advantage与advantage的关系，并写明本文没有进一步实测该量。

作者用强化学习中的advantage比较CoT步骤“看起来重要”和“实际改变答案概率”是否一致。

• 问题： judge、critic和过程奖励常把步骤文本当成其功能角色的载体。作者要一个不改提示就能计算的重要性，并检查它是否写在文本里。
• 做法： advantage是接上该步之后、相对该前缀平均续写的期望奖励变化。默认奖励是匹配原轨迹的最终答案。每前缀50次rollout估计价值，再用PELT变点检测保留幅度超过0.1、后验概率至少0.95且能定位到单步的变化。
• 文本预测： 在Qwen3-1.7B非思考生成上，微调critic对错误回答的self-advantage PR-AUC为0.28–0.30（ID）和0.18–0.32（OOD），Section 6称约为保守天花板0.6的一半。正确回答为0.065–0.10，约为天花板0.51–0.64的10–20%。引言另称错误回答上接近天花板，未指明指标。
• 轨迹与cue： 作者称思考与规模带来的正确率提升，主要是high throughout从24%到61%、从25%到39%，即更多题在第一步前已经偏向正确答案。Scruples 100例上，无cue时58%的回答含consequential步骤，加cue后为15%。
• 作者结论： 步骤重要性只能从文本部分恢复，正确回答上更弱；不应把轨迹可读性当作可解释性。Conclusion留下的张力是：怎样说明某些步骤影响答案，又不把它们的文本读成意义。