研究：思维链对答案的约束随模型相对任务难度而变化

这篇论文探究大语言模型在输出思维链（CoT）时，所写出的推理步骤是否真正因果约束了最终答案。

• 研究场景与重要性：思维链提示常被提出作为监控模型推理的基座，但只有当生成的中间思维链对输出具有因果约束时，基于思维链的监控才具有实际意义。
• 现有方法的不足：既有行为研究多通过外部偏置提示观察表面行为，难以排除模型从原始问题重新推导的混淆；而基于回路追踪的机制可解释性研究耗费大量人力且难以规模化扩展。
• 核心观察与假设：作者提出思维链并非对所有任务都统一忠实或不忠实，其因果作用取决于模型相对任务难度，并在简单任务到困难任务之间经历从装饰性到承重性的转变。
• 论文提出的方案：论文提出了基于续写的因果测试协议，通过单步扰动、截断并强制续写来测量思维链的承重性，并结合隐状态探针与激活引导评估其可读性与可控性。
• 实际部署关联：作者指出扰动前缀设定虽然非自然，但代理了模型接收非自撰写错误步骤的现实场景，包括工具输出注入、检索文档注入、子智能体轨迹及对抗性内容。

论文讨论的相关研究主要分为以下三组：

• 思维链忠实性的行为研究

  • Turpin 等人（2023）与 Chen 等人（2025b）发现模型会在不承认偏置的情况下将答案合理化，强化学习推理模型提及提示词依赖的比例不足 20%；Saparov 与 He（2023）指出模型采用贪婪的从左至右策略有时会忽略相关前提。
  • Lanham 等人（2023）引入了提前回答与步骤移除测试模型是否需要思维链；作者指出本文续写测试探讨互补问题，即当步骤出错时思维链是否会因果约束续写。
  • Tanneru 等人（2024）从理论上指出在通用情况下保证忠实的思维链在计算上是困难的。

• 推理的机制可解释性研究

  • Dutta 等人（2024）识别出思维链处理中快捷路径与分步推导路径在后层汇聚的并行机制；Chen 等人（2025a）利用稀疏自编码器（SAE）提取特征，显示思维链与直接回答激活了不同的特征集合。
  • Lindsey 等人（2025）与 Ameisen 等人（2025）开展回路追踪以区分忠实计算与事后合理化；作者指出该类方法耗费人力且受限于个案，本文方法以牺牲细粒度回路为代价换取了规模化评估能力。
  • Marks 与 Tegmark（2024）表明真值在隐状态中呈线性表征；Li 等人（2023）通过推理阶段激活引导促使模型给出真实答案，本文借鉴了其引导技术但在行为翻转上观察到了局限。

• 大语言模型的自我修正研究

  • Pan 等人（2024）与 Huang 等人（2024）探讨了多轮提示下的自我修正，Huang 等人（2024）指出在缺乏外部反馈时提示自纠错无法稳定生效；Wang 等人（2023）则依赖自洽性在多条采样链间聚合。
  • 本文研究不同的生成中断自我修正现象，即模型从被破坏的前缀强制续写时，无需后续提示或重采样即可在中间修复注入的错误。

• 基线方法与基准评测

  • 论文在评测中设置了基于关键词的规则分类基线与 Logit Lens 投影基线，并在 GSM8K、MMLU 与 BIG-Bench Hard（BBH）三个基准数据集上展开评估。

作者将本文工作定位于通过可扩展的因果干预手段，在词元流层面直接隔离思维链对最终答案的单向因果约束，弥补了宏观提示扰动与微观回路追踪之间的尺度断层。

作者提出了基于续写的因果测试（continuation-based causal testing），通过对中间推理步骤施加因果消融与修补，测量思维链词元对后续输出的因果承重性。

整体流程与干预设计

• 基线筛选与单步扰动：从模型能够正确多步解答（推理步数大于等于 3 步）的题目开始，将思维链解析为独立步骤，并在链条的指定位置扰动某一个中间步骤。
• 截断与强制续写：在扰动步骤之后立即截断思维链，强制目标模型从该破坏前缀继续自回归生成，对比续写答案与原始正确答案。
• 因果隔离特性：作者指出强制续写避免了另起一轮对话重新索要最终答案的重新推导混淆，将干预严格限制在思维链对答案的单向因果链条上。

扰动策略与位置配置

• 策略类型：设计了 7 种扰动策略，分为数学类（算术数值修改、运算符替换）与概念类（信心注入、错误排除、逆向逻辑、错误类比、前提矛盾）。
• 位置与强度设置：扰动注入点预设在思维链长度的早期（25%）、中期（50%）与晚期（75%）三个位置。数值扰动强度设置了微弱、中度与明显的跨度。

三模态行为分类体系

• 行为模式定义：将续写分为 Type A（静默旁路，模型忽略扰动继续正确计算）、Type B（自我修正，模型显式指出矛盾并恢复正确答案）与 Type C（错误传播，模型沿扰动步骤得出错误答案）。
• 大模型裁判判定：鉴于关键词规则在隐式计算与概念文本上的局限，生产流程采用 Claude Haiku 担任裁判（经 Claude Sonnet 校验），依据标准化指引给出分类。
• 分类稳定性：四种裁判提示词变体测试表明 Type A 与 Type B 的划分对裁判提示词敏感，而 Type C 与非 Type C 的二元划分在构建上完全不受提示词变体影响。

隐状态探测与激活引导

• 特征提取与降维：提取扰动点前、扰动点、扰动点后 3 个词元位置在全模型各层的隐状态，拼接后通过主成分分析（PCA）降维至 128 维。
• 探针训练：采用以题目为分组的 5 折分层交叉验证，训练逻辑回归线性探针与双层多层感知机（MLP，结构为 128 输入至 256 隐藏单元后接 ReLU 激活）。
• 激活引导干预：提取二分类探针的方向向量并单位归一化为 d，在推理阶段的目标层残差流中施加加性干预，干预形式为 x′ = x + α d，其中 alpha 为引导强度标量；该公式用于检验探针提取的方向是否具备因果操纵行为模式的能力。

实验设置

• 被测模型：主实验采用 Gemma-2-9B-IT，跨模型验证包含 Llama-3.1-8B-Instruct、DeepSeek-R1-Distill-Qwen-7B，并对 Gemma-2-9B 基础模型进行了提示制度测试。
• 数据集与规模：覆盖 GSM8K（879 题，原始准确率 86.5%，保留 760 个多步基线）、MMLU（5,000 题，准确率 74.8%，保留 3,740 个基线）与 BBH（5,511 题，准确率 57.9%，保留 3,191 个基线），共计 11,390 题，筛选出 7,691 个正确基线，生成 21,238 条有效标注续写。
• 基线方法：对比了关键词匹配规则分类基线与将隐状态直接投射至词表头的 Logit Lens 探测基线。
• 评价指标：主要指标为 Type A（静默旁路率）、Type B（自我修正率）、Type C（错误传播率）、探针分类准确率（AUROC / Accuracy）及激活引导翻转率。
• 评审与标定方式：采用 Claude Haiku 担任裁判模型（经 Claude Sonnet 校验）；针对 15,336 条样本进行 4 种裁判提示词敏感性评估；开展 500 条样本的双人盲审人工验证（Cohen's kappa 达 0.93，C 与非 C 划分达 1.00）。
• 样本与计算环境：实验运行于单张 NVIDIA H100 80GB GPU；探针采用基于问题的分组 5 折交叉验证；激活引导评估了 11,556 次生成。

主结果

| 数据集（Gemma-2-9B-IT） | 基础准确率 | 静默旁路 (Type A) | 自我修正 (Type B) | 错误传播 (Type C) | | GSM8K (数学) | 86.5% | 94.5% [93.5, 95.4] | 1.6% [1.2, 2.2] | 3.9% [3.2, 4.8] | | MMLU (知识) | 74.8% | 41.5% [40.5, 42.4] | 36.3% [35.4, 37.2] | 22.3% [21.5, 23.1] | | BBH (复杂推理) | 57.9% | 37.4% [36.4, 38.4] | 21.7% [20.8, 22.6] | 40.9% [39.8, 42.0] |

• 随基础准确率从 86.5% 降至 57.9%，错误传播率从 3.9% 升至 40.9%，而静默旁路率从 94.5% 降至 37.4%（据 Table 1）。
• 作者指出 GSM8K 的高旁路率主要源于算术快捷方式，模型在不依赖受破坏中间步骤的情况下直接得出正确答案。
• 作者认为跨数据集的粗粒度对比虽然反映了难度与承重性的正相关，但因 GSM8K 独占数值扰动而存在模态混淆，需进一步结合细粒度控制加以确证。

扰动类型与任务难度的解耦实验

• GSM8K 文本扰动对照：在 5,400 次续写中，将文本策略适配至 GSM8K 数字输出空间后，错误传播率为 6.5%（95% 置信区间 [5.9, 7.2]），与原数值扰动的 3.9% 仅相差 2.6 个百分点（据 Table 2）。
• 困难任务数值扰动对照：对 BBH 多步算术子任务施加数值扰动（939 次续写），错误传播率升至 64.5%（95% 置信区间 [61.4, 67.5]），相较 GSM8K 同类数值扰动出现 16 倍的跨任务升幅；而同子任务文本扰动错误传播率为 18.6%（据 Table 2）。
• 全样本方差分解：在合并的 28,584 条样本上拟合序数逻辑回归，按该分桶与进入顺序，4 水平任务难度项占模型已解释离差的 98.8%，不是解释全部样本变异（离差 Delta = 3,567.0，p 小于 10 的负 300 次方），扰动类型仅解释 0.8%（Delta = 29.4，p = 5.9 乘以 10 的负 8 次方），交互项占 0.4%（据 Table 5）。作者认为任务难度占据支配地位，扰动类型效应仅为次要修饰。

跨模型验证与后训练影响

• Llama-3.1-8B-Instruct 复现：在 7,791 条续写中，Llama 基础准确率相对更低（GSM8K 55.3%、MMLU 40.8%、BBH 40.1%），总体错误传播率达 57.2%（Gemma 为 27.8%）；BBH 多步算术数值扰动错误传播率约 78%，高于 GSM8K 的约 12%，复现了 6 倍的难度倍率（据 §5.6、Table 3）。
• DeepSeek-R1-Distill-Qwen-7B 行为偏转：过滤得到 1,603 条 post-think 步骤大于等于 4 步的续写，错误传播率在各数据集均较低（GSM8K 5.1%、MMLU 2.7%、BBH 16.8%），自我修正率在生产裁判下达 42.3% 至 46.0%。作者认为强化学习训练诱导了自我验证习惯，压缩了难度梯度。
• 基础模型对比：未微调的 Gemma-2-9B 在零样本与少样本下生成多步思维链的合规率仅为 0% 至 22%，作者指出指令微调是激发格式的关键因素，使得无法在固定架构下完全剥离微调影响（据附录 Q）。

隐状态探测与因果激活引导

• 探针分类表现：在 Gemma 全 42 层特征上（N = 2,000，分组 5 折交叉验证），第 10 层线性探针识别旁路准确率达 79.4%（AUROC 为 0.85）；第 23 层 MLP 探针在 3 分类任务上达 75.3%；第 28 层 MLP 探针识别错误传播达 86.2%（据 Figure 4、§5.4）。Logit Lens 基线未能区分行为模式，均值 logit 差仅为 0.017。
• 单向激活引导的零效应：在 11,556 次单向引导生成中（alpha 处于 -10 至 +10），沿探针方向施加加性扰动未能诱发行为模式翻转，Type A 错误率为 0/726（95% 二项置信区间上限 0.41%），与随机方向对照无实质差异（据 Figure 8、§5.5）。
• 多向基向量引导的部分翻转：在第 21 层使用 8 向量多项式探针基且 alpha = -10 时，Type C 翻转率为 24.6%（14/57，95% 置信区间 [15.1, 37.1]），但 Type A 翻转率在所有设置下均不超过 8.3%。作者认为行为类型在表征中具有可读性，但在加性干预下难以实现稳定控制。

其他消融与分析

• 扰动位置梯度：错误传播率随位置后移从早期的 33.5% 降至中期的 27.4% 和晚期的 22.5%（z = 14.57，p 小于 10 的负 47 次方，据 §5.3）。
• 剩余步数效应：错误传播率随剩余推理步数增加而上升，剩余 1–2 步为 19.7%，剩余 9 步以上升至 41.0%（据 §5.3）。
• 扰动强度扫描：GSM8K（5.9%–8.6%）与 BBH 多步算术（64.5%–68.1%）在微弱、中度、明显三种强度下的变动均在 4 个百分点以内（据 Table 6）。
• 探针特征位置消融：移除扰动点前、中、后任意单一位置特征，探针准确率最大降幅为 1.8 个百分点（据附录 F）。
• 裁判提示词敏感性：4 种裁判提示词变体使 Type A 比例在 4.0% 至 89.2% 之间变动，但 Type C 样本计数严格一致（据 Figure 3）。
• 标签修正影响：将探针训练标签从规则切换为大模型裁判后，3 分类探针准确率从 99.9% 降至 75.0%（据 Figure 9）。

作者指出的局限与后续方向

• 模型参数规模受限（§6.3）：主要实验集中在 8B 至 9B 参数规模模型，受限于单张 H100 算力预算，未在 70B 及以上参数模型上验证该规律。
• 扰动深度与形式单一（§6.3）：实验仅对单一推理步骤进行孤立扰动，未测试多步骤且内部自洽的扰动形式，作者计划通过少样本合成探索此类扰动。
• 行为分类的操作主观性（§6.3、§3.3）：Type A 与 Type B 的边界对裁判提示词高度敏感，提示词变体导致 A 类比例变动一个数量级，生产裁判存在过度统计自我修正的偏差。
• BBH 任务上的规则判定偏差（§6.3、附录 S）：规则匹配中将错误答案归为 Type C 的启发式在 BBH 文本任务上存在高估，人工复核一致率仅为 60%（GSM8K 与 MMLU 为 100%）。
• DeepSeek 解码参数不一致（§6.3、附录 P）：DeepSeek 模型评测采用贪婪解码（温度为 0），与官方基准测试所优化的 0.6 采样温度存在差异。
• 加性激活干预深度不足（§6.3）：加性引导无法稳定操纵行为模式，作者指出后续需要探索因果擦除或注意力回路级别的干预手段。

实验覆盖范围

• 被测模型范围：实际测试包括 Gemma-2-9B-IT、Llama-3.1-8B-Instruct 与 DeepSeek-R1-Distill-Qwen-7B 三款指令微调或蒸馏推理模型，以及 Gemma-2-9B 基础模型。
• 评测数据集范围：覆盖 GSM8K（879 题）、MMLU（5,000 题）与 BIG-Bench Hard（5,511 题），且仅保留多步推理正确的样本（共 7,691 个基线）。
• 扰动策略与位置：测试了 2 种数学策略与 5 种概念文本策略，扰动位置固定在 25%、50% 与 75% 三处。
• 探针与干预范围：隐状态探针在 Gemma 42 层与 DeepSeek 28 层上评估，加性激活引导实验仅在 Gemma-2-9B-IT 上开展。
• 人工验证覆盖：人工标注覆盖了从 Gemma-2-9B-IT 中抽取的 500 条分层样本，由 2 位标注员独立完成。

• 定位与核心问题：论文通过因果干预评估大语言模型思维链的因果承重性，探讨中间推理步骤在何种情况下真正约束最终答案，从而厘清基于思维链进行安全监控的有效前提。
• 方法设计：提出基于续写的因果测试协议，在模型正确的多步推理前缀中扰动单步并截断，强制模型续写，依据答案与推导过程将行为划分为静默旁路、自我修正与错误传播三类，并结合隐状态探针与激活引导检验其机制。
• 任务难度主导承重性：在 Gemma-2-9B-IT 上，错误传播率从 GSM8K 的 3.9% 升至 BBH 的 40.9%，且在 MMLU 29 个子科目间呈现 7 倍跨度（7.5% 至 53.7%）；在特定分桶和进入顺序的序贯模型中，难度项占已解释离差的98.8%，不等于全部变异解释率，扰动类型仅占 0.8%。
• 跨模型规律与后训练影响：Llama-3.1-8B-Instruct 以更低的基线准确率复现了难度梯度（总体错误传播率达 57.2%）；而强化学习蒸馏模型 DeepSeek-R1-Distill-Qwen-7B 表现出更低的错误传播率（GSM8K 为 5.1%、BBH 为 16.8%），作者将此与后训练的自我验证习惯联系起来；模型、筛选和解码条件不同，不能作为后训练因果效应的干净比较。
• 表征可读但加性控制受限：隐状态线性与 MLP 探针能够预测行为模态（Gemma 错误传播检测准确率达 86.2%），但在 11,556 次单向加性激活引导实验中均未诱发行为翻转，仅 8 向量基引导对错误传播呈现 24.6% 的部分翻转。
• 安全启示：作者指出思维链承重性随任务难度变化为安全监控带来结构性困扰：简单任务中模型旁路推理使监控缺乏信号，困难任务中错误快速级联使干预窗口变窄；未来的监控与防护策略必须基于任务难度校准对思维链的信赖程度。