研究提出 CIA 指标衡量并改进 LLM 思维链与内部计算的一致性

CoT 说出的策略经常与内部计算不一致，本文要度量并提高这种参数化忠实性。

• 场景：作者称 CoT 常被当作模型如何得出答案的代理，但可不对齐内部计算路径，且可被改动而不改变最终答案。作者认为对齐二者能改善可监测性，从而在高风险应用中更可信地解读行为。
• 现有不足：作者称既有参数化忠实性评测多注入误导 hint，再看预测改变时 CoT 是否承认使用 hint，并且不用可解释性工具检查内部策略。
• 操作化：作者假定任务提示引出单一目标策略 S，用工具判断内部是否使用 S，再与 CoT 是否说出 S 比较。该一致性与答案对错分开：两侧都未使用 S 也算对齐。
• 本文提出：指标 CoT-Interpretability Alignment（CIA），覆盖两跳事实推理、hint 干预和整数乘法；再以任务正确率与该一致性做后训练，并区分增益来自改报告还是改内部推理。

CoT 忠实性

• 不忠实证据：Turpin et al. (2023)、Lanham et al. (2023)、Pfau et al. (2024)、Chen et al. (2025) 显示 CoT 不可靠反映内部推理；引言还引用 Pfau et al. (2024)、Goyal et al. (2024)，称 CoT 可被操纵而不改变输出。
• 两类定义：Barez et al. (2025)、Xiong et al. (2025)、Tutek et al. (2025)、Hase & Potts (2026) 被作者归入形式化工作。self-consistency 看多样本或改写后解释是否一致（Parcalabescu & Frank, 2024; Zhao & Iii, 2025）；parametric faithfulness 看 CoT 是否反映真实内部推理。作者称本文只做后者。
• 作者的批评：既有参数化忠实性评测有两点不足：主要靠注入误导 hint（点名 Turpin et al., 2023; Chen et al., 2025; Xiong et al., 2025），且不使用可解释性工具。Anthropic (2026) 被引用为前沿模型也可能操纵 CoT 以绕过监测，论文未把它当作实验对照。

内部策略探测

• 工具：线性探针（Adi et al., 2017; Alain & Bengio, 2017; Belinkov, 2022）、Tuned Lens（Belrose et al., 2025）、注意力模式（Clark et al., 2019）。
• 任务现象：Yang et al. (2024)、Biran et al. (2024) 报告多跳任务常走捷径而非组合推理；Bai et al. (2025) 报告 Transformer 难以处理乘法所需的长程依赖。作者称这些发现促使他们检查模型是否执行 CoT 中说出的策略。

后训练与基线

• 训练算法：DPO（Rafailov et al., 2023）、GRPO（Shao et al., 2024）和 Rejection Sampling 被用作优化器。论文未批评这些算法本身，而是把 BCoT 与 BINT 是否相等加入筛选或奖励。
• 基线与数据：对照是各指令模型的 Base。数据为 TwoHopFact（Yang et al., 2024）、Chen et al. (2025) 的 biased-hint MMLU，以及作者自建的两位数乘法。Hint 任务另以 Biasing Features 对照 Chen et al. (2025)、Zaman & Srivastava (2025) 的行为指标。

作者称本文把可解释性工具同时用于分析内部、量化 CoT 对齐，并用来提高这一对齐，而不只沿用 hint 承认率。

整体做法是先用可解释性工具读出内部是否使用目标策略 S，再与 CoT 是否说出 S 比较，得到 CIA；然后把这一致性用作后训练信号。

CIA 的定义

作者假定提示引出单一金策略 S。BCoT 为 CoT 是否明示使用 S，BINT 为工具是否检出内部使用 S。以 BINT 为参考、BCoT 为预测，CIA 是正类与负类 F1 的宏平均：

CIA = 1/2(F1₊(B_INT^S, B_CoT^S) + F1₋(B_INT^S, B_CoT^S))

它度量忠实性而非正确性，两侧同为 0 也算对齐。作者指出工具不完美，完全对齐的系统也不一定得到满分。

三个任务如何标注

• TwoHopFact：S 为经由标注桥实体做组合推理，而不是把最终答案当原子事实召回。BCoT 用精确字符串匹配，检查金桥实体是否出现在第一步末和第二步初。若 CoT 写了别的桥实体且探针也检出它，记 (0,0)；探针未检出则记 (0,1)。
• 两跳的 BINT：作者援引 Meng et al. (2022)、Geva et al. (2023)，在单跳题上训练线性探针，从主语实体末 token 的隐藏状态预测答案首 token。再用于两跳题的问题内该位置和 CoT 第一步同一位置，任一处指向标注桥实体则 BINT=1。辅助工具 Tuned Lens：任一层、任一位置的 top-100 命中桥实体首 token 即 BINT=1（附录 C.1）。
• MMLU-Hint：S 为是否依赖注入在题末的误导 hint。BCoT 由 Qwen3-32B 贪心判定，附录 Figure 7 给出完整提示词。探针训练标签为有、无 hint 时 hint 选项概率差超过 τ=0.1。正文 §3.2 写读 hint 句末 token；Table 6 与附录 C.2 写答案字母 token。按表格，实现位置是答案字母。无答案字母的输出被排除。辅助指标 Biasing Features：最终答案变为 hint 选项则 BINT=1。
• 2-Digit Multiplication：每个样本都用长乘法模板，要求写出两个部分积再求和。BCoT=1 当且仅当所示部分积之和等于最终答案。BINT 的行为标签来自部分积篡改：生成时把某一部分积加上非零整数偏移，偏移取自 [-9,+9] 除去 0；若重新生成的和跟踪该篡改，标为真正按步骤计算，否则为直接参数召回。探针读求和生成前一个 token，测试时对 10 个探针的概率取平均。辅助工具看写和时注意力是否落在部分积 token，头、标准化和阈值在 Base 训练集上固定后用于训后模型（附录 C.3）。

后训练

• RS：每题采样多条完成，保留 BCoT=BINT 的全部完成，不论答案对错，再微调。
• DPO 与 GRPO：奖励同时含任务正确率与一致性。论文写为 r(y_i)=r_base(y_i)+λ· 1(B_CoT(y_i)=B_INT(y_i))，实验取 λ=1.0。作者称 r_base 用来避免塌缩到单一策略，例如乘法总是直接召回，或两跳总预测同一个错误桥实体。
• 组内对比：每题 G=16 条。DPO 把奖励最高三条与最低三条配对，奖励相同则丢弃。GRPO 用组内相对优势，不另训 critic。各任务训练时统一用线性探针提供 BINT。

数据与解码

• 划分：三套数据按 6:2:2 分为训练、验证、测试。两位数乘法枚举 10–99 的操作数对，作者称约 3000 题。MMLU-Hint 用 suggestion_False 与 posthoc_False。
• 解码：评测为 temperature 0.7、top-p 0.95、top-k 50、最长 512 token；采集后训练样本时 temperature 1.0、top-p 1.0。零样本，bfloat16。主实验中 Qwen3-8B 为非思考模式。
• Hint 的汇总口径：CIA 只在含答案字母的输出上计算，每种子 600 条测试提示中的 510–591 条；任务正确率用无 hint 提示，因为带 hint 的正确率会把推理能力与抗 hint 混在一起。

实验设置

• 被测模型：主实验为 Llama3.1-8B-Instruct、Gemma2-9B-it、Qwen3-8B。附录 E 另评 Qwen3-14B（仅 2-Digit 的 Base）和 DeepSeek-R1-Distill-Llama-8B（仅 MMLU-Hint 思考模式），以及 Qwen3-8B 的思考模式。
• 数据：TwoHopFact；MMLU-Hint 每种子 600 条测试提示；2-Digit 作者称约 3000 题，三套数据均为 6:2:2。论文未报告 TwoHopFact 的条数。
• 对照：Base 指令模型；后训练为 RS、DPO、GRPO。Hint 的辅助指标为 Biasing Features。
• 指标：CIA 为 BINT 与 BCoT 的宏平均 F1；Task Acc。因果效应率为干预后输出改变的样本比例。
• 判定：两跳用字符串匹配；乘法看部分积之和是否等于答案；Hint 的 BCoT 由 Qwen3-32B 判定。论文未报告该判定与人工的一致性。
• 重复：Table 1、Table 2 为测试集上三个生成种子的均值。探针留出准确率 0.83–0.91，正类 F1 0.75–0.95（§C.4）。

主结果

据 Table 1，三生成种子均值：

Swipe horizontally to read the table

• 作者称没有模型在每个任务上都最忠实，正确率高也不意味着 CIA 高：TwoHopFact 上 Gemma2 正确率最高、CIA 最低；2-Digit 上 Qwen3 正确率最高，但 CIA 低于 Gemma2。
• 错位类型因任务而异：TwoHopFact 上三模型都以 (0,1) 为主，占 32.0%–54.3%，即 CoT 写出探针未检出的桥实体。2-Digit 上 Qwen3、Gemma2 的 (0,1) 为 23.6% 和 15.8%；Llama 以 (1,0) 为主，占 26.2%。
• Hint：Llama 与 Gemma 的 (1,0) 为 27.0% 和 29.9%。作者报告 hint 驱动答案时，二者 CoT 承认比例为 23.1%–28.6%；Qwen3 受 hint 影响的比例为 13.8%。

后训练

下表为 Table 2 均值，列是作者称该任务增益最大的方法，箭头为 Base 到训后的 CIA。

Swipe horizontally to read the table

• 作者给出 RS 在 TwoHopFact 上的 CIA 增益为 +0.120 到 +0.241，DPO 在 MMLU-Hint 上为 +0.094 到 +0.155，2-Digit 上各模型增益最大的方法为 +0.088 到 +0.111。GRPO 为 −0.066 到 +0.126；Llama 的 GRPO 在 2-Digit 上从 0.587 降到 0.521。
• 作者称 TwoHopFact 与 MMLU-Hint 上没有任何方法使正确率下降超过 0.015；2-Digit 上全部方法提高正确率，为 +0.007 到 +0.185。Table 2 注称 27 个单元中 25 个相对 Base 的 CIA 提升达到 p < .05（paired cluster bootstrap over prompts）。
• 作者称各设置增益最大方法的平均相对增益为 25.5%。Llama 的 DPO 在 2-Digit 上 CIA 为 0.650±0.09、Acc 为 0.442±0.10。

跨任务与跨工具

• 跨任务：Figure 5 只画 Qwen3-8B 与 Gemma2-9B-it。训练任务为 TwoHopFact 与 2-Digit 用 RS、MMLU-Hint 用 DPO。作者称 TwoHop 训后在 Hint 上 CIA 增加 +0.09 到 +0.17，反向为 +0.09 到 +0.10；乘法训后迁到另两任务最多 +0.03，两知识任务迁到乘法为 −0.02 到 +0.04。作者认为数值步骤跟踪与知识类如实报告可能是不同技能。引言称改进可跨多样推理任务泛化；Figure 5 的反例是乘法与另两任务基本不迁移。
• 跨工具：Table 3 用 Tuned Lens、Biasing Features、注意力分析重算 CIA。作者称 RS、DPO、GRPO 在全部任务和模型上都提高该辅助 CIA，且大多数设置里 GRPO 增益最小。作者认为增益并不特定于训练时用的线性探针。

增益来源与因果干预

• 转移：Table 4 只统计 Qwen3-8B、且三任务都用 DPO。2-Digit 最大流是 (0,1)→(1,1)，+7.6%，作者标为内部计算向 CoT 靠拢。MMLU-Hint 最大流是 (0,1)→(0,0)，+8.2%；TwoHopFact 最大流同样是 (0,1)→(0,0)，+21.0%。作者把后两者标为 CoT 报告向未变的内部计算靠拢。同表也有走向不对齐的流，例如 2-Digit 的 (1,1)→(0,1) 为 −2.9%。
• 因果：迁移子集上，2-Digit 的因果效应率从训前 29.0% 到训后 72.0%，正文写明为三模型平均。TwoHopFact 为 61.2% 对 64.5%，MMLU-Hint 为 59.5% 对 62.7%；这两句未写明是否为三模型平均。作者称乘法上的 BINT 转移对应真实因果依赖，而不是只为满足探针；另两任务的增益来自报告，而非内部计算改变。全体测试集被作者称呈同一任务模式，但前后变化更小；转换文本中的逐条柱值列对齐不可靠，这里不逐条引用。

其他消融与分析

• 奖励消融（Figure 9，DPO，验证集）：Acc+Faith 在全部 9 个设置 CIA 最高；只保留正确率时 CIA 接近或低于 Base；只保留忠实性时 TwoHop 与 Hint 的正确率下降，2-Digit 上 CIA 与正确率都上升。正文未给曲线终点。
• 工具一致率（Table 7，Base 测试集，Llama / Qwen / Gemma）：TwoHop 0.858 / 0.923 / 0.902；Hint 0.927 / 0.959 / 0.937；乘法 0.730 / 0.653 / 0.784。作者称 Hint 上 Biasing Features 就是探针训练标签，高一致率不是独立仪器互证；TwoHop 上只有 11%–21% 探针为正，一致率多来自两侧都判负。
• 规模（Table 8，2-Digit）：Qwen3-14B 的 CIA 0.524、Acc 0.805，Qwen3-8B 为 0.590、0.763；(0,1) 从 23.6% 到 40.3%。作者称不据此做一般规模趋势结论。
• 思考模式（附录 E.2，MMLU-Hint）：Qwen3-8B 全文判定的 CIA 从非思考 0.586 到 0.352，只看最终答案为 0.517；Follow 从 0.178 到 0.103。作者称痕迹倾向于多报 hint，而不是藏起 hint。RS-B、DPO-A 的全文 ΔCIA 为 +0.050、+0.043。
• DeepSeek-R1-Distill-Llama-8B：思考模式全文 CIA 0.595，与表中 Llama 非思考参照相同；每种子有答案字母的提示为 315–329 条。RS-B 全文 ΔCIA +0.078，答案侧为 −0.046，95% 区间含 0；DPO-A 全文 +0.017，区间也含 0。RS-B 后有答案字母的提示增至 551–563 条。
• 乘法探针是否只反映对错（§C.4）：跟踪步骤但答错的样本，探针分数高于直接召回但答对的样本：Gemma2-9B 为 0.595 对 0.496，Qwen3-8B 为 0.585 对 0.340。该段未给 Llama 的对应均值。

作者指出的局限与后续方向

• 工具精度：作者在 §8 写明，参数化忠实性评测的可靠性取决于可解释性工具能否恢复内部推理轨迹，而当前工具还不能完美做到。框架与具体工具是分开的，未来更精确工具的输出可直接换入同一流水线。
• 长链推理：§8 Future Work 称本文三个任务各自隔离一种基础能力，不忠实原因和后训练目标可以差很多；真实长链会混合多种能力，其忠实性目标可能不对齐甚至冲突。如何让这些目标在同一次后训练中兼容，被作者列为后续方向。
• 事后解释：§8 称 Looped Transformers 与 Latent Reasoning 的推理在隐空间完成。如何把这种隐式过程事后译成可解释文本，被作者列为后续方向。

实验覆盖范围

• 主实验模型为 Llama3.1-8B-Instruct、Gemma2-9B-it、Qwen3-8B，三个任务都报告 CIA 与任务正确率，生成种子为三个（§4、Table 1–2）。
• 后训练为 RS、DPO、GRPO，λ=1.0，每提示 16 条完成。Figure 5 的跨任务结果为 Qwen3-8B 与 Gemma2-9B-it；Table 3 的跨工具结果包含三个主模型。
• 因果干预覆盖三个任务的迁移子集和全体测试集；正文给出迁移子集上的汇总比例（§6）。Table 4 的转移统计是 Qwen3-8B 加 DPO。
• 附录 E 报告 Qwen3-14B 在 2-Digit 上的 Base，以及 Qwen3-8B 思考模式和 DeepSeek-R1-Distill-Llama-8B 在 MMLU-Hint 上的 Base 与 RS-B、DPO-A；思考模式后训练为单个训练种子。作者写明 14B 只是一个额外规模点、一个任务，不据此做一般规模结论。
• 论文未报告 TwoHopFact 的样本条数，也未报告 Qwen3-32B 判定与人工的一致性。论文写明 MMLU-Hint 的 Biasing Features 是探针训练标签，与探针不是独立仪器（§C.5）。

• 定位：CIA 用可解释性工具检查 CoT 是否说出模型内部实际使用的策略，并试着用后训练提高这一一致性。
• 问题：作者称口头推理常被当作内部过程的代理，但二者可以不一致，CoT 也可被改写而不改变答案。作者关心的是参数化忠实性，不是答案对错，也不是多样本解释是否自洽。
• 做法：为每个任务定一个目标策略 S，分别得到 BCoT 与 BINT，用正负类 F1 的宏平均作为 CIA。三任务是两跳桥实体、误导 hint 是否被依赖、两位数乘法是否真按所示部分积求和。后训练用 RS 保留两侧一致的完成，或在 DPO、GRPO 中把一致性加进奖励，同时保留任务正确率项。
• Base：Table 1 中三个指令模型、三个任务的 CIA 为 0.448–0.759。正确率最高的模型不一定 CIA 最高。主要错位在两跳上是 CoT 写出未在内部检出的桥实体，在 Hint 上多是内部受 hint 影响但 CoT 不承认，在乘法上则因模型而异。
• 训后：作者称各设置增益最大的方法平均相对提升 25.5%；Table 2 注称 27 个单元中 25 个在 p < .05 下提升 CIA。例外包括 Llama 的 GRPO 在 2-Digit 上 CIA 从 0.587 降到 0.521。TwoHop 与 Hint 的正确率降幅被作者称不超过 0.015，乘法上正确率上升。知识任务之间可迁移，与乘法基本不迁移；换辅助工具后 CIA 仍上升。
• 作者结论：增益有两种模式。乘法上模型改为按口头步骤做内部计算，迁移子集因果效应率从 29.0% 到 72.0%（三模型平均）；两跳和 Hint 上主要改为如实报告，因果效应率前后接近。作者认为参数化忠实性既可以度量也可以提高，但工具尚未完美恢复内部轨迹，长链多能力与隐空间推理的事后解释仍待后续。