绕过推理依据：语言模型隐式推理的因果审计
Bypassing the Rationale: Causal Auditing of Implicit Reasoning in Language Models
论文速读
据论文全文整理（AI 生成），以原文为准
论文提出基于激活修补的逐层因果审计框架，用 CoT 中介指数（CMI）衡量模型答案是否因果依赖思维链 token 的隐状态。
- CoT prompting 常被当作透明性机制，但行为上的提升不代表模型内部计算真的依赖输出的推理文本；模型可能生成流畅 rationale 却走 latent 通路。需要因果、逐层的审计来判断 CoT 是否被机制性使用。
- 用 activation patching 做因果干预：对比 With-CoT 与 No-CoT 运行，把 No-CoT 的 hidden states 打到 CoT token 位置，并设匹配的随机非 CoT 位置作为 control patch。提出 CoT Mediation Index（CMI），用 CoT drop 减 control drop 再除以带下限的和，定位各层 CoT 因果影响，并定义 Bypass=1−CMI。
- 在 Phi、Qwen、DialoGPT 等模型和 StrategyQA、TruthfulQA、GSM8K 上测试。CMI 通常深度局部化于窄的 reasoning window；存在 CMI 近零但 CoT 文本合理的 bypass 情形。专门为推理训练的模型比更大但未调优的模型 CMI 更强更结构化；MoE 模型 CMI 更分散。TruthfulQA 上近乎全部 bypass，GSM8K 上计算量大的实例 CMI 更高。
- activation patching 可能引入分布偏移与脆弱性；任务与 prompt 覆盖有限；逐层干预计算昂贵，限制样本与模型数量；行为基线只是启发式，非校准检测器；低 CMI 不等于没有推理，可能只是不经过文本对齐表征。后续可做可扩展近似、电路/潜在特征分析、审计推理调优模型与 MoE 路由。
论文提出基于激活修补的逐层因果审计框架，用 CoT 中介指数（CMI）衡量模型答案是否因果依赖思维链 token 的隐状态。在 Phi、Qwen、DialoGPT 等模型上，CoT 影响多集中在少数层形成的推理窗口，并存在 CMI 接近零的绕过情形。作者称，专门为推理训练的模型比规模更大的未调优模型表现出更强、更结构化的中介，MoE 模型的中介更分散。在 TruthfulQA 上几乎全部实例出现近乎完全的绕过，GSM8K 上计算量较大的题目 CMI 更高。作者认为 CoT 忠实性因模型和任务而异，不能仅凭行为推断。
推荐理由论文以激活修补逐层测量思维链的中介程度，指出行为层面的推理提升未必意味着模型内部依赖思维链。