Some text is shown in its original language while the English translation is being prepared.
arXiv· arXiv:2602.03994· Anish Sathyanarayanan, Aditya Nagarsekar, Aarush Rathore·Indexed by this site · Originally publishedSelectedAttention54 绕过推理依据：语言模型隐式推理的因果审计
Bypassing the Rationale: Causal Auditing of Implicit Reasoning in Language Models
AI reading guide
论文提出基于激活修补的逐层因果审计框架，用 CoT 中介指数（CMI）衡量模型答案是否因果依赖思维链 token 的隐状态。在 Phi、Qwen、DialoGPT 等模型上，CoT 影响多集中在少数层形成的推理窗口，并存在 CMI 接近零的绕过情形。作者称，专门为推理训练的模型比规模更大的未调优模型表现出更强、更结构化的中介，MoE 模型的中介更分散。在 TruthfulQA 上几乎全部实例出现近乎完全的绕过，GSM8K 上计算量较大的题目 CMI 更高。作者认为 CoT 忠实性因模型和任务而异，不能仅凭行为推断。
Deep readingGenerating
Why it was selected
论文以激活修补逐层测量思维链的中介程度，指出行为层面的推理提升未必意味着模型内部依赖思维链。
Read originalarxiv.org