从概念对齐到因果接地：思维链忠实性的干预检验
From Concept Alignment to Causal Grounding: An Intervention Test of Chain-of-Thought Faithfulness
AI 导读
论文将思维链忠实性重新定义为内部概念接地，检验 LLM 的 CoT 推理是否调用与直接预测相同的内部概念，以及这些共享概念是否因果驱动答案。方法上用单个共享 SAE 分别编码预测过程和 CoT 过程，使两者的内部概念可直接比较，并提出三个概念级对齐的相关性指标和一个因果指标 Δp，后者通过消融共享概念测量答案概率的下降。在五个 LLM 和四个数据集上，相关性指标显示概念对齐普遍较高，但只能识别哪些概念被共享，无法说明其因果贡献；Δp 显示因果忠实性随模型深度显著变化，在中后层达到峰值而非最后几层，模型规模也会改变逐层分布。此外，因果上重要的共享概念并不总在 CoT 中被口头表达，说明仅凭表面文本或表征对应无法可靠评估忠实性。