解读深度循环 Transformer 中的隐式推理
Interpreting Latent Reasoning in the Depth-Recurrent Transformer
AI 导读
作者在 Huginn-3.5B 这一循环深度 Transformer 上复现并扩展了针对该架构的 logit lens 变体，用于解读模型不显式生成思维链时的隐式推理。实验覆盖算术与逻辑推理任务，解码后的隐式表示显示答案随循环迭代从不正确逐步转向正确。对解码状态概率分布的定性分析显示，这些分布能反映模型的推理置信度与不确定性。作者认为，隐式推理可能比原先担心的更容易被可解释性方法处理，这为未来监控隐式推理提供了潜在路径。该工作为 BlueDot Impact 2026 年 1 月技术 AI 安全项目冲刺的 Top Submission，并复现和扩展了 Alignment Forum 上关于 CODI 的工作。