大语言模型内省意识的机制
Mechanisms of Introspective Awareness
论文速读
据论文全文整理（AI 生成），以原文为准
Anthropic Fellows Program 等机构的研究者定位了开放权重模型检测注入 steering vector 的两阶段电路，早期层“证据载体”特征会抑制后层默认输出否定的“门控”特征。
- LLM 有时能察觉被注入 residual stream 的 steering vector 并说出注入概念，这一“introspective awareness”的机制尚不清楚，作者想弄清它是否稳健、由哪些组件实现、在训练哪个阶段出现，以及能否用浅层混淆解释。
- 在 Gemma3-27B 等开源模型上做概念注入实验，用 LLM judge 判定 detection 与 identification；结合 swap 实验、双向 steering、逐层 MLP/attention 因果干预、Gemma Scope 2 transcoder 特征分析、steering attribution 图，以及 DPO/SFT 对比和训练 bias vector。
- 作者报告 detection 在多种 prompt 与对话格式下稳健且假阳性为 0%，base 模型不具备、DPO 类对比式偏好训练可使其出现而 SFT 不能；detection 与 identification 由不同层机制承担，detection 依赖早期“evidence carrier”特征抑制后期“gate”特征；消融 refusal 方向使 detection 从 10.8% 升至 63.8%，训练 bias vector 在留出概念上提升 detection 约 75%。
- 实验主要集中在 Gemma3-27B，其他模型仅作辅助验证；依赖 LLM judge 可能引入偏差；开源模型可用的 SAE/transcoder 有限；attention 在其中的作用仍不清楚；post-training 如何产生该机制未被识别；概念注入是高度人造的场景，能否推广到其他内省行为未知。
Anthropic Fellows Program 等机构的研究者定位了开放权重模型检测注入 steering vector 的两阶段电路，早期层“证据载体”特征会抑制后层默认输出否定的“门控”特征。研究以 Gemma3-27B 为主，并在 Qwen3-235B 和 OLMo-3.1-32B 上做补充，发现该能力在基座模型中不存在，主要随 DPO 类对比偏好训练出现，SFT 不会带出可靠判别。检测与概念识别由不同层的不同机制承担；在 Gemma3-27B 上消融拒答方向使检测率从 10.8% 升至 63.8%，假阳性从 0% 升至 7.3%，训练单个 bias vector 在留出概念上使检测率提高 74.7%、内省率提高 54.7% 且假阳性为 0%。
推荐理由论文用因果干预定位检测注入概念的两阶段电路，并显示 DPO 而非 SFT 促成了这一内省能力。
相关热点
1 个事件 · 2 条新闻提到
提到这篇论文的新闻
- Anthropic Alignment Science引用了论文编号或链接Anthropic Residency 开放申请，面向资深技术带头人
[4] Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations, Mechanisms of Introspective Awareness
LM 心理学入门：为何把LLM当作心智理解
- LessWrong写出了论文标题LM 心理学入门：为什么要把LLM当作心智来理解
Similarly, Mechanisms of Introspective Awareness, 2026, finds introspection in open models under-elicited by default and strongly improved by a trained steering vector.