机制可解释性、SAE、探针与 steering：看清模型内部并用于检测和干预。
Anthropic 的可解释性研究考察了 Transformer 残差流中坐标为何会出现基对齐的离群值，并初步把原因归于 Adam 优化器。作者在 2 亿参数模型上复现了 Dettmers 描述的离群现象，典型层有 20–60 个离群维度（总 d_model=1280），并提出用激活峰度作为检测特权基的通用指标，无特权基时峰度应接近 3。实验排除了 LayerNorm 与有限精度浮点两个假设：改用 RMSNorm 后离群更重尾，而在前向与训练中施加随机旋转后模型表现与基线基本一致，说明 Transformer 不依赖特权基也能正常训练。
推荐理由通过旋转实验与峰度指标，把残差流离群值的来源从 LayerNorm 和浮点精度逐步排除，指向 Adam 优化器。
Anthropic 的可解释性研究提出用玩具模型理解神经网络中的多义性现象，即网络常把许多不相关的概念塞进同一个神经元。该工作试图让多义性的来源与动态在玩具模型中可以被完整理解，原文链接为 https://transformer-circuits.pub/2022/toy_model/index.html。
推荐理由Anthropic 可解释性团队用玩具模型拆解神经元多义性，为理解叠加现象提供了可复现的分析起点。
Anthropic 可解释性团队提出用 softmax linear unit（SoLU）替换 MLP 激活函数，在几乎不损失性能的前提下提升神经元可解释性。在 1 至 40 层模型中，盲测实验显示可快速给出解释的 MLP 神经元比例从约 35% 升至约 60%，提升约 1.7 倍；64 层（约 500 亿参数）模型上增益明显缩小（42% 对 33%）。性能方面，SoLU 模型在 loss 与 Lambada、ARC、OpenBookQA、TriviaQA、算术、MMLU、HellaSwag 等下游任务上与基线相当，等效模型规模倍率在 0.95× 至 1.05× 之间，训练速度差异小于 1%。
推荐理由Anthropic 可解释性团队提出用 SoLU 激活函数提升 MLP 神经元可解释性，并给出性能与可解释性的权衡证据。
Anthropic 的可解释性团队提出，induction head 可能是大型 Transformer 中大部分上下文学习的机制。induction head 由两层注意力头组成，前一个 token 头把前一 token 信息写入当前 token，第二个头据此找到此前出现过当前 token 的位置并复制其后的 token，实现 [A][B]…[A]→[B] 的模式补全。
推荐理由Anthropic 的可解释性团队用六条证据把 induction head 与上下文学习联系起来，并给出可复用的消融与相变观察方法。
Anthropic 的可解释性团队发布了一套用于逆向工程模型的早期数学框架，并用逆向工程小型玩具模型加以演示。该框架面向 Transformer 内部机制的形式化分析，是理解模型内部计算结构的早期尝试。
推荐理由Anthropic 可解释性团队早期提出的 Transformer 逆向工程数学框架，是理解后续机制可解释性研究路线的起点。
Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集，要求读者为注意力头写出具体权重矩阵以实现特定算法，并附有解答。练习分三部分：热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写，以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩；练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头，并展开 W_net 矩阵；练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头，后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。
推荐理由Anthropic 可解释性团队把注意力头的权重写成显式矩阵，读者可据此亲手推导归纳头等机制。
Distill 发起 Circuits 线程，尝试逐个神经元地理解经典视觉模型 InceptionV1 约 1 万个神经元及其连接。线程以短文章加专家评论的形式组织，通过 Distill slack 的 #circuits 频道持续更新，定位为早期探索性研究。开篇文章《Zoom In: An Introduction to Circuits》提出三个主张：存在有意义的特征、特征之间存在有意义的电路、这些特征与电路具有普遍性。线程还收录了 InceptionV1 前五层神经元总览、曲线检测器、神经网络中自然出现的等变性、高低频检测器、曲线电路、权重可视化、分支特化与权重带状分布等文章。
推荐理由Distill 电路线程的起点，交代了把单个神经元与连接当作严肃研究对象的三个主张和后续文章的组织方式。