Anthropic 使用稀疏自编码器从 Claude 3 Sonnet 中提取出大量可解释特征，其中一些特征看起来与安全相关。该工作属于 Transformer Circuits 系列的可解释性研究，重点在于把模型内部表征拆解为可读的特征，并观察其中与安全相关的部分。
推荐理由Anthropic 用稀疏自编码器从 Claude 3 Sonnet 中提取出大量可解释特征，其中部分与安全相关，为机制可解释性提供了可迁移的提取方法。
Anthropic 可解释性团队发布 2024 年 4 月更新，汇总多项尚在推进中的研究。在字典学习缩放规律方面，团队以四层 transformer 第三层后的残差流为案例，发现损失随 FLOPS 近似按幂律下降，最优特征数与训练步数也各自按幂律随算力增长，且最优特征数增长更快；对 L0 类损失函数需要更多训练步。在 SAE 训练方面，团队改进了自 Towards Monosemanticity 以来的训练设置，主要变化是解码器列向量不再约束为 L2 范数 1，稀疏惩罚项改为包含解码器列向量的 L2 范数，并给出学习率 5e-5、训练步数 200k、batch size 2048 或 4096、λ 默认 5 等默认值。
Anthropic 可解释性团队发布 2024 年 3 月 Circuits Updates，汇总多项尚在推进中的研究思路，并说明这些结果应视为实验室内部初步实验而非成熟论文。团队展示了用稀疏自编码器（SAE）特征快速定位电路的方法：在 18 层模型第 9 层残差流上训练扩展因子约 256 的 SAE，通过归因分数自动找出篮球、棒球、网球相关特征，并发现多个注意力头能直接产生对应运动的 logit 效应。字典学习方面，团队称在修复 bug 和优化改动后，Ghost Grads、Adam Beta 设为 (0, 0.9999)、剪枝 decoder norm 小于 0.99 的特征等此前有效的干预已不再带来明显训练损失改善。
推荐理由Anthropic 可解释性团队汇总了用 SAE 特征定位电路、字典学习改进等阶段性进展，适合跟踪机制可解释性方法演进。
Anthropic 的可解释性团队提出，可解释性研究可能比其它领域更依赖定性研究。文章认为，由于研究对象的特殊性，定性方法在机制可解释性工作中占据核心位置，而非仅作为定量研究的补充。
Anthropic 可解释性团队发布 2024 年 2 月 Circuits 更新，汇总字典学习与稀疏自编码器训练中的若干初步发现。团队解释了 Towards Monosemanticity 中大量特征落入超低密度簇的原因，认为这些特征把编码器权重集中在全数据集上弱激活的 Transformer 神经元上，源于预编码器偏置与 L1 正则共同作用，属于特征在找到有用方向前被正则项杀死的问题。在架构改进上，团队发现把 Adam 的 beta1 设为 0 可大幅减少大自编码器中的死亡特征，把解码器范数约束为不超过 1 便于剪枝，在真实 Transformer 激活上移除预编码器偏置有益，并采用归一化与学习率冷却。
推荐理由Anthropic 可解释性团队公开了字典学习中死亡特征、ghost grads 与 tanh 惩罚的初步实验，适合关注 SAE 训练细节的研究者参考。
Anthropic 可解释性团队发布 2024 年 1 月 Circuits 更新，汇总多项尚在推进中的研究想法，并说明未来数月将聚焦字典学习规模化、用字典学习攻击真实模型中的注意力叠加，以及在此基础上理解回路三个方向。团队把字典学习应用到 8 层 Transformer 的 MLP 激活上，发现最后一层特征与单层 Transformer 相似，中间层（约 4 至 6 层）特征更抽象，并给出若干与安全相关的特征示例。在更大规模模型上，团队称已初步提取出多语言特征，例如同一概念在多种语言中触发同一特征。
推荐理由Anthropic 可解释性团队集中披露字典学习、叠加与 Ghost Grads 等阶段性进展，适合跟踪机制可解释性技术路线的人了解其当前优先级。
Anthropic 的可解释性研究团队用稀疏自编码器从单层 Transformer 中提取出大量可解释特征，探索把叠加的多义神经元分解为单义特征。该工作以字典学习为方法，目标是让语言模型内部表征更易被人类理解。
推荐理由Anthropic 可解释性团队用稀疏自编码器从单层 Transformer 中提取大量可解释特征，是机制可解释性方向的方法起点。
Anthropic 可解释性团队公布了一批尚在发展中的研究想法，并强调应将其视为实验室同事分享的初步实验结果而非成熟论文。他们重新审视此前在一层玩具模型中无法归类的"中间数据集规模"行为，确认它其实是低隐藏维度导致优化失败的假象，并非线性特征叠加框架的反例。改用多种学习率重训后发现，记忆解直到约 500k 样本才发生真正的一级相变交叠到泛化解，且随数据集从约 1k 增至 500k 样本，记忆对象由单点逐渐变为相关簇并以"三角形"结构排列。
Anthropic 的可解释性研究者 Chris Olah 发表《Interpretability Dreams》，阐述机械可解释性的长期目标——当前聚焦解决叠加（superposition）难题并奠定认识论基础，未来希望扩展到大规模神经网络分析与普适特征电路的研究。 文中提出若攻克叠加问题，便可识别模型中正确的特征与回路，进而搭建更高层的抽象结构，类似解剖学中的器官或神经科学中的脑区；同时指出许多特征与回路具有普适性，在不同网络上跨模型迁移，使单一模型的洞见可为未来模型提供立足点。
Anthropic 可解释性团队公布了一批仍在发展中的研究思路，聚焦于从神经网络激活中提取特征的字典学习方法，并探讨特征的定义问题。研究者提出将特征定义为"激活的最简分解"，通过拟合概率分布计算稀疏编码与字典的总熵来确定合适的特征数量，合成数据的初步实验表明该方法能有效判定正确的特征数。此外还涉及记忆化中的"两圆"现象、权重叠加、注意力头叠加及特征流形玩具模型等内容，均为实验室会议级别的阶段性成果而非成熟论文。
Anthropic 的可解释性团队在一篇非正式笔记中提出，"分布式表征"其实混合了两个不同概念——特征组合（composition）与叠加（superposition）。两者在泛化能力和线性可分函数上有截然不同的性质，且存在根本性的权衡张力。文中借用 Thorpe(1989) 的形状—颜色神经元编码例子说明，局部码虽无叠加却能灵活地线性选取任意刺激集合，而组合式编码则大幅减少所需神经元并带来统计效率优势。
Anthropic 的可解释性研究考察了 Transformer 残差流中坐标为何会出现基对齐的离群值，并初步把原因归于 Adam 优化器。作者在 2 亿参数模型上复现了 Dettmers 描述的离群现象，典型层有 20–60 个离群维度（总 d_model=1280），并提出用激活峰度作为检测特权基的通用指标，无特权基时峰度应接近 3。实验排除了 LayerNorm 与有限精度浮点两个假设：改用 RMSNorm 后离群更重尾，而在前向与训练中施加随机旋转后模型表现与基线基本一致，说明 Transformer 不依赖特权基也能正常训练。
推荐理由通过旋转实验与峰度指标，把残差流离群值的来源从 LayerNorm 和浮点精度逐步排除，指向 Adam 优化器。
Anthropic 可解释性团队（Transformer Circuits）发布研究，把此前关于玩具模型的工作扩展到模型如何在训练数据之外泛化的问题上，探讨叠加、记忆与双下降之间的关系。作者指出，尽管过拟合是深度学习的核心问题，但目前对模型如何过拟合训练数据仍缺乏机制层面的理解，该研究试图为此提供线索。
Anthropic 的可解释性研究提出用玩具模型理解神经网络中的多义性现象，即网络常把许多不相关的概念塞进同一个神经元。该工作试图让多义性的来源与动态在玩具模型中可以被完整理解，原文链接为 https://transformer-circuits.pub/2022/toy_model/index.html。
推荐理由Anthropic 可解释性团队用玩具模型拆解神经元多义性，为理解叠加现象提供了可复现的分析起点。
Anthropic 的可解释性团队提出将神经网络逆向工程类比于编译二进制程序的逆向工程，主张寻找并理解可解释神经元——相当于程序中的变量——才是机械可解释性的中心任务而非众多问题之一。该观点指出参数本身就是神经网络的有限描述，因此不必穷举高维输入空间即可理解网络行为，但也意味着这项工作的难度至少等同于逆向大型复杂程序，不应期待简单答案或固定流程。
Anthropic 可解释性团队提出用 softmax linear unit（SoLU）替换 MLP 激活函数，在几乎不损失性能的前提下提升神经元可解释性。在 1 至 40 层模型中，盲测实验显示可快速给出解释的 MLP 神经元比例从约 35% 升至约 60%，提升约 1.7 倍；64 层（约 500 亿参数）模型上增益明显缩小（42% 对 33%）。性能方面，SoLU 模型在 loss 与 Lambada、ARC、OpenBookQA、TriviaQA、算术、MMLU、HellaSwag 等下游任务上与基线相当，等效模型规模倍率在 0.95× 至 1.05× 之间，训练速度差异小于 1%。
推荐理由Anthropic 可解释性团队提出用 SoLU 激活函数提升 MLP 神经元可解释性，并给出性能与可解释性的权衡证据。
Anthropic 的可解释性团队提出，induction head 可能是大型 Transformer 中大部分上下文学习的机制。induction head 由两层注意力头组成，前一个 token 头把前一 token 信息写入当前 token，第二个头据此找到此前出现过当前 token 的位置并复制其后的 token，实现 [A][B]…[A]→[B] 的模式补全。
推荐理由Anthropic 的可解释性团队用六条证据把 induction head 与上下文学习联系起来，并给出可复用的消融与相变观察方法。
Anthropic 发布 PySvelte，一个用于将基于 Svelte 和 Web 标准的自定义可视化接入 Python 深度学习工作流的库。它让 src/ 目录下的 Svelte 组件自动以 pysvelte.Hello() 形式在 Python 中可用，支持 NumPy 数组传入、组件相加成页面，并可通过 .publish() 发布到 GCS/S3/AZ 等存储分享。该库声明完全不提供支持，许多功能需用户自行编写 config.py 才能使用。
Anthropic 的可解释性团队发布了一套用于逆向工程模型的早期数学框架，并用逆向工程小型玩具模型加以演示。该框架面向 Transformer 内部机制的形式化分析，是理解模型内部计算结构的早期尝试。
推荐理由Anthropic 可解释性团队早期提出的 Transformer 逆向工程数学框架，是理解后续机制可解释性研究路线的起点。
Anthropic 为其机制可解释性研究搭建了一套名为 Garçon 的基础设施，可在跨节点的大规模 Transformer 模型上进行激活读取、组件消融与梯度回传实验。它通过启动服务器并连接远程模型的接口运行前向传播，暴露一组 probe points，允许挂载探针函数访问或修改内部张量，并以云 pickle 传输任意 Python 对象到服务端执行。
Anthropic 公开了几段讨论其神经网络逆向工程早期思路的视频，作为与研究同行分享的非正式材料，录制于相关论文发表之前。团队强调其中想法非常粗糙且可能有错，观看需持保留态度，主要面向关注神经网络逆向工程的活跃研究者。这批视频随后已被其更完善的论文《A Mathematical Framework for Transformer Circuits》取代。
Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集，要求读者为注意力头写出具体权重矩阵以实现特定算法，并附有解答。练习分三部分：热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写，以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩；练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头，并展开 W_net 矩阵；练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头，后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。
推荐理由Anthropic 可解释性团队把注意力头的权重写成显式矩阵，读者可据此亲手推导归纳头等机制。
Distill 发起 Circuits 线程，尝试逐个神经元地理解经典视觉模型 InceptionV1 约 1 万个神经元及其连接。线程以短文章加专家评论的形式组织，通过 Distill slack 的 #circuits 频道持续更新，定位为早期探索性研究。开篇文章《Zoom In: An Introduction to Circuits》提出三个主张：存在有意义的特征、特征之间存在有意义的电路、这些特征与电路具有普遍性。线程还收录了 InceptionV1 前五层神经元总览、曲线检测器、神经网络中自然出现的等变性、高低频检测器、曲线电路、权重可视化、分支特化与权重带状分布等文章。
推荐理由Distill 电路线程的起点，交代了把单个神经元与连接当作严肃研究对象的三个主张和后续文章的组织方式。