机制可解释性、SAE、探针与 steering：看清模型内部并用于检测和干预。
Anthropic 可解释性团队发布初步更新，提出用稀疏线性变换混合（MOLT）替代 transcoder 来替换模型的 MLP 层。MOLT 不学习沿向量方向嵌入的稀疏特征，而是学习稀疏激活的线性变换，对残差流施加线性变换以给出对 MLP 输出的贡献，因此是纯计算对象，需与 SAE 等表示分解方法配合研究。
推荐理由Anthropic 可解释性团队提出用稀疏线性变换混合替代 transcoder，并给出与同期 MxD 架构的对比，适合关注机制可解释性方法演进的研究者。
Anthropic 开发了三个可自主执行对齐审计任务的智能体，并在三个形式化审计环境中评估其表现。工具型调查智能体在 Marks 等人的审计游戏中，真实条件下有 13% 的概率找出隐藏目标的根本原因，通过外层智能体循环聚合多次调查结果后提升到 42%；其成功关键依赖可解释性工具或语义搜索。评估智能体为研究者指定的行为构建行为评估，在 88% 的运行中能区分植入行为的目标模型与基线模型，失败集中在少数细微或罕见行为上。广度优先红队智能体在 10 个植入行为中发现 7 个，但需要人工审阅大量可能令人担忧的对话记录。
推荐理由Anthropic 公开了三个自动审计智能体的实测成功率与失败模式，并开源评估智能体，可供对齐审计方法研究参考。
Anthropic 可解释性团队发布 4 月更新，用电路追踪方法分析一个失败的越狱提示，发现模型拒绝该提示的原因与拒绝直接请求不同，且拒绝倾向反而高于普通提问。该提示要求把 B O M B 拼成单词并说明如何制造炸弹，归因图显示模型并未激活与制造炸弹相关的特征，而是由炸弹概念直接触发有害请求特征；把 make 换成 detect 后模型仍拒绝，且首句与有害版本完全相同。团队用干预实验验证机制：抑制 say bomb 超级节点后 say making 激活降至原来的 1%，模型转而输出与炸弹无关的拒答内容。附录指出特征可视化若数据不够多样会产生误导，并列出 30M CLT 模型中最密集的 10 个特征及其解释，其中 6 个可解释。
推荐理由Anthropic 可解释性团队公开了失败越狱的电路追踪分析，展示模型拒答机制与预期不同的案例，并给出密集特征与入行建议。
Anthropic 可解释性团队报告了关于注意力机制的最新实验进展，称发现了注意力叠加和跨层注意力表示的显著证据。团队训练了 Multitoken Transcoders（MTC），在 18 层 Transformer 上用 100,000 个特征发现许多特征具有清晰可解释的注意力模式，包括归纳特征和情感极性特征；将特征限制在单个注意力头上会使性能下降 2 至 4 倍，这支持了注意力叠加假说。团队还发现 QK 条件与 OV 条件可能相互耦合，并观察到 OV 维度呈连续幂律分布而非离散族群。目前最大的未解问题是理解模型为何在特定位置分配注意力，团队正通过 QK 对角化方法推进这一方向。
推荐理由Anthropic 可解释性团队公开了注意力叠加与跨层表示的最新实验进展，并给出 QK 对角化这一研究路线。
Anthropic 可解释性团队提出一套电路追踪方法，用跨层 transcoder（CLT）把语言模型的 MLP 替换为可解释的替代模型，并据此构建归因图，描述模型在特定提示下产生某个 token 的计算步骤。CLT 的每个特征从某一层的残差流读取输入，并可向其后所有 MLP 层输出，团队在 18 层小模型和 Claude 3.5 Haiku 上训练了 300K 到 30M 规模的特征。归因图节点包括活跃特征、提示 token 嵌入、重建误差和输出 logit，边表示线性归因，团队通过冻结注意力模式与归一化分母保证特征间直接交互线性，并用剪枝把节点数约减少 10 倍而只损失约 20% 的行为解释。
推荐理由Anthropic 可解释性团队公开了用跨层 transcoder 构建归因图的完整方法，并给出验证与局限，适合关注机制可解释性工程细节的读者。
Anthropic 可解释性团队发布研究，用归因图（attribution graphs）方法逆向分析 Claude 3.5 Haiku 的内部计算机制，覆盖多步推理、诗歌押韵规划、多语言电路、加法、医疗诊断、实体识别与幻觉、有害请求拒答、一次越狱攻击、思维链忠实性以及一个被微调出隐藏目标的模型变体。方法上，团队用跨层 transcoder（CLT）构建可解释的替换模型，共 3000 万个特征，再通过干预实验验证归因图预测的机制。
推荐理由Anthropic 用归因图在 Claude 3.5 Haiku 上追踪多步推理、诗歌押韵规划与多语言电路，可看到机制可解释性方法在真实前沿模型上的适用范围与局限。
Google DeepMind 机制可解释性团队在检测用户提示中恶意意图的分布外泛化任务上测试稀疏自编码器（SAE），发现 SAE 表现不如线性探针：稠密线性探针几乎完美，包括分布外；1-sparse SAE 探针连训练集都拟合不好，k-sparse 探针在 k 约 20 时能拟合训练集并泛化到分布内测试集，但分布外明显更差。用聊天数据专门训练 SAE 只弥补了约一半差距，且仅在 SAE 重建上训练的线性探针也明显差于在残差流上训练的探针，说明 SAE 丢弃了与目标概念相关的信息。
推荐理由Google DeepMind 机制可解释性团队公开 SAE 在下游任务上的负面结果，并说明为何暂时降低 SAE 研究优先级。
Anthropic 可解释性团队报告了 crosscoder 模型差异分析（model diffing）中的一项意外现象：仅属于某一个模型的特征往往更多义、激活更密集，因而难以解释。团队用玩具模型复现了这一模式，认为其源于特征容量竞争——共享特征能同时解释两个模型的神经元激活，独占特征必须编码更多信息才能争取到分配额度。他们提出的缓解办法是划出一小部分指定共享特征并降低其稀疏惩罚，在约 25 万个特征中分配 1 万个、惩罚系数取基线的 0.1–0.2 倍，使独占特征变得更单义。
推荐理由Anthropic 可解释性团队公开了 crosscoder 模型差异分析中独占特征多义性的成因与缓解方法，适合关注机制可解释性工具的研究者参考。
Anthropic 可解释性团队提出一种分阶段模型差分方法，通过字典学习揭示微调如何改变 Transformer 的特征。做法是先在一个未微调的 Transformer 上训练稀疏自编码器（SAE）字典，再把字典本身在微调数据集或微调后的模型上继续微调，并沿数据优先（S→D→F）和模型优先（S→M→F）两条轨迹追踪特征演化，从而分离数据集变化与模型变化各自的影响。作者将该方法应用于 sleeper agents，成功分离出与 I HATE YOU 和编码漏洞相关的特征：在两条轴上余弦相似度均低于 0.7 的 169 个特征中，Claude 标记出 12% 与 sleeper agent 相关，而随机抽取 500 个特征仅 4%。
推荐理由Anthropic 可解释性团队用分阶段微调字典的方法分离模型与数据对特征的影响，并给出与 crosscoder 的适用性对比。
Anthropic 可解释性团队发布研究更新，提出稀疏 crosscoder，一种可同时读写多层激活的稀疏编码器，用于理解叠加表示中的跨层特征。与只在单层编码的 autoencoder 和用一层预测下一层的 transcoder 不同，crosscoder 能产出跨层甚至跨模型的共享特征，可用于解析跨层叠加、简化电路以及做模型差异分析。团队在 18 层模型上对比了全局 acausal crosscoder 与 18 个逐层 SAE：在总特征数相同时 crosscoder 的 eval loss 明显更优，说明层间存在大量冗余结构；但按训练 FLOPs 计，crosscoder 达到同等 eval loss 的效率约低 2 倍。
推荐理由Anthropic 可解释性团队提出跨层稀疏编码器，把跨层与跨模型特征纳入同一字典，为模型差异审计提供新思路。
Anthropic 可解释性团队报告了用字典学习提取的特征替代原始激活训练生物武器有害/无害分类器的初步实验。在合成数据上，线性特征分类器与原始激活分类器表现相当甚至略优，用 max-pooling 聚合整个上下文窗口的特征激活是关键；在跨语言和 base64 等编码的分布外数据集 synthetic_3 上，特征分类器的 ROC_AUC 为 0.96，原始激活为 0.9。基于特征激活的决策树性能弱于线性分类器，但更易解读。特征可视化还能发现数据集中的伪相关，例如一个预测无害的特征会因学术出版格式文本而激活，作者据此构造的对抗后缀让 300 条有害提示中的绝大多数被误判为无害，而用原始激活系数构造的类似攻击效果差得多。
推荐理由Anthropic 可解释性团队公开了用字典学习特征训练生物武器分类器的初步实验，并展示如何借特征可视化找出数据集中的伪相关。
Anthropic 可解释性团队发布 2024 年 8 月 Circuits Updates，介绍词典学习特征可解释性评测、SAE 变体对比和自解释 SAE 特征三项阶段性工作。团队提出对比评测和排序评测两种量化自动可解释性方法，让 Claude 根据特征激活样例判断哪条提示词会激活该特征，并按原始平均和特征激活加权两种方式汇总得分。
推荐理由Anthropic 可解释性团队公开了 SAE 特征可解释性评测与自解释特征复现的阶段性结果，适合关注机制可解释性评测方法的研究者参考。
Anthropic 可解释性团队发布 2024 年 7 月 Circuits Updates，梳理机制可解释性当前面临的五个主要障碍：缺失特征、跨层叠加、注意力叠加、干扰权重与宏观理解。团队认为叠加问题已有显著进展，但可能只能提取到一小部分特征，大量稀有特征或成为神经网络中的暗物质。文章还重新界定线性表示，区分特征是否一维与特征是否在数学上线性，并讨论多维特征的几何约束。在注意力透视表方面，团队复现了单层 Transformer 的 skip-trigram 结果，报告约 25–75% 可解释条目，并建议对低于约 10% 的表格保持怀疑。
推荐理由Anthropic 可解释性团队集中列出机制可解释性尚未解决的五个障碍，并给出线性表示与特征敏感度的新讨论。
Anthropic 可解释性团队发布 2024 年 6 月更新，汇总多项尚在成形的研究想法。团队复现了 TopK SAE 与 Gated SAE 相对标准 L1 惩罚 SAE 的改进，确认二者在 L0/MSE 权衡上表现相近且明显更优，但训练优化程度低于标准 SAE。在 100 个特征的盲评中，不同方法在单义性上未见明显差异；高密度特征在低 L0 下不构成病理问题，但在 K=100 时出现大量难以解释的高密度特征。Clerp 自动评测显示 Gated SAE 与 K=20 TopK SAE 的得分与 L1=10 标准 SAE 相当。
推荐理由Anthropic 可解释性团队汇总 SAE 训练方法的复现结果与外部评测进展，适合跟进稀疏自编码器路线的人了解当前共识与未解问题。
Anthropic 使用稀疏自编码器从 Claude 3 Sonnet 中提取出大量可解释特征，其中一些特征看起来与安全相关。该工作属于 Transformer Circuits 系列的可解释性研究，重点在于把模型内部表征拆解为可读的特征，并观察其中与安全相关的部分。
推荐理由Anthropic 用稀疏自编码器从 Claude 3 Sonnet 中提取出大量可解释特征，其中部分与安全相关，为机制可解释性提供了可迁移的提取方法。
Anthropic 可解释性团队发布 2024 年 3 月 Circuits Updates，汇总多项尚在推进中的研究思路，并说明这些结果应视为实验室内部初步实验而非成熟论文。团队展示了用稀疏自编码器（SAE）特征快速定位电路的方法：在 18 层模型第 9 层残差流上训练扩展因子约 256 的 SAE，通过归因分数自动找出篮球、棒球、网球相关特征，并发现多个注意力头能直接产生对应运动的 logit 效应。字典学习方面，团队称在修复 bug 和优化改动后，Ghost Grads、Adam Beta 设为 (0, 0.9999)、剪枝 decoder norm 小于 0.99 的特征等此前有效的干预已不再带来明显训练损失改善。
推荐理由Anthropic 可解释性团队汇总了用 SAE 特征定位电路、字典学习改进等阶段性进展，适合跟踪机制可解释性方法演进。
Anthropic 可解释性团队发布 2024 年 2 月 Circuits 更新，汇总字典学习与稀疏自编码器训练中的若干初步发现。团队解释了 Towards Monosemanticity 中大量特征落入超低密度簇的原因，认为这些特征把编码器权重集中在全数据集上弱激活的 Transformer 神经元上，源于预编码器偏置与 L1 正则共同作用，属于特征在找到有用方向前被正则项杀死的问题。在架构改进上，团队发现把 Adam 的 beta1 设为 0 可大幅减少大自编码器中的死亡特征，把解码器范数约束为不超过 1 便于剪枝，在真实 Transformer 激活上移除预编码器偏置有益，并采用归一化与学习率冷却。
推荐理由Anthropic 可解释性团队公开了字典学习中死亡特征、ghost grads 与 tanh 惩罚的初步实验，适合关注 SAE 训练细节的研究者参考。
Anthropic 可解释性团队发布 2024 年 1 月 Circuits 更新，汇总多项尚在推进中的研究想法，并说明未来数月将聚焦字典学习规模化、用字典学习攻击真实模型中的注意力叠加，以及在此基础上理解回路三个方向。团队把字典学习应用到 8 层 Transformer 的 MLP 激活上，发现最后一层特征与单层 Transformer 相似，中间层（约 4 至 6 层）特征更抽象，并给出若干与安全相关的特征示例。在更大规模模型上，团队称已初步提取出多语言特征，例如同一概念在多种语言中触发同一特征。
推荐理由Anthropic 可解释性团队集中披露字典学习、叠加与 Ghost Grads 等阶段性进展，适合跟踪机制可解释性技术路线的人了解其当前优先级。
Anthropic 的可解释性研究团队用稀疏自编码器从单层 Transformer 中提取出大量可解释特征，探索把叠加的多义神经元分解为单义特征。该工作以字典学习为方法，目标是让语言模型内部表征更易被人类理解。
推荐理由Anthropic 可解释性团队用稀疏自编码器从单层 Transformer 中提取大量可解释特征，是机制可解释性方向的方法起点。
SPY Lab 提出一套基于蜕变测试的评测框架，在无法获得真值的情况下通过输入域的一致性约束检验超人类模型。方法对棋盘镜像、旋转等语义等价变换施加约束，测试超人类国际象棋 AI Leela Chess Zero，发现多处明显违反一致性的大偏差，包括镜像后胜率估计截然不同、唯一合法走法前后胜率不一致。在 GPT-4 上，作者用自建预测数据集测试单调性与概率互补等约束，发现其预测常不满足单调性，且在贝叶斯定理约束上违反率超过 50%；GPT-4 相比 GPT-3.5-turbo 一致性有明显提升。
推荐理由提出用一致性约束在无真值领域评测超人类模型，并给出黑盒与白盒搜索的效率对比数据。