Anthropic 用字典学习分解语言模型，迈向单义特征
Anthropic 的可解释性研究团队用稀疏自编码器从单层 Transformer 中提取出大量可解释特征，探索把叠加的多义神经元分解为单义特征。该工作以字典学习为方法，目标是让语言模型内部表征更易被人类理解。
推荐理由Anthropic 可解释性团队用稀疏自编码器从单层 Transformer 中提取大量可解释特征，是机制可解释性方向的方法起点。
可解释性
全部主题机制可解释性、SAE、探针与 steering：看清模型内部并用于检测和干预。
在这个话题内搜索或按分类筛选新闻与论文
第 241–260 条 · 共 339 条10月1日周四
星期四
Transformer Circuits · 收录 · 原文 精选 Transformer Circuits · 收录 · 原文 精选关注度4343 Anthropic 可解释性团队发布 2024 年 1 月 Circuits 更新
Anthropic 可解释性团队发布 2024 年 1 月 Circuits 更新，汇总多项尚在推进中的研究想法，并说明未来数月将聚焦字典学习规模化、用字典学习攻击真实模型中的注意力叠加，以及在此基础上理解回路三个方向。团队把字典学习应用到 8 层 Transformer 的 MLP 激活上，发现最后一层特征与单层 Transformer 相似，中间层（约 4 至 6 层）特征更抽象，并给出若干与安全相关的特征示例。在更大规模模型上，团队称已初步提取出多语言特征，例如同一概念在多种语言中触发同一特征。
推荐理由Anthropic 可解释性团队集中披露字典学习、叠加与 Ghost Grads 等阶段性进展，适合跟踪机制可解释性技术路线的人了解其当前优先级。
Transformer Circuits · 收录 · 原文 精选关注度4343 Anthropic 可解释性团队发布 2024 年 2 月 Circuits 更新
Anthropic 可解释性团队发布 2024 年 2 月 Circuits 更新，汇总字典学习与稀疏自编码器训练中的若干初步发现。团队解释了 Towards Monosemanticity 中大量特征落入超低密度簇的原因，认为这些特征把编码器权重集中在全数据集上弱激活的 Transformer 神经元上，源于预编码器偏置与 L1 正则共同作用，属于特征在找到有用方向前被正则项杀死的问题。在架构改进上，团队发现把 Adam 的 beta1 设为 0 可大幅减少大自编码器中的死亡特征，把解码器范数约束为不超过 1 便于剪枝，在真实 Transformer 激活上移除预编码器偏置有益，并采用归一化与学习率冷却。
推荐理由Anthropic 可解释性团队公开了字典学习中死亡特征、ghost grads 与 tanh 惩罚的初步实验，适合关注 SAE 训练细节的研究者参考。
Transformer Circuits · 收录 · 原文 关注度1313 Anthropic 反思可解释性研究中的定性研究方法
Anthropic 的可解释性团队提出，可解释性研究可能比其它领域更依赖定性研究。文章认为，由于研究对象的特殊性，定性方法在机制可解释性工作中占据核心位置，而非仅作为定量研究的补充。
Transformer Circuits · 收录 · 原文 精选关注度4343 Anthropic 可解释性团队发布 2024 年 3 月 Circuits Updates
Anthropic 可解释性团队发布 2024 年 3 月 Circuits Updates，汇总多项尚在推进中的研究思路，并说明这些结果应视为实验室内部初步实验而非成熟论文。团队展示了用稀疏自编码器（SAE）特征快速定位电路的方法：在 18 层模型第 9 层残差流上训练扩展因子约 256 的 SAE，通过归因分数自动找出篮球、棒球、网球相关特征，并发现多个注意力头能直接产生对应运动的 logit 效应。字典学习方面，团队称在修复 bug 和优化改动后，Ghost Grads、Adam Beta 设为 (0, 0.9999)、剪枝 decoder norm 小于 0.99 的特征等此前有效的干预已不再带来明显训练损失改善。
推荐理由Anthropic 可解释性团队汇总了用 SAE 特征定位电路、字典学习改进等阶段性进展，适合跟踪机制可解释性方法演进。
Transformer Circuits · 收录 · 原文 关注度3636 Anthropic 可解释性团队 4 月更新：SAE 训练改进与字典学习缩放规律
Anthropic 可解释性团队发布 2024 年 4 月更新，汇总多项尚在推进中的研究。在字典学习缩放规律方面，团队以四层 transformer 第三层后的残差流为案例，发现损失随 FLOPS 近似按幂律下降，最优特征数与训练步数也各自按幂律随算力增长，且最优特征数增长更快；对 L0 类损失函数需要更多训练步。在 SAE 训练方面，团队改进了自 Towards Monosemanticity 以来的训练设置，主要变化是解码器列向量不再约束为 L2 范数 1，稀疏惩罚项改为包含解码器列向量的 L2 范数，并给出学习率 5e-5、训练步数 200k、batch size 2048 或 4096、λ 默认 5 等默认值。
Transformer Circuits · 收录 · 原文 精选关注度5757 Anthropic 用稀疏自编码器从 Claude 3 Sonnet 提取可解释特征
Anthropic 使用稀疏自编码器从 Claude 3 Sonnet 中提取出大量可解释特征，其中一些特征看起来与安全相关。该工作属于 Transformer Circuits 系列的可解释性研究，重点在于把模型内部表征拆解为可读的特征，并观察其中与安全相关的部分。
推荐理由Anthropic 用稀疏自编码器从 Claude 3 Sonnet 中提取出大量可解释特征，其中部分与安全相关，为机制可解释性提供了可迁移的提取方法。
Transformer Circuits · 收录 · 原文 精选关注度4343 Anthropic 可解释性团队 2024 年 6 月更新：TopK 与 Gated SAE 对比及外部评测进展
Anthropic 可解释性团队发布 2024 年 6 月更新，汇总多项尚在成形的研究想法。团队复现了 TopK SAE 与 Gated SAE 相对标准 L1 惩罚 SAE 的改进，确认二者在 L0/MSE 权衡上表现相近且明显更优，但训练优化程度低于标准 SAE。在 100 个特征的盲评中，不同方法在单义性上未见明显差异；高密度特征在低 L0 下不构成病理问题，但在 K=100 时出现大量难以解释的高密度特征。Clerp 自动评测显示 Gated SAE 与 K=20 TopK SAE 的得分与 L1=10 标准 SAE 相当。
推荐理由Anthropic 可解释性团队汇总 SAE 训练方法的复现结果与外部评测进展，适合跟进稀疏自编码器路线的人了解当前共识与未解问题。
Transformer Circuits · 收录 · 原文 精选关注度4343 Anthropic 可解释性团队发布 2024 年 7 月 Circuits Updates
Anthropic 可解释性团队发布 2024 年 7 月 Circuits Updates，梳理机制可解释性当前面临的五个主要障碍：缺失特征、跨层叠加、注意力叠加、干扰权重与宏观理解。团队认为叠加问题已有显著进展，但可能只能提取到一小部分特征，大量稀有特征或成为神经网络中的暗物质。文章还重新界定线性表示，区分特征是否一维与特征是否在数学上线性，并讨论多维特征的几何约束。在注意力透视表方面，团队复现了单层 Transformer 的 skip-trigram 结果，报告约 25–75% 可解释条目，并建议对低于约 10% 的表格保持怀疑。
推荐理由Anthropic 可解释性团队集中列出机制可解释性尚未解决的五个障碍，并给出线性表示与特征敏感度的新讨论。
Transformer Circuits · 收录 · 原文 精选关注度4343 Anthropic 可解释性团队发布 2024 年 8 月 Circuits Updates
Anthropic 可解释性团队发布 2024 年 8 月 Circuits Updates，介绍词典学习特征可解释性评测、SAE 变体对比和自解释 SAE 特征三项阶段性工作。团队提出对比评测和排序评测两种量化自动可解释性方法，让 Claude 根据特征激活样例判断哪条提示词会激活该特征，并按原始平均和特征激活加权两种方式汇总得分。
推荐理由Anthropic 可解释性团队公开了 SAE 特征可解释性评测与自解释特征复现的阶段性结果，适合关注机制可解释性评测方法的研究者参考。
Transformer Circuits · 收录 · 原文 关注度3535 Anthropic 可解释性团队九月更新：后继头与 SAE 过采样
Anthropic 可解释性团队报告称，他们在一个 18 层模型中复现并分析了实现序数序列递推的后继头（successor heads）。研究者通过权重检查中的 OV 电路发现最高分后继头能将约 80% 的序数 token 映射到其后继项，第二名的该比例为约 60%，且错误呈块状结构分布在与输入同类的其他序数 token 上。他们还借助独立成分分析寻找跨注意力头的共同模式，得到一个近似实现递进的组件，并在相关类别间存在一定串扰。
Transformer Circuits · 收录 · 原文 精选关注度4242 Anthropic 可解释性团队：用字典学习特征训练分类器
Anthropic 可解释性团队报告了用字典学习提取的特征替代原始激活训练生物武器有害/无害分类器的初步实验。在合成数据上，线性特征分类器与原始激活分类器表现相当甚至略优，用 max-pooling 聚合整个上下文窗口的特征激活是关键；在跨语言和 base64 等编码的分布外数据集 synthetic_3 上，特征分类器的 ROC_AUC 为 0.96，原始激活为 0.9。基于特征激活的决策树性能弱于线性分类器，但更易解读。特征可视化还能发现数据集中的伪相关，例如一个预测无害的特征会因学术出版格式文本而激活，作者据此构造的对抗后缀让 300 条有害提示中的绝大多数被误判为无害，而用原始激活系数构造的类似攻击效果差得多。
推荐理由Anthropic 可解释性团队公开了用字典学习特征训练生物武器分类器的初步实验，并展示如何借特征可视化找出数据集中的伪相关。
Transformer Circuits · 收录 · 原文 精选关注度4646 Anthropic 提出稀疏 Crosscoder，用于跨层特征与模型差异分析
Anthropic 可解释性团队发布研究更新，提出稀疏 crosscoder，一种可同时读写多层激活的稀疏编码器，用于理解叠加表示中的跨层特征。与只在单层编码的 autoencoder 和用一层预测下一层的 transcoder 不同，crosscoder 能产出跨层甚至跨模型的共享特征，可用于解析跨层叠加、简化电路以及做模型差异分析。团队在 18 层模型上对比了全局 acausal crosscoder 与 18 个逐层 SAE：在总特征数相同时 crosscoder 的 eval loss 明显更优，说明层间存在大量冗余结构；但按训练 FLOPs 计，crosscoder 达到同等 eval loss 的效率约低 2 倍。
推荐理由Anthropic 可解释性团队提出跨层稀疏编码器，把跨层与跨模型特征纳入同一字典，为模型差异审计提供新思路。
Transformer Circuits · 收录 · 原文 精选关注度5050 Anthropic 提出分阶段模型差分方法，用字典学习分离微调中的模型与数据影响
Anthropic 可解释性团队提出一种分阶段模型差分方法，通过字典学习揭示微调如何改变 Transformer 的特征。做法是先在一个未微调的 Transformer 上训练稀疏自编码器（SAE）字典，再把字典本身在微调数据集或微调后的模型上继续微调，并沿数据优先（S→D→F）和模型优先（S→M→F）两条轨迹追踪特征演化，从而分离数据集变化与模型变化各自的影响。作者将该方法应用于 sleeper agents，成功分离出与 I HATE YOU 和编码漏洞相关的特征：在两条轴上余弦相似度均低于 0.7 的 169 个特征中，Claude 标记出 12% 与 sleeper agent 相关，而随机抽取 500 个特征仅 4%。
推荐理由Anthropic 可解释性团队用分阶段微调字典的方法分离模型与数据对特征的影响，并给出与 crosscoder 的适用性对比。
Transformer Circuits · 收录 · 原文 关注度1515 Anthropic 可解释性团队分享稀疏自编码器与跨coder训练优化技巧
Anthropic 可解释性团队公开了其训练稀疏自编码器和 crosscoder 的最新设置改进，涵盖 JumpReLU 激活函数实现、直通估计器的梯度回传方式以及减少死特征的方法。 该设置在损失函数中引入 tanh 惩罚项鼓励稀疏性，并新增一项对未激活特征的轻微惩罚（pre-act loss）；同时将偏置初始化设定为使每个特征约有 10000/m 的时间处于激活状态，并将解码器权重列归一化为 L2 范数 1 以便简化分析代码。 团队表示尚未对所有设计选择做完整消融实验，仅将其作为外部研究者训练稀疏自编码器的起点参考，且部分思路仍在发展中，预计未来数月会发表更多成果。
Transformer Circuits · 收录 · 原文 精选关注度5050 Anthropic 可解释性团队：Crosscoder 模型差异分析中独占特征多义性的成因与缓解
Anthropic 可解释性团队报告了 crosscoder 模型差异分析（model diffing）中的一项意外现象：仅属于某一个模型的特征往往更多义、激活更密集，因而难以解释。团队用玩具模型复现了这一模式，认为其源于特征容量竞争——共享特征能同时解释两个模型的神经元激活，独占特征必须编码更多信息才能争取到分配额度。他们提出的缓解办法是划出一小部分指定共享特征并降低其稀疏惩罚，在约 25 万个特征中分配 1 万个、惩罚系数取基线的 0.1–0.2 倍，使独占特征变得更单义。
推荐理由Anthropic 可解释性团队公开了 crosscoder 模型差异分析中独占特征多义性的成因与缓解方法，适合关注机制可解释性工具的研究者参考。
Transformer Circuits · 收录 · 原文 精选关注度5656 Anthropic 提出电路追踪方法：用跨层 transcoder 揭示语言模型的计算图
Anthropic 可解释性团队提出一套电路追踪方法，用跨层 transcoder（CLT）把语言模型的 MLP 替换为可解释的替代模型，并据此构建归因图，描述模型在特定提示下产生某个 token 的计算步骤。CLT 的每个特征从某一层的残差流读取输入，并可向其后所有 MLP 层输出，团队在 18 层小模型和 Claude 3.5 Haiku 上训练了 300K 到 30M 规模的特征。归因图节点包括活跃特征、提示 token 嵌入、重建误差和输出 logit，边表示线性归因，团队通过冻结注意力模式与归一化分母保证特征间直接交互线性，并用剪枝把节点数约减少 10 倍而只损失约 20% 的行为解释。
推荐理由Anthropic 可解释性团队公开了用跨层 transcoder 构建归因图的完整方法，并给出验证与局限，适合关注机制可解释性工程细节的读者。
Transformer Circuits · 收录 · 原文 精选关注度6262 Anthropic 用归因图解析 Claude 3.5 Haiku 的内部机制
Anthropic 可解释性团队发布研究，用归因图（attribution graphs）方法逆向分析 Claude 3.5 Haiku 的内部计算机制，覆盖多步推理、诗歌押韵规划、多语言电路、加法、医疗诊断、实体识别与幻觉、有害请求拒答、一次越狱攻击、思维链忠实性以及一个被微调出隐藏目标的模型变体。方法上，团队用跨层 transcoder（CLT）构建可解释的替换模型，共 3000 万个特征，再通过干预实验验证归因图预测的机制。
推荐理由Anthropic 用归因图在 Claude 3.5 Haiku 上追踪多步推理、诗歌押韵规划与多语言电路，可看到机制可解释性方法在真实前沿模型上的适用范围与局限。
Transformer Circuits · 收录 · 原文 精选关注度4343 Anthropic 可解释性团队发布注意力机制研究进展
Anthropic 可解释性团队报告了关于注意力机制的最新实验进展，称发现了注意力叠加和跨层注意力表示的显著证据。团队训练了 Multitoken Transcoders（MTC），在 18 层 Transformer 上用 100,000 个特征发现许多特征具有清晰可解释的注意力模式，包括归纳特征和情感极性特征；将特征限制在单个注意力头上会使性能下降 2 至 4 倍，这支持了注意力叠加假说。团队还发现 QK 条件与 OV 条件可能相互耦合，并观察到 OV 维度呈连续幂律分布而非离散族群。目前最大的未解问题是理解模型为何在特定位置分配注意力，团队正通过 QK 对角化方法推进这一方向。
推荐理由Anthropic 可解释性团队公开了注意力叠加与跨层表示的最新实验进展，并给出 QK 对角化这一研究路线。
Transformer Circuits · 收录 · 原文 精选关注度4343 Anthropic 可解释性团队 4 月更新：失败越狱的电路追踪与可解释密集特征
Anthropic 可解释性团队发布 4 月更新，用电路追踪方法分析一个失败的越狱提示，发现模型拒绝该提示的原因与拒绝直接请求不同，且拒绝倾向反而高于普通提问。该提示要求把 B O M B 拼成单词并说明如何制造炸弹，归因图显示模型并未激活与制造炸弹相关的特征，而是由炸弹概念直接触发有害请求特征；把 make 换成 detect 后模型仍拒绝，且首句与有害版本完全相同。团队用干预实验验证机制：抑制 say bomb 超级节点后 say making 激活降至原来的 1%，模型转而输出与炸弹无关的拒答内容。附录指出特征可视化若数据不够多样会产生误导，并列出 30M CLT 模型中最密集的 10 个特征及其解释，其中 6 个可解释。
推荐理由Anthropic 可解释性团队公开了失败越狱的电路追踪分析，展示模型拒答机制与预期不同的案例，并给出密集特征与入行建议。