SAEBench：面向语言模型可解释性的稀疏自编码器综合基准

缺少内部特征真值时，如何评测 SAE，而不只优化稀疏度与重建保真。

• 场景：SAE 用字典学习把语言模型激活分解成稀疏线性组合。作者认为理想单元应可解释、可独立组合，并忠实表示内部状态；但内部特征没有真值标签。
• 现有不足：近期工作改进了架构、激活函数和损失，评测却多看给定稀疏度下的重建。作者指出稀疏度作为代理有 Feature Absorption、独立 latent 被组合等问题，也可能漏掉高频不可解释 latent 或吸收加重。
• 观察：作者认为没有单一理想指标时，应按从业者关心的性质给出更细的图景。代理指标上的收益并不稳定变成实际表现。
• 本文做法：提出 SAEBench，用八项指标覆盖概念检测、可解释性、重建和特征解耦（含 unlearning），并训练、评测七种架构、超过 200 个 SAE，以比较架构、缩放和训练动态。

论文把相关工作分成 SAE 本身的改进，以及各自只看特定侧面的评测。

SAE 与训练改进

• 早期形式：Cunningham 等人（2023）与 Bricken 等人（2023）把 SAE 用作无监督工具，将激活分解成常常可解释的特征方向。基本形式是线性编码、ReLU 和线性解码，训练目标为重建误差加 L1。
• 后续改动：论文列举 Gated、Switch、TopK、BatchTopK、JumpReLU、ProLU、Feature Choice，以及 P-anneal、Matryoshka、Feature-Aligned。作者称其中多数改进是在优化给定稀疏度下的重建。Table 1 实际评测的是其中七种，不含 Switch、ProLU、Feature Choice 和 Feature-Aligned。
• 代理的已知问题：论文用 Chanin 等人（2024a）的 Feature Absorption，以及 Bussmann 等人（2024c）关于独立 latent 被组合的讨论，说明稀疏度代理的问题。

既有评测

• 自动可解释性：Paulo 等人（2024）与 Rajamanoharan 等人（2024b）用语言模型写特征描述并预测激活。论文称这种评测常常难以区分架构，并引用 Anthropic Interpretability Team（2024b）；该报告还发现多数变体表现相当，且优于标准 ReLU SAE。
• 稀疏探测与棋盘：Gao 等人（2024）对带标签概念做稀疏探测，并称其探针指标噪声较大。Karvonen 等人（2024）在有真值特征的棋盘模型上评 SAE；论文写其指标不能用于语言模型。
• 有监督字典：Makelov 等人（2024）针对 GPT-2-small 的 IOI 机制构造有监督字典再与无监督字典比较；论文写这需要任务特定知识，因而难扩展。Venhoff 等人（2024）的 SAGE 计算有监督特征字典，当作内部特征的近似真值。

基线与数据

• 基线方法：图中的 PCA 在 200M 激活上拟合，重建完美，但 L0 很高，作者称大约等于模型隐藏维度。稀疏探测还对照直接探测 K 个残差通道。附录 E 把 SAE 与 MLP 神经元、PCA 主成分和直接读取残差流放在 auto-interp 下比较。
• 数据集：训练与部分评测用 The Pile，核心重建用 OpenWebText。探针数据包括 Bias in Bios、Amazon Reviews、Europarl、GitHub、AG News。解耦与遗忘用 RAVEL、WMDP-bio、WikiText 和若干 MMLU 类别。

作者的定位是：现有基准各自提供特定侧面的信息，使许多人默认优化稀疏–保真，尽管该权衡有已知限制。SAEBench 要把重建、可解释性、概念检测和特征解耦放进同一套可复现流程。

作者不提出新的 SAE 训练算法，而是用 SAEBench 从四类能力评测已有 SAE：概念检测、可解释性、重建、特征解耦。八项指标由已有指标、改编指标和新指标组成。作者称若干任务上基线优于 SAE，仍保留这些任务以覆盖不同准则。

重建、可解释性与概念检测

• 训练目标与 Loss Recovered：标准 SAE 最小化重建误差与 L1，L = |x − x̂|₂² + λ |h|₁。保真用 Loss Recovered：(H^∗ − H₀)/(H_orig − H₀)。Horig 是原模型下一 token 交叉熵，H* 是用重建替换激活后的交叉熵，H0 是将该激活零消融后的交叉熵。稀疏度用 L0。作者把稀疏–保真曲线视为必要但不充分。
• Automated Interpretability：对抽中的 latent，语言模型先按激活样本写特征描述，再预测测试序列会否激活它，准确率即分数。裁判为 gpt4o-mini，每个 SAE 抽 1000 个非死 latent。测试集为 10 条随机序列、2 条最大激活、2 条重要性加权。论文引用 Paulo 等人（2024）称该设置下 LLM 判断与人工相关，本文未再测一致性。
• k-Sparse Probing：对指定概念，按正负样本平均激活差选 k 个 latent，再训逻辑回归。k∈{1, 2, 5}，分析聚焦 k=1。共 35 个一对其余任务，来自职业、情感、语言、编程语言和新闻主题等五个数据集。可用预计算激活完成。
• Feature Absorption：针对“A 蕴含 B”时，稀疏性激励 SAE 学“B except A”而非分开的 A 与 B。实现沿用首字母分类，扩展到所有层，并计入部分吸收和多个 latent 分担吸收。正文用 1 减吸收分数，越高越合意。

解耦指标

• RAVEL：把一个实体的 latent 值迁到另一个实体，看目标属性是否改变（Cause），以及其他属性是否少受影响（Isolation），二者平均为解耦分数。用 MDBM 而非线性探针选 latent，干预落在实体最后一个 token。实体类型为城市和诺贝尔奖得主。作者称加回重建误差会拉低分数，因此该项省略误差项。
• Unlearning：比较 WMDP-bio 语料与 WikiText 上的激活频率，丢掉 retain 集过密的 latent，再把 forget 集上最常激活的若干 latent 在激活时钳到负值。在 MMLU 准确率高于 0.99 的设置中，取最低的 WMDP-bio 准确率作为单项分数。只统计原模型在全部选项排列上都答对的题。MMLU 子集为美国高中历史、大学计算机、高中地理和人体老化。
• SCR 与 TPP：二者用零消融，不用转向。作者认为只有找齐表示某概念的 latent，零消融才能去掉该概念，因此比转向更强。SCR 从带虚假相关的线性探针出发，零消融少量 latent，看目标类别准确率是否上升；虚假相关在 Bias in Bios 中是性别，在 Amazon Reviews 中是情感。TPP 扩到多类：消融一类相关 latent 后，主要应降低该类探针、少影响其他类。主结果用消融集大小 20，并扫 k∈{5, 10, 20, 50, 100, 500}。

训练与比较约定

• 对齐训练：每种层、宽度、架构以 L0∈{20, 40, 80, 160, 320, 640} 为目标。靠惩罚系数控制稀疏度的架构不能精确设定 L0。激活先按均方范数归一化，训练后把常数折进权重。解码器初始化为编码器转置，训练中不绑定。缓冲区 250,000 条激活，半空时补充。
• 固定超参：The Pile，500M token，学习率 3e-4，batch 2048，上下文 1024，同一数据顺序。评测时遮住 BOS、EOS 和 PAD。
• 使用建议：作者建议新方法在 L0∈[20, 200] 上训练多个 SAE，并跨稀疏度比较，以免收益只是稀疏度不同。本文实际评测宽于该区间，为 L0∈[20, 1000]。

实验设置

• 架构与宽度：Table 1 的七种 SAE：ReLU、MatryoshkaBatchTopK、TopK、BatchTopK、Gated、JumpReLU、P-Annealing。自训宽度 4k、16k、65k，目标 L0 为 20、40、80、160、320、640。正文主要讨论 65k、Gemma-2-2B，并称更小宽度趋势相似、大宽度差异更清楚。评测 L0 范围为 [20, 1000]。
• 模型：自训 SAE 用 Gemma-2-2B 第 12 层和 Pythia-160M 第 8 层残差流，The Pile，500M token。Gemma-Scope 宽度为 16k、65k、131k、1M，层为 Gemma-2-2B 的 5、12、19 和 Gemma-2-9B 的 9、20、31。附录 E 在 Pythia-1B 第 10 层比较完全训练与随机初始化，各训 100M token 的 16k TopK。
• 指标：Loss Recovered、Automated Interpretability、k-Sparse Probing（主分析 k=1）、Feature Absorption（呈现为 1−吸收分数）、RAVEL、Unlearning、SCR、TPP（主分析消融集大小 20）。
• 评审与样本：auto-interp 用 gpt4o-mini，每个 SAE 抽 1000 个非死 latent。稀疏探测 35 个二分类，每任务 4000 条训练、1000 条测试。RAVEL 的 MDBM 训练 7000 条、测试 3000 条。Loss Recovered 用 3200 条序列，稀疏度估计用 32000 条（Table 4）。论文未报告重复次数，也未报告本文裁判与人工的一致性。
• 对照：PCA 在 200M 激活上拟合。稀疏探测对照直接探测 K 个残差通道。作者称附录 D 中若干任务的基线优于 SAE，正文未给出这些对照的逐项分数。Table 2 写单个 SAE 全部评测平均 110 分钟、准备 152 分钟；正文另写约 65 分钟与 107 分钟，此处以表为准。

主结果

架构	L0<100 稀疏–保真排序	65k Gemma-2-2B 上论文点名的比较
BatchTopK	1（§4.1）	稀疏–保真高于 Matryoshka；其余分数未报告
TopK	2	稀疏–保真高于 Matryoshka；其余分数未报告
JumpReLU	3（正文写作 Jump）	未报告
Gated	4	Loss Recovered 高于 P-Annealing；吸收上较低
MatryoshkaBatchTopK	5	L0 40–200 时 5/8 项最高；点名 Absorption、RAVEL、Sparse Probing、SCR、TPP
P-Annealing	6	吸收上高于 Gated；分数未报告
ReLU	7	5/8 项差于其他架构；L0>200 的 1-sparse probing 最高；unlearning 相当

• 作者称 L0 40–200 时 Matryoshka 在 5/8 项最高，但稀疏–保真差于 TopK 与 BatchTopK；L0 超过 200 时，Matryoshka 常常不再更优（§4.1，Figure 2、Figure J）。
• L0 进入 [100, 500] 后，稀疏–保真上的架构差距缩小；作者称除 P-Annealing 与 ReLU 外大多接近。
• ReLU 的 Loss Recovered 最差。其他架构在吸收、SCR、RAVEL、TPP 上高于 ReLU。unlearning 上 ReLU 与其他架构相当，不是它领先的那一项。

宽度、稀疏度与训练

• 宽度：从 4k 到 65k，作者称 Automated Interpretability 与 Loss Recovered 总体上随字典变大而上升。除 Matryoshka 外，吸收随宽度变差，Matryoshka 只有轻微变差。固定干预预算下，多数架构的 SCR 随宽度下降，Matryoshka 大体上升（Figure 6）。Figure 3 对 L0 40–200 取平均，作者称该图主要用于看缩放，不宜直接比架构。作者在 §5 称，SCR 与 absorption 上层级架构高出其他方法 30-40%。
• 图注与正文：§4.2 称控制干预规模后，非层级架构在更大字典上 SCR 仍变差（Figure 7）。Figure 7 图注则写 ReLU 与 Matryoshka 的 SCR 随尺度改善，并称二者在 Figure 2 的绝对分数一低一高。
• L0 与检查点：作者称没有单一 L0 对所有任务最优。较低 L0 往往有利于可解释性，较高 L0 有利于重建、RAVEL、TPP 和降低吸收，中等 L0 有时在稀疏探测和 SCR 上最高。作者把 L0∈[50, 150] 视为多数指标的折中。16k TopK 与 ReLU 在 0、5M、15M、50M、150M、500M token 的检查点上，许多指标到 50M 已有大部分表现，之后仍缓慢改进（Figure G）。作者提醒少量定量改进也可能伴随较大定性变化。

Gemma-Scope、尺度与随机初始化

• Gemma-Scope：作者称 Loss Recovered 与 AutoInterp 随宽度改善；Feature Absorption、SCR、TPP 在更大宽度变差；Sparse Probing 在更后的层上升。Unlearning 在更早的层更好，且随层变化大；Gemma-2-2B 第 19 层和 Gemma-2-9B 第 31 层的分数接近 0，与宽度无关。正文写 Gemma-2-9B 宽度系列在层 9、20、31；图注中 Figure 15 与 Figure 16 都标为 layer 20，Figure 17 为 layer 31，未见标成 layer 9 的图注。
• 两个自训模型：Pythia-160M 与 Gemma-2-2B 的重建保真趋势一致，但 SCR、TPP、稀疏探测和吸收的模式差很多。作者称 Gemma-2-2B 上层级架构在 SCR 的优势，在 Pythia-160M 上没有出现，并将其归因于模型能力差异，认为拼写、职业、人口统计等概念在更小模型中很可能更弱。主比较因此放在 Gemma-2-2B。
• 随机初始化：附录 E 中，完全训练的 Pythia-1B 残差流探测准确率为 94%，随机初始化为 84%。训在完全训练模型上的 SAE，在稀疏探测和 SCR 上高于训在随机初始化模型上的 SAE；后者接近或差于直接探测残差流。Auto-interp 上前者略高。TPP 上随机初始化 SAE 更高；作者认为跨模型比较可能误导，因为随机模型上的探针起点更低。Figure 5 图注称 Gemma-Scope SAE 的 auto-interp 高于 MLP 神经元、PCA 和残差流，未给分数。

其他消融与分析

• 稀疏探测对架构、宽度和稀疏度的区分不大，分数落在窄区间；全部 SAE 都高于直接探测 K 个残差通道的 0.65（Gemma-2-2B 第 12 层）。
• TPP 与 RAVEL 偏向 L0>400，偏离常见的 20–200；SCR 没有这一模式。作者假设更高稀疏度使多个概念挤进更少活跃 latent。
• Appendix H：SCR 与 TPP 在 K 从 5 到 50 时架构相对差异保持，K=500 时该模式不再成立。稀疏探测的 K 从 1 增到 5 时，SAE 相对 PCA 的优势变大。
• RAVEL 若加回重建误差，作者称 Disentangle 经常大约降低 0.02，故省略误差项。MDAS/MDBM 天际线解耦分数为 0.87。
• 缩放实验固定训练步数而非计算预算，FLOPs 随字典大小成比例增加。作者假设特征分裂决定解耦指标上的缩放；这是假设，不是干预结果。
• Unlearning 受载体模型能力约束：Gemma-2-2B 只在一个已有测试集上有足够表现（§4.6）。

作者指出的局限与后续方向

• 真值范围：监督指标只能评测有可靠真值的概念，只代表模型所编码概念中的一小部分。作者称这不改变 auto-interp 和稀疏–保真，但监督指标只检查每个 SAE 的一部分 latent（§5）。
• 噪声与定性：作者称部分指标结果相对嘈杂；定量指标也可能捕不到研究者在人工查看 latent 时认为有价值的定性可解释性（§5）。
• 模型范围：评测覆盖特定模型，不能覆盖所有架构与规模。作者称 SAE 行为可能随规模、架构和层变化（§5）。
• 不能合成单分：不同用途会优先不同侧面，指标尺度和噪声也不同。作者称合成单一分数需要任意权重，可能掩盖权衡（§5）。
• Unlearning：有意义的测量要求模型有较强任务基线，Gemma-2-2B 只在一个已有测试集上达到足够表现。作者建议后续用更大模型，或构造更匹配模型能力的数据（§4.6）。
• 后续工作：扩展到更广的规模和架构，增加捕捉定性可解释性的指标，研究训练动态与下游表现的关系，并扩展到视觉或生物等模态。作者邀请社区按统一格式加入指标（§6）。

实验覆盖范围

• 自训并评测 Table 1 的七种架构，宽度 4k、16k、65k，载体为 Gemma-2-2B 第 12 层与 Pythia-160M 第 8 层，训练 500M token（§4、附录 B）。
• 另评 Gemma-Scope，宽度 16k、65k、131k、1M，层包括 Gemma-2-2B 的 5、12、19 与 Gemma-2-9B 的 9、20、31（附录 I）。
• 八项指标均有结果。auto-interp 使用 gpt4o-mini 和 1000 个非死 latent；稀疏探测为五个数据集上的 35 个二分类任务（附录 D）。
• 训练检查点为 16k TopK 与 ReLU，token 数为 0、5M、15M、50M、150M、500M（§4.4）。附录 E 另有 Pythia-1B 第 10 层、16k TopK、各 100M token 的随机初始化对照。
• 论文未报告统计检验、各指标重复次数，以及本文 LLM 裁判与人工判断的一致性；人工相关只引用 Paulo 等人（2024）。

SAEBench 用八项指标比较语言模型上的 SAE，而不是又一个只优化稀疏–保真的训练方法。

• 问题：内部特征没有真值时，重建误差和稀疏度不一定对应可解释性、概念是否分开，以及 unlearning 这类用途。
• 做法：概念检测看稀疏探测和特征吸收，可解释性用 gpt4o-mini 裁判，重建看 Loss Recovered，特征解耦看 RAVEL、Unlearning、SCR 和 TPP。后两项用零消融，而不是只转向少数 latent。
• 设置：七种架构自训于 Gemma-2-2B 第 12 层和 Pythia-160M 第 8 层，宽度 4k 到 65k；另评 Gemma-Scope，宽至 1M。
• 主比较：65k 宽 Gemma-2-2B、L0 40–200 时，作者称 Matryoshka 在 5/8 项领先，但稀疏–保真不如 TopK 与 BatchTopK；L0>200 时这一优势常常消失。ReLU 在 5/8 项上较差，却在 L0>200 的 1-sparse probing 上最高。
• 缩放：作者称非层级架构的解耦指标多随字典变宽变差，Matryoshka 则改善。中等 L0∈[50, 150] 被当作多数指标的折中。16k TopK 与 ReLU 的许多指标到 50M token 已有大部分表现。
• 作者结论：新架构应同时看下游任务和特征解耦，而不只看稀疏–保真。不同任务的最优稀疏度不同，各项指标也不宜合成一个分数。