MFR 正则化提升稀疏自编码器可解释性，GPT-2 Small 重建损失最多改善 21.21%

SAE可能学到不属于输入的特征，从而限制用它解释网络。

• 场景：可解释性要解释网络内部与输出的关系。作者称，概念若分散在许多单元，或许多概念挤在一个单元（feature superposition），把神经元或polytope直接对应到人可理解概念可能失败。
• 现有不足：在激活上训练的SAE，解码器可形成比神经元更易解释的特征字典。早期结果认为SAE仍会学到非输入特征：输入特征拆进多个解码权重，或多个特征合成进一个权重，甚至出现与输入空间不相容的特征。作者称，若拆分与合成很常见，研究SAE是否比直接看激活更有用并不显然；已有工作给出了反对“普遍如此”的证据，论文未复述该证据的数字。
• 假设：多个SAE都学到的特征，更可能是输入特征。作者称该关系在已知输入特征的合成数据上成立。
• 提出的方法：Mutual Feature Regularization（MFR）。并行训练SAE；TopK之后若不活跃特征过多则重初始化；另加辅助惩罚，鼓励各SAE学习相似特征。作者称由此避开输入空间外的特征，并改善关键评测，从而可能提高SAE对可解释性的用处。

稀疏表示与SAE

• Olshausen and Field (1996)做无监督稀疏表示。后续用于表示学习（Coates et al., 2011; Henaff et al., 2011）、去噪（Vincent et al., 2010; Duan et al., 2014）和异常检测（Sakurada and Yairi, 2014; Xu et al., 2015）。
• Makhzani and Frey (2013)提出k-sparse autoencoder。Gao et al. (2024)称TopK比L1更接近L0。Cunningham et al. (2024)用编码器转置作解码器。
• 引言把SAE字典学习（Bricken et al., 2023; Cunningham et al., 2024; Gao et al., 2024）放在神经元或polytope可视化（Erhan et al., 2009; Nguyen et al., 2016; Bau et al., 2017; Olah et al., 2018; Black et al., 2022）和叠加（Elhage et al., 2022）之后。

失败模式与评测代理

• Till (2024)、Huben (2024)、Anders et al. (2024)被作者用来说明SAE可能学到非输入特征，或在小玩具模型里找到合成特征。论文未逐篇展开这些工作的方法。
• 特征描述评测让人或语言模型根据token序列及激活写描述，再在未见token上比较预测激活与真实激活的Pearson相关（Bricken et al., 2023; Cunningham et al., 2024; Rajamanoharan et al., 2024b）。Huang et al. (2023)批评：描述准确也不一定忠实代表被解释的模型。
• 其他代理包括重构损失、L0、持续不活跃特征和loss recovered。Rajamanoharan et al. (2024a)、Gao et al. (2024)、Rajamanoharan et al. (2024b)里，重构损失改善曾伴随可解释性评测改善。作者同时称重构损失本身不够，因为恒等映射等解可能不保留输入特征结构。

多模型半监督与互学习

• Co-training用两个条件独立视图迭代提高分类器，并最大化一致（Blum and Mitchell, 1998; Zhou and Li, 2005; Nigam et al., 2000）。
• 深度互学习与co-teaching让并行学生模型最小化预测分歧（Zhang et al., 2017; Tarvainen and Valpola, 2017; Han et al., 2018; Ke et al., 2019; Wu and Xia, 2019）；同类还有机器翻译与图像识别中的双模型训练（Xia et al., 2016; Qiao et al., 2018）。
• Temporal ensembling跨epoch平均预测（Laine and Aila, 2016）。Fraternal dropout让并行模型对同一数据给出相似预测，用作防过拟合的正则（Żołna et al., 2017）。

基线与数据

• 基线方法：只最小化重构损失、稀疏只来自TopK的SAE。与MFR比较时架构和超参相同，不含MFR专有项。合成向量的构造遵循Sharkey et al. (2022)：维数小于所表示的特征数。
• 基准/数据集：合成数据集D；GPT-2 Small（Radford et al., 2019）第一层MLP激活；TUH EEG Corpus（Obeid and Picone, 2016）。loss recovered用OpenWebText，Table 2表题写OpenWebText2。第4.2节另引Qiu et al. (2018)、Li et al. (2022)作为SAE用于EEG去噪的先例，未与MFR做数值对比。

作者把本文放在多模型半监督学习之上，但称动机不同：那些方法常因训练数据不足，本文针对学到输入空间之外的特征。

并行训练多个TopK SAE，再用MFR的两项操作约束解码特征：不活跃特征过多则重初始化，以及用解码特征余弦相似度做辅助惩罚。作者的理由是，多个SAE共有的特征更可能属于输入。

SAE设定

• 重构为x̂ = W′σ(Wx+b)。W为编码器，W′为解码器，b为编码器偏置。本文只用TopK，并把解码器设为编码器权重的转置。作者援引Cunningham et al. (2024)，称这样把可训练参数减半，性能影响很小。
• TopK保留不低于第k大的隐藏激活，其余置0。k是活跃数上限。
• 输入特征被定义为输入数据所表示的原子、人可理解概念。作者关心的失败是：一个输入特征拆进多个解码列，或多个输入特征合成进一个解码列，以及与输入空间不相容的特征。

合成数据

• 每个x在d维中表示G个特征，G>d，用来模仿叠加。特征矩阵F的元素来自标准正态。特征j的抽样概率随下标按λ的j次方衰减，λ∈(0,1)。
• 特征分成E个等大组。每个样本先随机选一组，再在组内按概率选K个活跃特征；非零系数来自U(0,1)，x是对应列的线性组合，并引入组内相关。
• Section 3.2使用G=512、d=256、E=12、K=3、λ=0.99，以及100 million个不重复样本。同一节又称每样本有36个活跃特征，并把TopK的k设为36。论文未解释K=3与36如何同时成立。隐藏大小512，等于特征数。此处MFR并行两个SAE。

相似度分析与重初始化

• 对两个解码矩阵，先按余弦相似度最大配对，再用Hungarian算法做成一一对应；解码列与F的列也按最大余弦相似度配对。这是分析步骤，不是后面的惩罚。
• 作者要检验：跨SAE更相似的特征，是否也更接近F。并观察“跨SAE很相似但与F不相似”的一簇在TopK之后是否更不活跃。
• 若TopK后不活跃特征的度量超过阈值，就重初始化受影响SAE的权重。Figure 8的例子是：相对均匀激活频率k/N的偏差平均等于1。作者称换用其他衡量TopK后不活跃程度的度量并不改变性能，但未列出那些度量。

辅助惩罚

对N个SAE，损失中加入

\frac{\alpha}{\binom{N}{2}}\sum_{i=1}^{N-1}\sum_{j=i+1}^{N}(1-\mathrm{MMCS}(W^{(i)},W^{(j)}))

即解码矩阵两两越不相似，惩罚越大。MMCS定义为

MMCS(W⁽ⁱ⁾,W^(j))=1/(|W⁽ⁱ⁾|)∑_{wi∈ W⁽ⁱ⁾}max_{wj∈ W^(j)}CosineSim(w_i,w_j)

即W(i)每个特征与W(j)中最相似特征的余弦相似度之平均。该式只从一侧取最大，与Hungarian一一配对不是同一手续。

• α是惩罚权重。Figure 8设α=3。扩展实验把α设成使初始重构损失与该惩罚相当，并对惩罚做100 step余弦warmup。作者称warmup可避免训练早期特征过快变得相似，从而可以把α设到后期仍收敛、且不抬高重构损失。
• 扩展到GPT-2 Small与EEG时，惩罚同时作用在全部五个MFR SAE上。优化器、k和数据量见实验一节。

实验设置

• 被测模型：GPT-2 Small。SAE重建其第一层MLP输出；正文亦称layer 0 MLP。loss recovered把SAE输出插回该层，再测模型交叉熵。
• 合成数据：G=512、d=256、E=12、K=3、λ=0.99；正文同时称36个活跃特征，k=36。100 million个不重复样本。隐藏大小512。AdamW，学习率0.01，batch 10000。MFR并行2个SAE。40GB A100上约6分钟。基线只最小化重构损失。
• GPT-2：k取6、12、18、24、30，每个k一个基线SAE、一个MFR SAE。2,000,000 tokens，隐藏大小3072，batch 500，学习率0.001，AdamW。单张V100约2小时。α使初始重构损失与辅助惩罚相当，惩罚有100 step余弦warmup，并作用于全部5个MFR SAE。
• EEG：TUH EEG Corpus，向量化；低切0.5Hz、高切45Hz、滤波阶数5。k取12、24、36、48、60，每个k一个基线、一个MFR。3,500,000 tokens，隐藏大小4096，batch 1024，学习率0.001，AdamW。单张V100约1小时。α与warmup同GPT-2实验。
• 指标：重构损失是输入与输出的欧氏距离。loss recovered实验报告插入SAE后的交叉熵；未改GPT-2 Small为3.12，第一层MLP零消融为132.27。序列为随机10,000条：正文写OpenWebText（Gao et al., 2020），Table 2表题写OpenWebText2。合成数据还用对F的MMCS，以及跨SAE相似度与对F相似度的相关系数。
• 未写出的协议：论文未报告GPT-2与EEG的重复次数和统计检验，也没有Section 2.2所述人/语言模型特征描述评测的结果。

主结果

Table 1表题写reconstruction accuracy，数值与正文的重构损失一致（MFR更小时相对差为负）。下表重构损失来自Table 1，交叉熵来自Table 2。

表格较宽，可左右滑动

k	MFR重构损失	基线重构损失	MFR交叉熵	基线交叉熵
6	0.00132	0.00160	10.121	10.798
12	0.00121	0.00135	9.782	10.300
18	0.00116	0.00122	9.367	9.742
24	0.00114	0.00112	10.136	10.505
30	0.00114	0.00105	9.624	10.527

• 作者称k=6、12、18时MFR重构损失更低，k=24与k=30持平或更高。五个k平均降5.66%；最大降幅21.21%（k=6），最大升幅7.89%（k=30）。摘要的up to 21.21%与k=6一致。正文一处把后两个k写成24与32，表与前文列举为24与30。
• loss recovered上作者称五个k都更好：平均改进5.45%，最大8.58%（k=30），最小3.51%（k=24）。论文另给出未改模型交叉熵3.12、零消融132.27。
• 作者认为更低的loss recovered表示保留了更多输入信息；重构损失是否改善，取决于该SAE的k相对其他并行SAE的大小。

合成数据上的特征对齐

• 两个基线SAE：跨SAE相似度与对F相似度的相关系数为0.625（Figure 2）。条件重初始化后为0.668（Figure 3）。
• 作者描述有一簇跨SAE很相似、但与F不相似的特征，TopK后更不活跃（Figure 4）。多次运行中该簇大约15个或大约5个特征；作者称变化是二元的，并假设来自随机初始化，常可在前100步检出。运行次数未报告。
• Figure 8中MFR的α=3，不活跃阈值等于1。作者称MFR恢复更多F，且不再出现上述那一簇（Figure 5）。图中最终MMCS读数未在正文给出。Figure 7：仅重初始化与“惩罚+重初始化”在最后一步的重构损失相对差为2.4%；纵轴为对数，端点数值未给出，论文也未说明哪一条更低。

EEG重构与解码器距离

• Table 3：k=12，MFR 0.42、基线0.44（-4.76%）；k=24，0.30对0.32（-6.67%）；k=36，0.26对0.27（-3.85%）；k=48，均为0.23（+1.80%）；k=60，0.21对0.20（+4.04%）。作者称平均改进1.8%，最大改进6.67%，最大变差4.04%。摘要的EEG 6.67%与k=24一致。
• 作者假设EEG上收益小于GPT-2实验，是因为MFR针对训练数据中的特征叠加，而EEG没有Elhage et al. (2022)、Jermyn et al. (2022)那种叠加证据。这是假设，不是对照实验。
• Section 4.3：作者称MFR解码器的L2距离往往更大，但随k增大趋向更小；基线在较小k更近，随k增大趋向更远。比较对象被写成Section 10，论文没有第10节。Table 3表题还提到相对k=6解码器的L2，表内没有L2数字。Figure 10图注写reconstruction accuracy与loss recovered；转写文本中的轴名为L2 Distance from K=6 Decoder，横轴为K in TopK。曲线读数未列出。作者称在所训练的k上不认为这是问题，因为L2距离显示解码矩阵平均更不同，而不是更相同。

其他消融与分析

• 不活跃度量：作者称所试度量都不改变重初始化判定，无分项数字（Section 3.3）。
• α：合成数据Figure 8为3；GPT-2与EEG设为与初始重构损失相当，并有100 step warmup。无α扫描表。
• 重构损失相对差的符号在Table 1、Table 3中随k增大由负转正；论文未单独做k的机制实验。

作者指出的局限与后续方向

• 辅助惩罚要额外训练SAE，计算成本相对增加（Limitations）。
• 本文实验都能在单GPU上完成，作者称因此在本文中不成问题（Limitations）。
• 更大模型的SAE隐藏维可以很大；若许多层都要训练，该成本可能无法承受（Limitations）。
• 把无惩罚时所需的SAE数量乘以一个倍数是否划算，取决于实验规模（Limitations）。
• 作者仍认为该惩罚有价值，因为SAE的计算预算相对其被训练来解释的模型较小，并举GPT-2 Small可在单GPU或小集群上训练为例（Limitations）。
• 作者希望未来研究不增加计算、仍利用“跨SAE特征相似”与“和输入特征相似”之间正相关的互学习方法（Limitations）。这是期望，不是已完成的工作。

实验覆盖范围

• 合成实验使用Section 3的一组生成参数，MFR并行SAE数为2，隐藏大小512，k=36，样本100 million。多次运行的次数论文未报告。
• GPT-2 Small实验只用第一层MLP输出，k为6、12、18、24、30，每个k一个基线与一个MFR，训练2,000,000 tokens；loss recovered用10,000条序列（Section 4.1）。
• EEG实验使用TUH EEG Corpus，隐藏大小4096，k为12、24、36、48、60，训练3,500,000 tokens（Section 4.2）。
• 全部SAE使用TopK，解码器为编码器转置（Section 2.1）。Section 2.2讨论了人与语言模型的特征描述评测；第3、4节报告的是重构损失、loss recovered和对F的相似度，没有该评测的数字。
• 论文未报告GPT-2与EEG的重复次数、统计检验，以及α的搜索结果。

MFR是并行SAE的训练正则，用来多找回输入里的特征。

• 要处理的问题是：SAE可能把输入特征拆开或合成，甚至学到与输入不相容的方向，于是字典不一定对应被解释网络的激活。
• 方法是同时训练解码器为编码器转置的TopK SAE。不活跃特征过多就重初始化；损失中加入解码特征平均最大余弦相似度的惩罚，使多个SAE靠近共同特征。分析时的配对用Hungarian，惩罚本身不用。
• 合成数据上，跨SAE相似度与对已知特征矩阵F的相似度相关：基线为0.625，条件重初始化后为0.668。Figure 7中仅重初始化与加上惩罚，最后一步重构损失相对差2.4%，论文未说明哪一条更低。
• GPT-2 Small第一层MLP、2,000,000 tokens：k=6时重构损失0.00132对基线0.00160（相对-21.21%），五个k平均降5.66%；k=30相对升7.89%。插入SAE后的交叉熵，五个k平均改进5.45%，最大相对降幅8.58%（k=30，Table 2）。未改模型为3.12。
• TUH EEG上k=24的重构损失0.30对0.32（-6.67%），k=60为0.21对0.20。作者称MFR有助于避开输入空间外的特征并改善关键指标，从而可能提高可解释性用途；Limitations同时指出额外SAE的算力成本。