在同一数据上训练的稀疏自编码器学到不同特征

同一模型与同一数据上，只改初始化种子，SAE会不会得到同一组特征。

• 场景：作者指出，一些研究者希望SAE能识别并枚举模型中的全部特征（Elhage et al., 2022），从而检查「模型永不说谎」一类安全性质（Olah, 2023）。作者认为，这预设存在唯一、客观的特征分解，且SAE能找出该分解（Smith, 2024）。
• 已有工具：单个神经元会在语义多样的上下文中激活，即多义性（Arora et al., 2018; Elhage et al., 2022）。SAE用编码器把激活映到稀疏高维latent，再用解码器投回原空间，联合训练以降低重建误差；Gao et al. (2024)与Templeton et al. (2024)已把SAE扩到GPT-4和Claude 3 Sonnet。
• 比较障碍：latent没有固有顺序。置换编码器行并用逆置换重排解码器列后，两个SAE表示同一函数。作者因此用匈牙利算法做最优双射匹配，而不是直接比权重。
• 本文测量：作者称该现象出现在多个层、三个LLM、两个数据集和数种架构上。作者认为，SAE特征集应看成激活空间的实用分解，而不是模型「真正使用」的穷尽、普遍清单。正文点名Pythia 160M、GPT2、SmolLM与Llama 3 8B；第二个数据集的名称未写出。

按引言和Related Work，作者把相关工作放在特征枚举的预设、特征非原子性，以及不同架构的种子稳定性上。

特征枚举与多义性

• SAE：Cunningham et al. (2023)用SAE把激活分解成可解释特征。Bricken et al. (2023)把解码器向量约束为单位范数。Gao et al. (2024)与Templeton et al. (2024)把SAE扩到GPT-4和Claude 3 Sonnet。
• 预设：Elhage et al. (2022)希望识别并枚举全部特征；Olah (2023)讨论检查「模型永不说谎」。Smith (2024)讨论强特征假说可能错误。作者把这些说法当作待检验的预设。

特征不是原子

• 分裂与吸收：Anonymous (2024)用meta SAE把特征再分成更具体的特征；小SAE的一个特征在大SAE中可能对应多个更具体特征。Chanin et al. (2024)描述吸收：一般特征与具体特征并存时，一般特征可能在两者都适用处不激活。
• 层级与非线性：Ayonrinde et al. (2024)质疑扁平SAE能否容纳概念层级。Engels et al. (2024)提出存在不可约非线性特征。作者认为，若如此，不同初始化可能把非线性特征线性化成不同方式。

种子稳定性

• 架构：Anonymous (2024)与Braun et al. (2024)发现，L1惩罚的ReLU SAE在不同种子下稳定。Marks et al. (2024)训练两个种子并强制对齐来改进TopK；作者认为这暗示TopK默认未必对齐。Karvonen et al. (2024)报告JumpReLU与TopK的特征分裂率高于ReLU。
• 跨层匹配：Balagansky et al. (2024)用匈牙利算法对齐Gemma 2相邻层SAE（Lieberum et al., 2024）。作者称，经个人交流，Gemma Scope的每个SAE用了同一随机种子，其正结果很可能依赖这一选择。

本文对照

• 基线与数据：对照为TopK、Gated（Rajamanoharan et al., 2024）和标准ReLU（L1），以及匈牙利匹配与最大余弦相似度（Braun et al., 2024的做法）。正文点名的训练数据是the Pile。

作者把本文定位为：数据与顺序相同、只改种子时，测量特征集合是否重合，并报告TopK比L1的ReLU更依赖种子。

作者用匈牙利算法把仅种子不同的SAE latent做成双射，再按编码器与解码器的余弦相似度区分共享特征与孤儿特征。

比较什么

• 训练差异：同一模型、同一数据、同一顺序，只改变初始化权重的随机种子。
• 置换对称：latent无固有顺序。随机置换编码器矩阵的行，并用逆置换重排解码器列，得到的SAE表示同一函数。脚注写，逐元非线性的MLP一般也有此对称；ReLU另有连续缩放对称，标准配方用单位范数解码器向量去掉它。
• 两种方向：分别计算编码器向量之间、解码器向量之间的余弦相似度。作者报告二者经验上强相关。Figure 1按两次匹配是否指向同一对应项着色。

匹配与共享

• 对齐分数：匈牙利算法求出使匹配后平均余弦相似度最大的双射。第3节把该平均值称为overall alignment score。若一个SAE只是另一个的特征置换，该匹配应判为同一组特征。
• 共享定义：编码器匹配与解码器匹配指向同一个对应latent，且两次余弦相似度都达到0.7。Figure 2图注写的是大于0.7。不满足者为孤儿特征。
• 最大余弦相似度：对每个特征取它与另一SAE全部特征的最大余弦，再平均；不保证双射。作者后文主要用匈牙利匹配，附录再与该指标对比。

训练与消融

• Pythia主设置：sae库，第六层MLP。宽度在Figure 1为32K，附录A3为32768。数据为the Pile前8B token，两种子看到的数据与顺序相同。
• 种子与超参：先比两个种子，再加到九个。消融包括激活latent数k、总latent数、训练token数，以及TopK、Gated、ReLU。
• 跨模型：Figure 5比较expansion factor同为36、但模型与位置不同的SAE，另有GPT2上的激活函数与架构比较。图注有两处都写成右侧。

解释质量

• 评分：对两个种子的全部latent使用Paulo et al. (2024)的自动解释与detection scoring，分数在0到1。第5节未再次点名模型。
• 样本：每条解释在100条激活序列和100条非激活序列上评估。论文未报告生成解释的模型。
• Table 1：从5个对齐箱挑选配对。相似度大于0.7时最大化两边分数；小于0.7时最大化seed 1分数、最小化seed 2分数。

实验设置

• 模型：Pythia 160M、GPT2、SmolLM、Llama 3 8B。SAE训在这些模型的激活上。正文未给SmolLM的参数规模。
• 数据与位置：Pythia主实验是第六层MLP、the Pile前8B token。摘要写两个数据集，正文只点名the Pile。比较还包括MLP与residual stream，以及层位置。
• SAE变体：Figure 1的一对为32K latent；附录A3写32768。Llama 3 8B的例子是前馈网络上131K latent。消融改变总latent数、TopK的k、训练token数，以及Gated、标准ReLU（L1）。跨模型比较的expansion factor为36。
• 种子：第3节为两个种子。第4节共九个种子，两两匈牙利匹配36次。
• 指标：匹配后平均余弦相似度；共享比例。第3节要求余弦相似度达到0.7且两边匹配一致。激活次数在the Pile的10M token上统计。
• 解释评分：Paulo et al. (2024)的detection score，每条解释用100条激活序列和100条非激活序列。论文未报告解释模型与重复次数。

主结果

条件	数值	出处
Pythia 160M，第六层MLP，32K latent，两种子	共享42%	第3节；Figure 1为该对
Llama 3 8B，前馈网络，131K latent	跨种子共享30%	摘要与引言
第4节的九个Pythia SAE，k=9	只在一个SAE中约35%	Figure 2

• 作者解读：第3节写，若每个latent对应一个学到的特征，则接近60%可以依赖种子。这句对应Pythia两种子，不是表中Llama那一行。GPT2与SmolLM没有给出共享百分比。
• 两种匹配：作者称编码器与解码器余弦相似度强相关。Figure 1里，两边匹配不一致的点通常两边都低，一致的点更高。作者称，定性上共享特征的上下文与解释相近，孤儿特征通常语义无关。
• 规模：作者称更小的模型、以及同一模型上更小的SAE，共享比例倾向更高；随规模增大，SAE似乎发散而不是收敛。

种子数与激活频率

• 测了什么：对每个k枚举组合并轮流取base SAE，把在其余k−1次匹配里都是孤儿的latent计为只在base中。Figure 3固定Seed 1，按8次匹配中被判共享的次数着色，对照其激活频率。
• 结果：只在一个SAE中的latent比例随种子数上升而下降，下降慢。作者称带偏移的幂律比不带偏移拟合得更好。激活最多的latent与全部八个其他SAE共享；激活最少的与任何一个都不共享。
• 例外：作者称仍有不少孤儿latent，平均激活率高于与全部SAE都共享的latent。平均对齐升高时，激活频率看起来下降。

孤儿特征的解释分数

• 测了什么：第5节对两个种子的32K latent SAE生成全部解释，该节未再次点名模型。Figure 6按该latent能在多少个SAE中找到来条件化分数；右侧比较5k条匹配解释。
• 结果：平均分为0.72；25%的解释低于0.62，25%高于0.8。共享种子数越多，平均分越高。Table 1中，对齐0.10、0.27、0.44的seed 1分数为0.865、0.91、0.85，seed 2为0.56、0.46、0.49；对齐0.75与0.97时两边为0.95/0.97和0.94/0.99。
• 作者解读：只出现在一个SAE的latent仍有高分例子。作者认为单次训练可能漏掉可解释特征。Figure 6：低对齐latent多数要么分数低，要么只在一个SAE上更高。Table 1的配对是按箱挑选的，不是随机样本。

架构、层与吸收

• 测了什么：Figure 4在Pythia 160M第六层MLP上改变latent总数、k和训练时长；除非另标，默认宽度与Figure 1的32K相同，数据为Pile前8B token。Figure 5比较层、latent数、expansion factor 36下的模型与位置，以及GPT2的激活函数与架构。
• 结果：作者称latent越多、k越大，重叠越低；训练越久，重叠越高。中层重叠几乎不变，更早层和最后一层更低。SmolLM与GPT2上MLP的种子重叠高于residual stream，Pythia不是这样。L1的标准SAE与Gated重叠更大。作者称Llama 8B SAE的latent更多、expansion factor相同，重叠低得多。这些面板没有给出具体百分比。
• 吸收：作者认为种子依赖主要不是吸收，因为吸收会在稀疏度下降且训练更久时增加，而本文训练更久会提高重叠。作者称在所训MLP SAE上没有发现吸收证据，并称现有指标主要用在residual stream，可能不适合MLP。

其他消融与分析

• 附录A1：编码器与解码器下标相同的点平均对齐0.72，不同下标为0.33；共享比例随阈值变化，作者取0.7。用最大余弦相似度标注共享时，比例基本不变。
• Figure A2：多数latent的匈牙利匹配余弦与最大余弦相同；更高的最大余弦往往配到已经有配对的latent。
• Figure A3：平均匹配余弦与平均最大余弦趋势相近，后者略高。各面板默认32768 latent、Pythia 160M的MLP输出、8B token，除非该面板改其中一项。
• 作者引用的先前GPT2结果是种子间共享超过90%，并称那些SAE的latent更少且用ReLU而非TopK。该90%不是本文测量。

作者指出的局限与后续方向

论文未专门讨论局限。没有Limitations或Future Work小节。结论把非普遍性归于SAE损失非凸、存在多个局部最优，并认为特征发现最好看成逐级切分激活空间的组合问题。这是作者的结论，不是列出的后续实验。影响声明只说目标是推进机制可解释性，并称没有必须单独强调的社会后果。

实验覆盖范围

• 模型为Pythia 160M、GPT2、SmolLM、Llama 3 8B。Llama 3 8B的30%来自前馈网络上131K latent的跨种子比较。
• 架构包括TopK、Gated和带L1的标准ReLU；位置包括MLP与residual stream。Pythia主实验是第六层MLP、the Pile前8B token。
• 渐近实验有9个种子。解释评估覆盖两个种子的全部latent，每条解释用100条激活序列和100条非激活序列。
• 共享判定见第3节：余弦相似度达到0.7，且编码器匹配与解码器匹配指向同一latent。Figure 2图注写大于0.7。
• 论文未报告解释生成模型，也未写出摘要所称第二个数据集的名称。作者讨论了特征吸收指标，并称它主要用在residual stream SAE上。

同一模型、同一数据上只改初始化种子，SAE学到的特征集合并不相同。作者用这组实验检验「SAE能找出唯一、客观的特征分解」这一预设。

• 做法：匈牙利算法在latent间做双射，最大化匹配后的平均余弦相似度。共享要求编码器与解码器指向同一对应项，且余弦相似度都达到0.7。消融覆盖latent数、k、训练时长、层、TopK、Gated与ReLU，并用detection score看孤儿特征能否被解释。
• 重叠：Pythia 160M第六层MLP、32K latent、两种子的共享比例为42%。Llama 3 8B前馈网络、131K latent为30%。九个种子时，作者称只出现在一个SAE的latent约35%（Figure 2）。
• 解释与架构：第5节32K SAE解释的平均detection score为0.72，该节未再次点名模型。Table 1里三个低对齐例子的seed 1分数为0.865、0.91、0.85，但是按箱挑选的。作者称L1的ReLU与Gated比TopK更少依赖种子；训练更久重叠更高，latent更多或k更大则更低。
• 作者结论：作者认为该特征集是激活空间的实用分解，不是模型真正使用的穷尽清单。不同局部最优的重叠比事先可能预期的更少；随规模增大，SAE似乎发散而不是收敛。作者认为特征发现最好看成可以再切分的组合问题。