参数空间中的可解释性：用基于归因的参数分解最小化机制描述长度

如何把神经网络参数分解成对应底层机制、且描述长度短的分量。

• 场景：作者称机制可解释性要理解内部机制，以提高日益强大的 AI 系统的可信度；最终目标是把参数映射到人类可理解的算法。机制一般不整齐对应单个神经元、注意力头或层。
• 现有不足：作者称稀疏字典学习把各层激活分成稀疏激活的潜方向，再试图构成电路；但作者列举它并非规范分析单元、重建误差大、稀疏性在极限下未必是可解释性的合理代理，且特征几何仍未解释。
• 假设：作者由最小描述长度原则提出三项性质：分量和等于原参数（忠实）、训练分布上用尽可能少的分量复现行为（最少）、每个分量涉及尽可能少的计算（简单）。作者还认为，任一输入不必同时用到全部机制，沿未使用方向把参数消到零不应改变输出。
• 方法：作者提出 Attribution-based Parameter Decomposition（APD），把任意网络的参数向量分成满足这三项性质的参数分量，并在有地面真值机制的 toy 设定中检验。

作者把 APD 放在稀疏字典学习、掩码与剪枝、电路发现和直接解释参数几条线旁边，只在论文写明差别时对比。

稀疏字典学习

• SAE（Lee et al., 2007; Yun et al., 2021; Sharkey et al., 2022; Cunningham et al., 2023; Bricken et al., 2023）——在激活空间找稀疏激活的过完备方向。论文指出 APD 找的是参数空间中被稀疏使用的向量，且不预期构成参数空间的过完备基，因为机制数上界是参数量。
• Crosscoder（Lindsay et al., 2024; Yun et al., 2021）——同时重建多层激活，以识别跨层表示。论文说它们分解的是机制产生的激活，并不直接分解机制本身。
• 端到端 SAE（Braun et al., 2024）——让尽可能少的潜方向重建输出和隐藏激活。论文将其与 APD 的最少性要求相对照。

Transcoder 与掩码

• Transcoder（Dunefsky et al., 2024; Mathwin et al., 2024; Wynroe and Sharkey, 2024）——由层输入重建层输出，也可视为分解该层变换。论文指出其激活由前向阈值决定，APD 是否使用分量由下游归因决定；有限字典下 transcoder 有不可消除的重建误差，APD 则不必为注意力块、RNN、卷积或状态空间模型单独改写。
• 梯度剪枝与 [0,1] 掩码（Mozer and Smolensky, 1988; LeCun et al., 1989 及后续工作）——用梯度或二阶近似识别相关单元或参数。论文指出取值限于 [0,1] 的掩码会优先对齐神经元基或参数基，APD 的隐式掩码可落在该区间外。
• Csordás et al. (2021)——学习可微二值权重掩码以分离特定功能，但需要任务分布数据集。论文说 APD 对任意数据点优化描述长度，无监督地决定哪些分量被使用。

电路发现与参数分解

• 电路发现与归因补丁（Chan et al., 2022; Wang et al., 2022; Conmy et al., 2024; Nanda, 2022a; Syed et al., 2023; Kramár et al., 2024）——对激活做干预或近似，寻找足以完成特定任务的简单电路。论文说它们通常预设神经元、MLP 或注意力头，并用节点或边数衡量复杂度；APD 在参数空间学习分量，用秩的近似衡量复杂度。
• SVD 与 NMF（Millidge and Black, 2022; Meller and Berkouk, 2023; Voss et al., 2021; Petrov et al., 2021）——直接分解权重。论文指出 SVD 不能识别叠加中的机制且限于单层；Section 3.1 称这类分解至多得到 rank(W)=min(m1,m2) 个分量，原则上分不出地面真值机制。
• Quanta、MoE 与损失景观（Michaud et al., 2024; Jacobs et al., 1991; Fedus et al., 2022; Li et al., 2018）——Michaud 等聚类损失对参数的梯度以找不可分模块；Li 等用固定随机基的线性组合参数化网络，只训练系数；MoE 每次前向只用一部分专家，但通常有门控且专家在单层。论文说聚类梯度并不分解梯度，APD 则训练可跨层的基，并用归因而不是门控判断活跃分量。

基线与数据集：定量几何对照只在 Toy Model of Superposition 上，概念对照是 SVD 与 NMF。压缩计算实验的参照是“每个输入特征一个单义神经元”，Figure 8 以灰线标出其损失，正文未给出该数值。作者把 APD 定位为线性参数分解的一个实例，用来直接优化忠实、最少和简单。

APD 把目标参数写成若干参数分量之和，并同时优化忠实、最少和简单。作者把它看作线性参数分解（Linear Parameter Decomposition）的一个实例。

机制空间与分解要求

• 参数空间：作者把机制定义成参数空间中的向量。该空间含“做完全部计算”的原参数向量和“什么都不做”的零向量，也能表示跨神经元、跨头、跨层、叠加和多维计算。
• LPD 条件：分量和应等于原参数。对任一输入，只保留少数被使用的分量后，输出应近似不变。更严的版本要求沿任意单调消融曲线、以任意组合部分消融后输出仍近似不变，用来排除分量互相抵消的病态解。
• 归因近似：直接检查全部消融组合不可行。APD 用梯度归因估计每个分量对输出的因果重要性。作者称该一阶近似常可用，但饱和 softmax 等情形会失效。

三项损失

忠实损失让分量和接近原参数：L_faithfulness=MSE(θ^∗,∑_cP_c)。最少损失只用高归因分量合成的参数 κ(x) 做前向，并让输出接近目标网络：L_minimality=D(f_θ^∗(x),f_κ(x)(x))。D 可以是 MSE 或 KL。

• 简单性：对活跃分量各层权重矩阵的奇异值加 Lp 惩罚，即 Schatten-p 范数，用来近似惩罚多余的秩和层。实现时把矩阵写成向量外积之和，避免每步完整 SVD。正文讨论的 p 属于 (0,1)；附录 D 的运行取 0.9 或 1。
• 理想描述长度：附录 A 把理想损失写成每数据点的描述长度，含归因的 L0 与分量秩。二者不可微，实验改用 top-k 代理。另有对归因加 Lp 惩罚的版本；作者称早期探索不如 top-k，原因未知，未充分探索。
• 分辨率：理想损失中的系数决定低秩分量多常共同激活才合并。作者称该系数趋于无穷时分量都是秩 1，取 0 时全部分量合并回原参数。实验并未直接优化这个理想损失。

每个 batch 的两步

1. 归因：用目标模型做一次前向，再对每个输出维做一次反向，得到各分量的归因 Ac(x)。作者提到将来或可用随机源减少反向次数。
2. 稀疏前向：在一个 batch 上取归因最高的分量（batch top-k），相加得到新参数，训练它们复现该批数据上的目标输出，从而提高这些分量的归因。

• 隐藏激活：有时也匹配部分隐藏激活，否则不同计算可能得到相同输出。作者称计算叠加理论预期未使用分量会在非线性前留下噪声，故不应处处匹配；如何取得平衡仍是开放问题。压缩计算实验匹配的是 MLP 非线性之后的激活。

不分解的部分

• 偏置：当前不分解，当作每个输入都活跃的一个分量。作者称偏置可折进权重矩阵的额外一列，留待后续。
• 嵌入：压缩计算与跨层实验只分解 MLP 权重，不分解嵌入、反嵌入和偏置。嵌入是固定的随机单位行向量，反嵌入为其转置；作者称这样便于计算单义基线并简化训练。
• 死亡分量：一些分量在训练后无法被任何训练输入激活。因此分量数设得多于期望机制数。

作者在三个有地面真值的 toy 网络和附录中的手写网络上运行 APD；带均值和标准差的几何指标只出现在 Table 1。

实验设置

• 目标网络：TMS，形式为 x̂=ReLU(W 转置 W x+b)；1 层残差 MLP（压缩计算）；2 层残差 MLP（跨层分布表示）；附录 B 的手写门控三角函数网络。目标网络用 AdamW，APD 用 Adam。没有单独的评审模型。
• TMS：输入特征取值均匀分布于 [0,1]，每个特征以概率 0.05 激活。TMS5-2 为 5 个特征、隐藏维 2；TMS40-10 为 40 个特征、隐藏维 10。地面真值是只在第 c 列非零、且该列等于 W 的对应列的秩 1 矩阵，它们的和为 W。
• 压缩计算与跨层：100 个输入，xi 在 [-1,1]，激活概率 0.01；标签为 yi=xi+ReLU(xi)。残差流宽 1000，MLP 共 50 个神经元；2 层设定每层 25 个。作者称要计算的非线性函数多于神经元数。
• APD 规模：TMS5-2 训练 20k 步、batch 2048、batch top-k=0.211（每 batch 432 个分量活跃），损失系数 1/1/0.7，且归因取自 APD 模型而非目标模型。TMS40-10 用 50 个分量、batch top-k=1、系数 1/10/20。1 层从 130 个分量训练 40k 步，2 层从 200 个分量训练 10k 步，二者 batch top-k=1.28。其余见附录 D。
• 指标：MMCS 看每个目标列是否有一个几乎同向的分量列；ML2R 看这些列的欧氏范数比。压缩计算用神经元贡献和相对目标输出的 MSE。Table 1 给了标准差，论文未说明独立运行次数。
• 判定：成功与否由作者对照地面真值机制、贡献图和擦除后的输出判断，不是由另一个模型打分。

主结果

设定	MMCS	ML2R
TMS5-2	0.998 ± 0.000	0.893 ± 0.004
TMS40-10	0.996 ± 0.003	0.935 ± 0.001

据 Table 1。压缩计算与跨层设定未报告 MMCS、ML2R。TMS5-2 这一行使用的归因来自 APD 模型。

• 方向与幅度：作者称两个设定的 MMCS 都接近 1，即每个目标列都有几乎同向的分量列；ML2R 低于 1，作者称为 shrinkage。作者推测它来自 top-k 重建与 Schatten 惩罚的权衡；就 TMS 而言，作者怀疑与特征干扰造成的输出噪声有关。
• 例外：作者称 TMS5-2 训练更脆，本节结果依赖改用 APD 模型的归因，而该调整在其他设定中并无益处。作者认为这与二维空间中干扰噪声大有关。Figure 3 的文字说明分量和等于目标 W，每个分量对应一个特征。
• 与矩阵分解的差别：作者称 SVD 或 NMF 至多得到 min(m1,m2) 个分量，原则上不能分出这些地面真值。作者还称秩 1 机制可写成左右奇异向量的外积，左奇异向量给出瓶颈激活空间的过完备基。

压缩计算与擦除

• 测了什么：50 个神经元计算 100 个函数。作者称各参数分量实现某一个输入维上的 yi=xi+ReLU(xi)。Figure 6 比较前 10 个特征的神经元贡献；作者称每个特征有一个使用相同神经元的对应分量。完全一致不被期望，因为目标模型的贡献含其他机制的干扰。
• 擦除：Figure 7 对 one-hot 输入 x42=1 做 10k 次前向，每次消融一半分量。作者称保留对应分量的 scrubbed 运行只轻微改变输出，目标输出与 APD 的 top-k 输出几乎相同；消融负责分量的 anti-scrubbed 运行则使 MSE 上升。Figure 8 注记消融的是 50 个分量，灰线为单义神经元基线。正文未给出直方图均值。
• 负面：作者报告部分分量还部分表示次要特征，使两类擦除的损失呈双峰。作者称 batch top-k=1.28 会使一些 batch 激活多于活跃特征数的分量，从而把一个特征的计算分散到多个分量，并造成 shrinkage。作者称未能确证该任务对输入稀疏性的依赖是否弱于 computation in superposition。

跨层表示与手写网络

• 2 层：Figure 10 比较前 10 个特征；神经元 0–24 在第一层，25–49 在第二层。作者称分量使用两层中贡献大的神经元，并对应单个输入特征，但比 1 层有更多不完美，尤其更多分量表示两个特征。附录 C.3、C.4 称两套模型的行为与 1 层情形接近。
• 手写模型：附录 B 用 n=4 个分段三角函数，各用 m=10 个神经元，控制位以概率 0.05 取 1。作者称 top-k 前向与手写网络几乎重合（Figure 12），但训练困难，超参数小改动会造成大偏离，图 13 是挑选的例子。作者报告仍有目标网络中不存在的非零权重，且部分输出权重被吸进其他分量；作者猜测可能因为网络是手写的，或简单性损失并不完全与层无关。
• 目标网络本身：附录 C.1 写，1 层目标模型在 x42=1 时对应输出约 1.6，标签为 2.0，其余输出接近 1.0，噪声主要来自 MLP 项。作者称 d_resid=1000 时目标网络优于朴素单义基线，正文未给损失差。

其他消融与分析

• batch top-k 从 1.28 降到 1：只激活一个分量时，高 MSE 的输入特征减少，但更多分量完整表示两个特征（附录 C.2、C.4）；正文未给具体 MSE。
• 2 层且每层强制秩 1：作者称既不能用一个分量完整表示多个特征，batch top-k=1.28 也几乎消除跨分量的部分表示（附录 C.4）；未给 MSE。
• 对归因加 Lp 惩罚的 APD：作者称早期探索不如 top-k，原因未知（附录 A.2.3）；无对照数字。
• 1 层用 130 个、2 层用 200 个分量，是为了抵消训练中死亡的分量，以便覆盖 100 个特征。

作者把效率、超参数和归因列为把 APD 用到真实模型之前要处理的问题。

作者指出的局限与后续方向

• 计算成本（Section 4.2.1、Conclusion）：作者称开发时优先概念而非效率；每个分量的内存成本与目标网络相近，最坏情形大约按 O(N^2) 增长，N 为原模型参数量。作者称目前只适合研究 toy 模型。
• 超参数（Section 4.2.2）：作者称找到正确解往往需要大量调参，并列为后续优先事项。作者称更大的 toy 模型上这类问题较少，并认为小维度中的干扰噪声可能加剧了敏感性。
• 归因（Section 4.2.3）：当前是梯度归因，只是因果消融的一阶近似。作者称参数梯度变小（例如饱和 softmax）时不可靠，并提到 integrated gradients、为每个数据点学习掩码或其他归因方法作为可能替代。
• 层仍被优先（Section 4.2.4）：简单性惩罚矩阵的秩，而秩必须相对层定义。作者称同一计算若跨层叠加，可能被赋予更高的秩，因此跨很多层的分量可能比跨较少层的更难找到。
• 未完成的分解与概念（Section 2.2、3.2、4.1、Appendix A.2.2）：偏置留待后续；压缩计算与 computation in superposition 的区别作者未能确证，留待后续；多维机制的识别留待后续；隐藏激活应在何处重建，作者称仍是开放问题。
• 两条路径（Section 4.2）：一是做更稳健、可扩展的类 APD 方法；二是用这些原则设计内在更可分解的架构。作者称本文只展开第一条，第二条留待后续。若实用障碍被克服，作者还希望用于机制异常检测、按参数向量编辑或遗忘，以及比较记忆与泛化、噪声鲁棒性和不同架构的机制。

实验覆盖范围

• 被分解的网络是 Section 3 的 TMS5-2、TMS40-10、1 层与 2 层残差 MLP，以及附录 B 中 n=4 的手写门控函数模型。
• 压缩计算与跨层实验只分解 MLP 权重；嵌入、反嵌入和偏置不在分解之内。TMS 也不分解偏置，并把全部偏置当作始终活跃的一个分量。
• MMCS 与 ML2R 只在 TMS 的 Table 1 报告。压缩计算与跨层结果用神经元贡献图、MSE 直方图和擦除实验呈现，正文未给出这些直方图的均值。
• TMS5-2 的归因来自 APD 模型；作者称这一调整在其他设定中并无益处（Section 3.1）。
• Table 1 报告标准差，论文未说明独立运行次数。附录 B 的分解图是作者标明的挑选例子。

APD 是在参数空间而不是激活空间里分解神经网络机制的方法。

• 问题：作者认为机制通常不落在单个神经元、注意力头或层上。理想分解应同时忠实于原参数、在每个输入上只用少量分量，并且每个分量尽可能简单。
• 做法：把参数向量写成分量之和。忠实损失让和接近原参数；梯度归因后只保留 batch top-k 分量，使其复现输出；Schatten-p 范数惩罚活跃分量的秩。当前实现不分解偏置。
• TMS：Table 1 中，TMS5-2 的 MMCS 为 0.998±0.000、ML2R 为 0.893±0.004；TMS40-10 为 0.996±0.003 与 0.935±0.001。作者称方向接近地面真值列，但幅度有 shrinkage。5 特征、隐藏维 2 的结果使用了来自 APD 模型的归因。
• 另两个 toy 设定：50 个神经元、100 个函数时，作者称各分量对应单个输入特征的计算。消融无关分量对输出扰动小，消融负责分量则使 MSE 上升（Figure 7、8；正文无均值）。2 层设定定性相似，但更多分量表示两个特征。附录中的 4 函数手写网络也能被大约分解，不过作者标明例子是挑选的。
• 作者的结论：作者认为这种参数优先的分解，为识别叠加中的最小电路、给“特征”一个概念基础、理解特征几何，以及不随架构改写的分解提供了思路。作者同时称，在计算效率、超参数稳健性和更准确的归因改进之前，APD 还不适合真实模型。