BeFOND 将稀疏自编码器的推断与学习统一为自然梯度流

当特征重叠或很少激活时，SAE难以同时推断哪些特征解释输入，并学到表示它们的词典。

• 场景：作者称SAE已成为解释神经网络表示、尤其是语言模型表示的重要途径；特征重叠或激活不频繁时，可靠恢复仍然困难。
• 现有不足：标准SAE用训练好的编码器做一次前向的摊销推断。作者称它难以拆开superposition中的重叠特征。Barin-Pacela等（2026）把瓶颈归于词典学习：换上迭代推断、词典不变，仍填不上恢复差距。训练时二者耦合，推断误差会进入词典的学习信号。
• 核心假设：推断改变近似后验，学习改变生成分布，二者都应是同一变分自由能上的自然梯度流，更新按Fisher信息度量分布变化。循环解释消去用于减轻重叠干扰；Fisher预条件用于抵消稀有特征的慢学习。
• 本文提出：把FOND从只规定推断扩展到学习，并实例化为无编码器的BeFOND（Bernoulli潜变量、因子化先验、线性高斯解码器），给出闭式推断与学习动力学，不沿推断轨迹反传。

作者按稀疏编码、摊销SAE、迭代推断，以及变分推断与自然梯度来讨论相关工作。

稀疏编码

• 经典词典学习：Olshausen与Field（1996；1997）、Lewicki与Sejnowski（2000）等用过完备词典的稀疏系数解释观测。作者称K>M时原子不能全部正交，重叠不可避免。
• 迭代稀疏编码：Rozell等（2008）的LCA、Gregor与LeCun（2010）的LISTA、Mairal等（2010）分别用侧向竞争、有限步近似或在线学习估计稀疏码与词典。

摊销SAE

• 一次前向编码器：ReLU（Bricken等，2023；Cunningham等，2024；Templeton等，2024）、JumpReLU（Rajamanoharan等，2024b）、gated（Rajamanoharan等，2024a）、TopK（Makhzani与Frey，2014；Gao等，2025）、BatchTopK（Bussmann等，2024）和Matryoshka BatchTopK（Bussmann等，2025）用编码器摊销推断。
• 作者的命题：Proposition 4.1称，原子既不正交也不平行时，固定投影加标量非线性不能对所有输入给出精确后验。作者点名ReLU、JumpReLU、共享权重gated，以及固定阈值的BatchTopK与Matryoshka；TopK不在此类。作者称该命题推广了O'Neill等（2025）。

迭代稀疏推断

• 残差与竞争：ISTA、FISTA和软阈值LCA优化带ℓ1的重构；matching pursuit贪心选择原子（Mallat与Zhang，1993）。MP-SAE（Costa等，2025）按残差选择；LocA-SAE用分组摊销编码器（Sun等，2026）。
• 作者引用的评测：Sun等（2026）称固定词典上再做ISTA时，重建上升但BatchTopK探测分数变化很小；Barin-Pacela等（2026）称FISTA填不上恢复差距。Chanin（2025）称Gemma-2-2B上MP-SAE重建更好，但稀疏探测低于所测前馈基线。作者称重建、探测和干预不必一起变好。

变分推断与自然梯度

• 几何优化：变分推断把后验变成优化（Jordan等，1999；Blei等，2017）。自然梯度用Fisher度量步长（Amari，1998；Martens，2020），并用于SVI、Bayesian learning rule和BONG。
• 与FOND的差别：Vafaii等（2025）的FOND只把推断写成自由能上的自然梯度流，学习仍沿推断轨迹反传。作者称Natural Reweighted Wake–Sleep（Várady等，2022）和Picozzi（2026）都保留学习到的编码器。

基线方法为BatchTopK、Matryoshka BatchTopK、JumpReLU（含Gemma Scope）、mean-field加Adam；合成实验另有Matching Pursuit与ReLU-L1。基准为SynthSAEBench与SAEBench（稀疏探测、RAVEL）。作者把本文定位为：把同一自然梯度原则延伸到词典学习，并用无编码器的闭式动力学实现，而不沿推断轨迹反传。

BeFOND把推断和学习都定义为同一变分自由能上的自然梯度流，从而扩展只规定推断的FOND。

统一目标

作者先选定生成模型与近似后验，再计算自由能F。FOND的规定是 u̇=−G_u⁻¹(u)∂ F/∂ u，θ̇=−G_θ⁻¹(θ)∂ F/∂θ。前者用变分后验的Fisher度量，后者用生成联合分布的Fisher度量。式(4)写明：固定观测和生成参数时，F的下降等于近似后验到模型后验的KL下降。

分布设定

• 解码器：p(x|z)=N(x; Φz, Σ)，Σ对角且为正；可选偏置时用x−b。
• 潜变量：z为K维伯努利。先验与变分后验都因子化，均值分别为π0=σ(u0)与r=σ(u)。生成参数为θ=(Φ, Σ, u0)。
• 自由能：重构用残差e=x−Φr，加上W=Φ^T Σ^{-1} Φ与后验方差C=diag[r⊙(1−r)]的迹项，以及权重β的先验KL。β=1时回到通常变分自由能。线性高斯下该期望可解析计算。
• 近似：作者称因子化伯努利不能表示重叠原子引起的全部后验依赖；优化可降低KL，但不消除这一间隙。

闭式动力学

• 推断：式(13)含前馈驱动、循环项−Wr、方差惩罚，以及拉向参考logits的泄漏β(u−u_ref)。W的非对角元使正相关特征互相抑制，即解释消去。
• 学习：后验固定后再更新。解码器流含(xr^T−ΦE)Ep^{-1}，用先验二阶矩Ep预条件；协方差流向期望平方残差；初始先验流向脱离后的后验均值。小批量先平均这些矩。
• 滚动参考：正文方程在推断时固定先验。实现把上一步后验复制为下一步先验（B.1.1），使输入特异的信念可以留下；β控制偏离该参考的阻力。

离散化

• 积分：推断用ETD1，学习用指数积分，解码器可用无矩阵的φ1作用，避免把线性松弛离散成不稳定的显式欧拉步（B.6，Alg. 1）。
• 训练步：每个优化步为小批量抽一个外层视野，只在最后一步更新解码器；统计量在学习时脱离，不沿推断轨迹反传。评测时重置初始先验，只做推断。

两个理论机制

• 单投影不够：Proposition 4.1称，对几乎所有K,M≥2的词典，不存在权重、偏置和标量函数，使每个特征的精确后验只依赖一个固定投影。作者称这覆盖ReLU、JumpReLU、共享权重gated和固定阈值的BatchTopK、Matryoshka；TopK除外。
• 稀有补偿：Theorem 4.2在单位协方差、小批量及其推断分布固定、且Ep=E正定时称：欧氏梯度带频率因子，自然梯度流去掉它，各方向在Δt上按e^{−ηΦ Δt}收缩误差；欧氏流最慢与最快方向的时间比至少为ρmax/ρmin。

实验设置

• 合成数据：SynthSAEBench。全宽为d=768、K=K⋆=16,384；叠加扫描固定K=4,096、K⋆=16,384，d从256到1,536。特征概率为指数0.5的Zipf，范围[0.0005, 0.4]。
• 语言模型激活：Gemma-2-2B的layer-12 residual stream，d=2,304，来自Pile Uncopyrighted；主比较用白化激活，白化统计在500M训练token上拟合。词典宽16,384到524,288。自训预算为50M token；Table 6对应49,999,872 token。Gemma Scope的16k checkpoint用4B token，32k–524k用8B token，并保留原预处理。
• 基线：BatchTopK、Matryoshka BatchTopK、JumpReLU、mean-field加Adam；合成实验另有Matching Pursuit与ReLU-L1。摊销基线的目标L0先在单独pilot上选择：探测列按平均top-1 accuracy，RAVEL列按平均disentanglement（Table 6脚注）。
• 指标：MCC为学到方向与真方向的平均相关；Macro F1按正余弦一对一匹配；Rare F1是最低频四分位特征的激活F1。死潜变量指在全部测试样本上都不活跃。稀疏探测在113个任务上对k=1或5个特征做L1逻辑回归，等权平均accuracy、ROC-AUC和F1。RAVEL的disentanglement是cause与isolation的均值。
• 判定与重复：论文写明的打分是逻辑回归和RAVEL分数，不是LLM裁判。合成测试在Fig 11中为1M留出样本、seed 49100。Gemma上BeFOND为3个训练种子，基线为5个；报告均值和样本标准差。评测时BeFOND用T=10，mean-field用T=20；伯努利活跃阈值为ri>0.5。
• BeFOND设定：Gemma全局批量4,096。16k–131k用β=1、ETD1的h=1.5；524k用β=1.5、h=∞。训练视野为截断指数分布，均值16、上限100。合成全宽配方β=1.6，测试推断200步（C.1、D.1）。

主结果

524k宽的特征质量（探测列与RAVEL列对摊销基线可能对应不同目标L0）：

Swipe horizontally to read the table

方法	k=1 Acc	RAVEL	Cause	Isolation
BeFOND	.789±.002	.827±.001	.800±.001	.854±.002
BatchTopK	.773±.004	.748±.004	.719±.010	.776±.010
Matryoshka BatchTopK	.774±.002	.743±.003	.708±.013	.778±.009
Mean-field + Adam	.751±.007	.685±.029	.622±.047	.748±.013
Gemma Scope JumpReLU（L0=227）	0.7735	0.7555	0.7330	0.7781

前四行据Table 6，为49,999,872个白化token。Gemma Scope据Table 9，为8B token、原预处理的单个checkpoint。

• 宽度：作者称从16k到524k，BeFOND的单特征准确率由0.771增至表中水平，RAVEL由0.786增至表中水平；BatchTopK与Matryoshka的单特征准确率作者称各约增加0.6个百分点，曲线大体进入平台（Figure 1b,d；Table 6）。
• 样本：作者称524k宽时约6M token即达到所比较Gemma Scope的单特征探测分数，相对其8B token超过1,000倍；到约50M token时作者称两项都超过这些checkpoint，token少160倍（Figure 1a）。二者预处理不同。
• 例外：Table 6里k=1 accuracy的均值在四个宽度上都是BeFOND最高，但k=1 AUC在16k、65k、131k上是BatchTopK更高（如16k为.798±.003对.781±.004）。16k与65k的k=5 accuracy也是BatchTopK更高（.814±.002、.814±.003对.812±.002）。作者称五特征差异更小，AUC与F1排序随宽度变化。

合成词典与稀有特征

• 全宽：d=768、K=K⋆=16,384，3个种子。Table 5均值：BeFOND的MCC为0.8980±0.0015，Macro F1为0.9702±0.0011，Rare F1为0.9519±0.0075，dead为0.33。
• 对照：同表Matching Pursuit的MCC为0.8132±0.0046、Rare F1为0.8240±0.0079、dead均值为2.00；mean-field的Rare F1为0.7257±0.0491。原始JumpReLU的Rare F1为0.1865±0.0084、dead均值为8092.00。作者称潜变量保持活跃并不足以准确恢复特征。
• 改配方：Table 5下块仅seed 0。JumpReLU+的MCC为0.8612，额外的BeFOND行为0.8974。作者称MinFire或重采样提高了基线，但BeFOND的三项恢复指标仍最高。样本预算并不相同：基线改配方为200M样本，BeFOND为181.82M解码器样本加18.18M先验样本。

解释消去

• 叠加：作者称Figure 3中BeFOND的MCC在整个d扫描里最高，且dead latents为0；各种子数值在Table 4。ρmm随输入维降低而增大。
• 消融：Figure 6在匹配学习率、β和词典范数下去掉侧向项。d=256时，作者报告抑制性交互把MCC从0.2810提到0.6862；只保留兴奋项时几乎激活全部4,096个潜变量，MCC为0.2825。
• 玩具例：Figure 2比较精确后验、固定先验且收敛的BeFOND，以及数值拟合的单投影编码器。作者报告平均反向KL分别为0.008508与0.021554 nats（C.2.3）。

其他消融与分析

• 几何配方分开调参（Fig 7）：自然推断加自然学习在1,000次更新时MCC为0.500、Rare F1为0.280，高于两种欧氏配方在100,000次更新时的结果。
• 若ρi=c i^{−α}，定理称欧氏最慢方向至少为最快方向的K^α倍；冻结Adam归一化下局部条件数至少K^{α/2}，匹配Fisher时为1（C.4.2）。
• Fig 8的72个拟合：作者称增大β会降低最终活跃度，较大β也降低恢复。
• Fig 12（checkpoint 12,207，即49,999,872 token）：作者称稀疏探测在前几步内达峰，RAVEL通常从更长推断受益。
• Table 10：8块H200、999,424 token、524,288宽时，BeFOND为989.321秒，BatchTopK为70.121秒；作者称约为12–14倍。
• Table 4中mean-field在d=1536的seed 2上MCC为0.584987998008728、dead为291，另两个种子dead为0。

作者指出的局限与后续方向

• 计算成本：重复的推断步和数值解码器更新增加BeFOND的计算成本（section 6 Limitations；作者指向B.8与D.3）。
• 效率与推断：作者计划后续提高计算效率，并用动量加快推断收敛（section 6）。
• 变分族：作者计划把因子化变分族扩展为含成对交互，以表示潜变量之间的依赖（section 6）。
• 更一般的动力学：附录A.5把后续工作写成，在同一框架中保留惯性、改变耗散律，或考虑更一般、可随经验演化的信念几何。

实验覆盖范围

• 合成：SynthSAEBench全宽为d=768、K=K⋆=16,384；叠加实验为K=4,096、K⋆=16,384、d从256到1,536；主比较使用3个初始化种子（section 4、C.1、Table 4、Table 5）。
• 语言模型：激活为Gemma-2-2B的layer-12 residual stream，d=2,304，白化后来自Pile Uncopyrighted。BeFOND宽度为16,384、65,536、131,072、524,288，自训预算50M token；并评测Gemma Scope JumpReLU，16k为4B token，32k–524k为8B token（section 5、D.1、Table 9）。
• 对照：语言模型实验为BatchTopK、Matryoshka BatchTopK、mean-field加Adam，以及Gemma Scope；合成实验另有Matching Pursuit与ReLU-L1（section 5、Table 5）。
• 协议：SAEBench稀疏探测含113个任务，k=1或5，用L1逻辑回归；另有RAVEL。Gemma上BeFOND为3个训练种子、基线为5个；评测步数BeFOND为T=10、mean-field为T=20（section 5、Table 6、Table 7）。
• 耗时：论文报告8块H200上、前999,424个训练token的墙钟时间（Table 10、D.3）。

BeFOND是无编码器的迭代稀疏编码模型，把推断和词典学习写成同一变分自由能上的自然梯度流，用来恢复重叠或很少激活的特征。

问题在于摊销编码器的一次前向难以处理superposition，而在已学词典上只改推断也填不上恢复差距；推断误差会进入词典更新。

方法使用Bernoulli潜变量、因子化先验和线性高斯解码器。推断通过词典重叠项做解释消去；学习用Fisher预条件更新解码器，不反传推断轨迹。作者给出单投影编码器不能一般地计算精确后验的命题，以及在匹配二阶矩下自然梯度去掉频率因子的定理。

• SynthSAEBench全宽（d=768，K=K⋆=16,384，3种子；Fig 11的评测为1M留出样本）上，MCC均值为0.8980±0.0015，Rare F1为0.9519±0.0075（Table 5）。
• Gemma-2-2B层12、524k宽、49,999,872个白化token时，RAVEL为0.827±0.001，k=1准确率为0.789±0.002；同表BatchTopK的RAVEL为0.748±0.004（Table 6）。
• 作者称约6M token即达到所比较、用8B token训练的Gemma Scope单特征探测分数，并称训练token减少超过1,000×（Figure 1a）。该checkpoint保留原预处理。
• 并非每个探测指标都更高：Table 6中16k至131k的k=1 AUC仍是BatchTopK更高。

作者认为，在统一概率框架中改进推断和学习，可以更好利用数据和词典容量来解释并干预神经表示；并认为适应动力学应尊重模型的内在几何与对称性。