Spatial-SAE：用空间依赖先验改进视觉概念分解

tokenwise SAE的patch独立性先验与视觉激活的空间依赖不一致，使同一概念被拆开。

• 场景：作者称SAE已是从基础模型激活抽取可解释概念的常用工具。用到视觉时，一个概念常拆到多个字典原子，激活图在物体内部有空洞，相邻patch由不同原子解释（Figure 1）。作者认为碎片化使特征更难解释，也更难信任，因为名义上检测该概念的原子不会在其部分区域激活。
• 现有目标的两处问题：作者指出固定稀疏预算下存在rate–distortion–polysemanticity（RDP）权衡，多义原子可能比完整概念更利于重建；本文处理的是另一处，即独立性先验。LRH只约束单个激活，tokenwise目标另把邻域patch的概念选择当成独立。作者称Fel et al. (2025)与Costa et al. (2025)的补救仍保留该假设。
• 观察：作者称物体、纹理和区域跨相邻patch，且这种依赖会传到冻结视觉Transformer的激活（Figure 2）。不能表达该依赖的目标，没有空间标准去偏好覆盖整块区域的特征，而不是散落碎片。
• 本文提出什么：Markov-Field Linear Representation Hypothesis（MF-LRH）保留LRH，并规定patch码等于与邻居共享的平滑分量，加上携带边界、小物体等局部证据的稀疏创新分量。Spatial-SAE被写成该假设下的摊销MAP估计器；空间先验只通过训练损失进入，可接到现有SAE族。

论文没有单独的Related Work节。引言与背景按下面几组引用。

SAE、LRH与独立性先验

• 字典学习式解释：Bricken et al. (2023)、Huben et al. (2024)、Lieberum et al. (2024)、Deng et al. (2026)用SAE或字典学习，从基础模型激活中抽可解释特征。
• LRH：Elhage et al. (2022)、Park et al. (2024)、Fel et al. (2026)把激活写成过完备、近似非冗余字典上的稀疏线性组合。Jiang et al. (2024)讨论线性表示的来源。
• MAP与因子化先验：Lubana et al. (2026)把SAE训练解释为稀疏先验下的MAP。作者称他们指出，token上的i.i.d.先验忽略语言模型的时间结构；本文把同一论证用到视觉patch。

视觉碎片化与已有补救

• 视觉SAE：Fel et al. (2026)、Stevens et al. (2025)在视觉模型上学习应对视觉概念的字典特征。
• 碎片化相关现象：Chanin et al. (2025b; 2025a)、Ayonrinde et al. (2024)、Bhalla et al. (2026)被引来说明特征分裂、吸收、对冲或概念流形；作者用它们描述图像潜表示中的碎片化，没有把本文的独立性批评安到这些工作上。
• 作者点名的不足：作者称Fel et al. (2025)与Costa et al. (2025)的补救仍把patch独立性留在目标里。Mencattini et al. (2026)把稀疏、重建与多义性写成RDP权衡。

稀疏编码、图先验与空间结构

• 稀疏编码与摊销：Olshausen and Field (1996; 1997)、Elad (2010)联合优化字典与逐激活稀疏码。SAE用共享编码器代替逐样本优化；O'Neill et al. (2025)用amortization gap衡量编码器与最优稀疏码的差距。
• 局部依赖：Cevher et al. (2008)用MRF偏好空间成团而非同样稀疏但散开的支撑；Prince (2012)综述视觉中的图模型。作者称式(4)与Yankelevsky and Elad (2020)的图正则稀疏编码相连，并提到Neumann et al. (2014)的稀疏–平滑权衡。
• ViT里的空间组织：Caron et al. (2021)报告自监督ViT特征围绕物体区域组织；Jelassi et al. (2022)称梯度下降训练的ViT会通过位置注意力把空间相关patch分组。

基线与基准

• 基线方法：tokenwise SAE，稀疏化器为ReLU（图中称Vanilla）、TopK、BatchTopK、JumpReLU。消融另有无谱正则的双流模型、单流Laplacian对照，以及static与卷积平滑场估计。
• 基准/数据集：在Chanin and Garriga-Alonso (2026)的SynthSAEBench上加空间结构的合成数据；自然图像为冻结DINOV2在ADE20K与COCO-Stuff上的激活。

作者把本文定位为：保留LRH的稀疏线性表示，用吸引–排斥的Markov先验替换patch独立性，并把Spatial-SAE写成该先验下的摊销MAP，而不是只更换稀疏化机制。

作者用MF-LRH替换tokenwise SAE的因子化先验，再把Spatial-SAE写成该模型下的摊销MAP估计。观测仍是线性字典重建，空间依赖只加在码的先验上。

独立性先验从哪里来

• LRH：激活h若存在字典D与稀疏系数z使h≈zD，且字典过完备、准正交、支撑大小不超过k，则满足LRH（Definition 2.1）。逐行即H≈ZD。概念提取被写成反问题：恢复D与Z。
• SAE：式(2)对每个激活单独求稀疏码。SAE训练共享编码器fθ，使zi=fθ(hi)，从而摊销该优化；编码器可以不是最优稀疏码，差距即amortization gap。
• 因子化：在高斯噪声下，作者沿Lubana et al. (2026)把SAE目标看成稀疏先验的MAP。惩罚按token相加时，先验分解为各token先验之积（Proposition B.6）。Proposition 3.1：置换矩阵同时作用到码和激活时，行可加的tokenwise目标不变，因此分不出连贯布局和一起重排后的布局。

MF-LRH

• 两场：每个patch码写成平滑场与创新场之和，观测为H ≈ (S+R)D。S对应跨patch共享的内容，R对应局部偏离；作者借用Kalman文献里的innovation，指不能由邻域预测的部分。
• 图先验：G为patch图，L为其Laplacian。式(3)含两场的ℓ1、创新场幅度项κG∥R∥F²（κG=λmax(L)），以及边上∥si−sj∥²相吸、∥ri−rj∥²相斥。μ=0时空间先验消失；再令S≡0、R=Z，回到普通稀疏编码。
• 谱含义：相吸项惩罚跨边变化，抑制高频；相斥项用L̃=κG I−L抑制低频、鼓励对比。Corollary A.4用幅度项使相斥二次型有下界。

从MAP到Spatial-SAE

• 推断目标：Theorem 4.1在独立高斯噪声、字典与图给定时，(S,R)的MAP是重建误差、两项ℓ1，以及Tr(S^⊤LS)与Tr(R^⊤L̃ R)。σ²被吸收进权重。
• 摊销：Definition 4.2用编码器Fθ同时预测两场，解码为两场之和乘字典，训练损失为式(5)。空间项只出现在损失里，因此作者称它是现有SAE族的插件式扩展。
• 对称性：Proposition B.9称，激活、场和图一起重标号时能量不变；μ>0且图固定时，对一切激活与场保持能量的置换，恰是保持加权邻接的置换。μ=0时任意行置换都保持目标。

只从激活估计两场

• 前向：真实模型只观测H，分解未知。Algorithm 1对每个patch堆叠邻居，用邻居均值作attention query，不看目标patch，再用注意力组合邻居得到平滑码并稀疏化；创新码由平滑重建的残差经第二编码器得到。
• 字典划分：实践中两流占用互补的原子块，残差写成Hi−sg(Si DS)，stop-gradient阻止创新流回传到平滑重建。
• 对照结构：附录D的static估计器不用邻居，直接投影目标patch；卷积估计器用12个相对位置的深度可分离核，无内容相关权重。自然图像主实验用context attention：4个head，邻居排成12个固定相对位置。

稀疏化与图的实现

• 四种稀疏化器：TopK保留最大的k个系数；BatchTopK用batch内第nk大的阈值，评估时用训练阈值的指数滑动平均，动量0.9。ReLU与JumpReLU的激活个数由ℓ1系数控制，系数从第100步起按目标L0调节。JumpReLU另有逐原子阈值。
• 预算：自然图像默认期望每patch 16个激活特征，字典宽c=3072；两流预算之和为k，原子数按预算比例分配。TopK与BatchTopK把λS、λR设为0，稀疏由编码器执行。
• 图：定理里的图外生给定。合成实验用16×16四邻接无权网格；自然图像用曼哈顿距离至多2的无权图，所有图像共用，Laplacian只分解一次。

实验设置

• 被分析的激活：冻结DINOV2 ViT-B/14（4个register token）。224输入得到16×16、d=768的最后一层patch激活，丢掉CLS与register。合成实验不用该骨干，字典与码已知。
• 数据：合成图像为16×16网格、p=256、真字典宽c=256；几何网格60格、容量网格100格，并集159个配置。自然图像用ADE20K与COCO-Stuff的稠密语义掩码。附录写ADE20K含25574张训练图，其SceneParse150为20210张训练图、150类；实验具体用哪一划分，论文未单列。
• 方法与基线：Spatial-SAE对比tokenwise SAE。稀疏化器为ReLU（图中Vanilla）、TopK、BatchTopK、JumpReLU。合成消融另有无谱正则双流模型D。自然图像字典宽3072；主比较的期望稀疏为16，Table 3另扫8到256。
• 合成指标与协议：MCC、support F1、held-out R²沿用Chanin and Garriga-Alonso (2026)；polysemanticity沿用Mencattini et al. (2026)。胜的定义是MCC、F1、R²严格变大，POLY严格变小，平局不算。匹配模型共用生成配置与种子，在同一2000张held-out图上评估。生成过程故意不从MF-LRH先验本身采样。
• 自然图像指标：Normalized F1是类最优特征F1除以同一激活上线性探针的类F1，只对探针F1>0.6的类。Region Coherence是匹配网格距离上、区内与区间码余弦相似度之差。重建用按batch计算再平均的R²。
• 评审与重复：自动解释性评审为Claude Haiku 4.5，low reasoning effort，盲评1–10分的Map Quality与Monosemanticity。ADE20K主结果5个种子；Figure 6e–f的误差条是5种子的1个标准差，g–h是单种子、2000次类别bootstrap的95%区间。稀疏化器泛化扫描每格5种子，几何与容量扫描为单种子。

主结果

据Table 3，ADE20K，期望稀疏16，五种子均值±标准差，单位为百分比。

Swipe horizontally to read the table

稀疏化器	基线 R²	Spatial-SAE R²	基线 Norm. F1	Spatial-SAE Norm. F1
TopK	70.4±0.2	52.4±0.3	57.5±1.1	65.4±1.9
BatchTopK	69.2±0.9	52.4±0.4	55.9±0.7	60.3±2.0
Vanilla	53.7±0.7	39.1±0.7	50.5±1.0	55.5±2.0
JumpReLU	52.2±0.8	41.4±0.3	52.1±0.5	56.7±1.6

• 作者称四种稀疏化器的可解释性指标都上升。表中每种稀疏化器的Normalized F1都高于对应基线，R²都低于基线。
• 作者把重建下降读成RDP所预期的交换。Figure 6a中改变正则强度画出Normalized F1–R²前沿，而不是孤立工作点。
• 作者称重建代价集中在概念并不处在的高空间频率：基线相对合并Spatial-SAE码的R²优势从低频0.11增到高频0.37（Figure 6c）。相对创新流单独的优势在高频收窄，作者认为这与创新流承担局部高频变化一致。

合成概念恢复

• 测了什么：已知字典的平滑场与局部创新场。稀疏化器泛化扫描在60个几何格上比较Spatial-SAE与基线，μS=10⁻³，每稀疏化器300组匹配比较。
• 结果：Table 1胜率，TopK与BatchTopK的MCC、POLY、F1均为100%，R²为0%。ReLU为85.7%、87.7%、85.0%、0%。JumpReLU为98.7%、96.0%、100%、100%。摘要称四种变体的合成概念恢复平均胜率96%；引言称已知字典的合成数据上，概念恢复在300个设置中的288个有改进。论文未把这两句写成同一计算。
• 作者解读：前三种呈现用重建换概念恢复与更低多义性的RDP交换。JumpReLU是例外：作者称空间先验不必必然用重建换概念恢复。相对μ=0的同结构双流模型，作者称适当μ下F1最多提高6.9个百分点（Figure 5）。

空间组织与自动解释性

• 区域一致性：正文只给出TopK的Region Coherence，从15.5到25.9。作者称Figure 6e–h中四种稀疏化器的可解释性指标都提高，包括Map Quality与Monosemanticity；这两项的逐稀疏化器分数正文未列出。图中其余条形数字因转写列对齐不可靠，不改写。
• 频谱：作者称每个基线都少表示低频、更多表示更高频率，Spatial-SAE使码谱更接近概念掩码谱（Figure 6b）。作者称Figure 6d里Spatial-SAE有低频与高频两群原子，基线集中在较高频率；文本转写看不到UMAP中点的位置。
• 评审协议：每个模型用自己的class-best特征，取held-out上激活总和最高的7张图。ADE20K从150类去掉任一族最佳特征F1为0的18类，剩132类、1056张面板。评分者不知道类别名、F1、模型族和稀疏化器。

COCO-Stuff迁移

• 协议：附录D.4把ADE20K选定的context attention、μ=10⁻³、字典宽、总预算和各稀疏化器的kS:kR直接迁移，不在COCO-Stuff上再调，每种配置5个种子。
• 结果：作者称Normalized F1对四种稀疏化器提高1.4–7.1个百分点，Region Coherence提高6.5–9.0个百分点；Map Quality与Monosemanticity每次比较都提高，幅度为0.34–0.74与0.14–0.73（1–10分）。Figure 15的逐条形数字列对齐不可靠，不逐项改写。
• 划分：自动解释性用171类、1368张面板；图像来自train2017的152个分片中按种子抽取的5%（6218张），论文写明这不是官方val2017。

其他消融与分析

• 分解相对单流（Table 4，static TopK，ADE20K，E[L0]=16，μ=10⁻³）：Δ Norm. F1为+6.12±1.86，14组全部更高；ΔR²为−0.80±0.63；Δ Region coherence为−2.90±4.07。μ=10⁻¹时Norm. F1胜率14%，均值差−5.60±4.30。
• 正则阶梯（Table 5，TopK，static，14对）：0到10⁻³，Norm. F1中位+6.53（胜率100%），R²中位−5.52（胜率0%）。10⁻²到10⁻¹，Norm. F1中位−43.14（胜率0%），coherence中位+16.04（胜率100%）。
• 平滑场估计器（Table 5，μ=10⁻³）：context attention相对static，Norm. F1中位+1.95（71%），R²中位−2.55（0%），coherence中位+2.69（93%）。卷积相对static的Norm. F1中位−0.34（胜率43%）。
• 选定kS:kR为TopK 14:2、BatchTopK 12:4、ReLU 10:6、JumpReLU 14:2。Table 3中E[L0]从8到256，Spatial-SAE的Norm. F1都高于对应基线，R²都更低。
• 合成组件（Table 2，TopK，159配置）：D对B的MCC/POLY/F1胜率99%/99%/98%，R²为13%。低强度DT对D为96%/96%/91%。附录C.2：高强度下，容量扫描中DT相对D在49%配置上POLY变差、33%上F1变差；相对B，POLY变差18%、F1变差20%。
• 负面结果：Table 1中TopK、BatchTopK、ReLU的R²胜率都是0%。作者称过高的trace系数可以抹掉相对基线的优势，并在已有分解时变成不利（附录C.2）。

作者指出的局限与后续方向

论文未专门讨论局限。结论没有列出不足或后续实验；附录C.2对高强度trace系数的讨论是结果，不是单独的局限声明。可复现性声明写将在发表时公开代码、合成生成器与训练好的模型，这是作者计划，不是已完成的发布。

实验覆盖范围

• 视觉骨干为冻结的DINOV2 ViT-B/14，激活取最后一层归一化后的256个patch token，丢掉CLS与register（附录D）。
• 稀疏化器为ReLU/Vanilla、TopK、BatchTopK、JumpReLU。自然图像字典宽3072，主比较的期望稀疏为16，另有8到256的预算扫描（Table 3、附录D.1）。
• 合成数据为16×16网格上的平滑流与创新流，几何扫描60格、容量扫描100格。稀疏化器泛化扫描每格5个种子、每稀疏化器300组匹配比较；几何与容量扫描为单种子（附录C.1）。
• 自然图像用ADE20K与COCO-Stuff的稠密语义掩码。COCO-Stuff使用ADE20K选定配置、不再调参，5个种子；自动解释性的held-out是train2017分片的5%（6218张），不是官方val2017（附录D.3–D.4）。
• 自动评分由Claude Haiku 4.5盲评完成。ADE20K为132类，COCO-Stuff为171类；伦理声明写明未招募人工标注者，论文未报告评分与人工的一致性。合成比较含基线B、分解模型D与加谱正则的DT；自然图像比较了static、卷积、context attention和单流Laplacian对照。

Spatial-SAE针对视觉SAE的概念碎片化：tokenwise目标在LRH之外把各patch的码当成独立，而作者报告冻结视觉Transformer的激活仍保留邻域可预测性。

• 问题：同一概念被拆到多个原子，激活图在物体内部留空，相邻patch由不同原子解释。作者认为重建更好不一定字典更好，因为RDP允许用多义原子换重建，所以他们把可解释性当主要标准，重建当次要交换。
• 方法：MF-LRH把码写成平滑场加创新场，邻居平滑码相吸、创新码相斥。Spatial-SAE用邻居注意力估计平滑码，用stop-gradient后的残差估计创新码；谱正则只进损失，可接ReLU、TopK、BatchTopK、JumpReLU。合成数据故意不从该先验本身采样。
• 合成：Table 1中TopK与BatchTopK的MCC、F1、POLY胜率均为100%，R²为0%；ReLU前三项为85.7%、85.0%、87.7%，R²为0%；JumpReLU的F1与R²均为100%，MCC为98.7%，POLY为96.0%。摘要称四种变体平均胜率96%。
• 真实激活：ADE20K、DINOV2 ViT-B/14、期望稀疏16时，TopK的Normalized F1从57.5±1.1到65.4±1.9，R²从70.4±0.2到52.4±0.3（Table 3）。作者称四种稀疏化器的可解释性代理都提高，重建损失集中在高频：低频R²优势0.11，高频0.37。TopK的Region Coherence从15.5到25.9。
• 作者结论：Spatial-SAE沿RDP前沿走向可解释性，用重建换更可解释的特征和更连贯的激活图。COCO-Stuff上，作者称ADE20K选定配置可以不调参迁移，Normalized F1提高1.4–7.1个百分点。过高的谱正则会失去这一交换，JumpReLU则在合成数据上同时赢得识别指标和R²。