TopoLoss 训练让 ViT 因果回路更集中，但未提升神经元单义性

TopoLoss 这种训练时的空间局部性惩罚，能否让标准机制可解释性工具测到更集中的因果回路，而不是只让单个神经元更单义。

• 场景：作者援引叠加假说：特征多于神经元，单神经元 patching 会碰到无关特征，SAE 还要消耗容量拆多义方向。作者认为现有缓解几乎都是事后解码固定表示，不改变底层网络。
• 已有损失未回答的点：Khosla 等（2025）的 TopoLoss 被作者转述为能提高 brain-similarity，且不牺牲准确率。作者把开放问题定为：这种重组是否也改善机制可解释性指标。
• 三条假设：H1 问单神经元是否更有选择性（熵指标 Mu）；H2 问 SAE 测到的特征是否更稀疏（L0、死特征比例）；H3 问按类激活选出的集合，是否比同规模随机集更有因果充分性。
• 本文做的事：在 ImageNet-100 上用多个 α 训练 ViT-S/16，并用 4 层 TinyViT 作尺度探针，沿这三轴审计 TopoLoss，而不是提出新的 SAE。

引言与 Discussion 的相关工作可分成三组。只有作者明确对比或批评时才写区别。

叠加与事后分解

• Elhage 等（2022）：提出叠加假说，用高维近似正交编码多于神经元数的特征。作者称本文的 H3/H1 分离与之一致，并认为空间共定位、而非单神经元选择性，才是回路纯度的相关单位。
• Bricken 等（2023）、Cunningham 等（2023）：用字典学习或 SAE 分解语言模型里的多义单元。作者把 SAE 用作诊断，并称 TopoLoss 会改变 SAE 给出的诊断。

地形组织

• Khosla 等（2025）：TopoNets 把 Laplacian 权重平滑用于视觉和语言 transformer。作者称其提高脑相似度且不损失准确率，并称本文首次在机制可解释性轴上评估该损失。
• Lee 等（2020）、Doshi 与 Konkle（2023）、Margalit 等（2024）：深度网络中的地形约束有更长谱系。作者称本文聚焦 TopoLoss 这一较新、轻量、可接入标准工具的实例。
• Zeiler 与 Fergus（2014）、Olah 等（2020）：地形自组织中的功能聚类此前是非正式观察。作者称本文用受控 patching 加以量化。

回路发现

• Conmy 等（2023）：用 activation patching 在单一模型内定位回路。作者称本文用同一协议比较不同训练先验下的模型。

基线与数据

• 基线：α=0 的同架构模型，以及 H3 分母里的同规模随机单元集。数据为 ImageNet-100（Deng 等，2009）。脑相似度不是本文指标。

作者把本文定位为：用既有 patching 与 SAE 审计一种训练时先验，而不是替换这些事后工具。

在交叉熵上加 TopoLoss，只惩罚地形网格上相邻单元的权重差，再沿单义性、SAE 稀疏和因果 patching 三条轴比较不同 α。

损失与施加位置

• 损失：总损失与地形项为 L=L_CE+L_topo，L_topo=α Σ_(i,j)∈E ||w_i−w_j||²。第一式是总目标；第二式对固定二维网格上的相邻单元对求和，α≥0 控制压力。
• 加在何处：ViT-S 中，TopoLoss 加在全部 12 个 block 的 attn.proj 上。方法节称单元排在与 head dimension 匹配的 √d×√d 网格上；Table 2 的距离则在 16×24 sheet 上计算。论文未解释两处网格说法如何对应。
• 图注：Figure 1(a) 称该惩罚推动功能相近的单元在地形网格上共定位。

训练协议

• 主模型：ViT-S/16，ImageNet-100（126,688 train / 5,000 val，100 类）。α∈{0.0, 0.1, 1.0}，种子 42、123、456，共九个 checkpoint。seed 42 另做 α∈{0, 0.01, 0.1, 1.0} 的剂量反应。
• 尺度探针：TinyViT 为 4 层、d=128、4 heads，作者称用同一协议，属于初步探针。
• 优化：AdamW，余弦学习率，标准增强。附录 A：β1=0.9，β2=0.999，权重衰减 0.05，warm-up 10 epoch。ViT-S 为 batch 256、lr 5×10−4、最多 100 epoch、早停 patience 15；TinyViT 为 batch 128、lr 3×10−4、50 epoch。

三条测量

• H1：Mu 是神经元在 5,000 张验证图上类别激活分布的归一化负熵，写作 (Hmax−H)/Hmax，Mu=1 为完全选择性。H1 段还说在 layer-6 residuals 上训练 SAE，测特征级选择性。
• H2：每个 checkpoint 在 layer 6 的 attn.proj 输出上训练一个 SAE，报告每 token 平均活跃特征数 L0，以及死特征比例（活跃于 <0.1% token）。作者用更低 L0、更高死特征比例表示更稀疏。layer 6 的理由是位于效应带中部（附录 E）。
• 用词差异：H1 写 layer-6 residuals，H2 写 attn.proj output。附录 E 称主文 H2/H3 分析使用 layer 6。论文未把这两种输入说法对齐。
• H3：对 20 个随机类和每个种子，取该类激活最高的 k=16 个神经元，把该集合从源图（目标类图像）patch 到目标图（其他类图像），用平均绝对 logit delta 除以同规模随机集的 delta。比值 >1 表示相对随机集带有不成比例的因果权重。

簇定义与 SAE 设置

• 不强制相邻：top-k 按激活幅度选取，不要求空间连续。作者事后用 Table 2 检查这些集合是否共定位，并以此支持“簇”的说法。
• 主 SAE：TopK，k=32，2048 features，Adam，lr 10−3，50 epoch（附录 A）。
• 另一套 SAE：附录 B 的特征 Mu 使用 25,000 张分层训练图（每类 250）、expansion factor 4、1536 features、L1=0.005、50 epoch。它不是主文 TopK SAE。
• 比较方式：H3 主比较是 20 类×3 种子、n=60；另有种子层面配对 t 检验，n=3。作者同时报告 Cohen's d。论文未写明每次 patching 用多少图像对，也未写明绝对 logit delta 取的是目标类 logit 还是全部 logit。

实验设置

• 模型：ViT-S/16，α∈{0.0, 0.1, 1.0}，种子 {42, 123, 456}，共九个 checkpoint。TinyViT（4 层，d=128，4 heads）在 Table 9 为 seed=42。seed 42 另有含 α=0.01 的剂量反应。
• 数据：ImageNet-100，126,688 train / 5,000 val，100 类。神经元 Mu 用 5,000 张验证图；附录 B 的特征 Mu 用 25,000 张分层训练图。
• 基线：α=0 的同架构模型。H3 的分母是同规模随机单元集。Table 2 的随机期望网格距离为 10.618。
• 指标：H3 为 cluster/random 的平均绝对 logit-delta 比值；H1 为 Mu；H2 为 SAE L0 与死特征比例（活跃 <0.1% token）。另有验证准确率、成对网格距离、PCA d95。
• 推断：无 LLM 评审，也无人工一致性。报告配对 t 检验与 Cohen's d。多类 n=60；种子层面 n=3。主文 H2/H3 使用 layer 6（附录 E）。
• 未写明项：论文未报告每次 H3 patching 的图像对数量。主 SAE 为每 checkpoint 一个，TopK、k=32、2048 features；Figure 3 的逐层曲线为 seed 42。

主结果

下表为 ViT-S/16、三种子。H3 与 Mu 据 Table 1、Table 4；L0 的 α=0 与 α=1.0 据正文（含标准差），α=0.1 据 Table 6（无标准差）；死特征比例据正文。

Swipe horizontally to read the table

指标	α=0.0	α=0.1	α=1.0
H3比值，n=60	1.68±0.42	2.27±0.93	2.79±1.24
SAE L0	1273.9±15.0	1306.4	1133.8±3.2
死特征比例	0.2±0.1%	未报告	3.8±0.8%
神经元 Mu	0.2340±0.0019	0.2348±0.0025	0.2359±0.0016

• H3：作者报告比值随这三个 α 单调上升，相对基线的增幅写作 66%。多类比较 p<0.0001、d=0.95。种子层面配对 t 检验 p=0.082（n=3），作者称功效不足。多类 per-seed 比值为 2.53、2.89、2.97（3.1 节，不在 Table 1）。
• 比值含义：α=0 的比值已高于 1，因为 top-k 按激活选取，不要求空间相邻。摘要里的 2.79× 是相对随机集，不是相对 α=0。Figure 2 图注称 α=1.0 相对基线以及相对 α=0.1 均为 p<0.0001、d≥0.61。Figure 1(c) 的虚线是比值 1。
• H1 与 H2：作者称 H1 为零（Δ=0.0019，n.s.），压力作用在回路级而非单神经元选择性。α=1.0 的 L0 降 11%（p=0.007，d=7.06），死特征比例升 19 倍；α=0.1 不稳定（L0 p=0.054，死特征 p=0.580）。Figure 1(b) 图注称 L0 随 α 单调下降，Table 6 的多种子均值在 α=0.1 高于 α=0。

空间相干性

• 测什么：top-k=16 在 16×24 sheet 上的平均成对网格距离，n=60（20 类×3 种子）；随机期望为 10.618（Table 2）。
• 数字：α=1.0 为 9.948±1.063，比基线 10.599±0.892 低 6.1%（p=0.0005，d=0.66）。α=0.1 为 10.525±0.934，低 0.7%，p=0.661，d=0.08。
• 作者说法：选取不强制相邻，但 α=1.0 下这些集合更共定位。作者称 α=0.1 不显著，并称与 H3 的阈值模式一致；Table 1 中 α=0.1 的 H3 相对基线仍为 p<0.0001、d=0.61。

准确率混杂与 PCA

• 准确率与回归：正文称 α=1.0 从 61.2% 到 59.6%，即 −1.6 个百分点。Table 3 为 0.612±0.005、0.614±0.002、0.596±0.005。九个 checkpoint 上 L0 对验证准确率的 OLS：正文 R²=0.72（p=0.004），附录 C 为 R²=0.724。α=1.0 三颗种子残差为 −54、−37、+21。
• PCA：Table 6 的 d95 为 166.7±3.3、158.3±3.8、142.3±3.4。α=0.1 时 d95 降 8.3、L0 升 32.5；α=1.0 时 d95 降 24.3、L0 降 140.1。
• 作者立场：作者把 L0 下降视为有提示，但并非无混杂。α=0.1 的 d95 与 L0 反向，以及两颗种子低于回归线，被作者用来主张效应不完全由准确率驱动。作者把准确率匹配消融留到以后。

TinyViT 尺度探针

• H2：Table 9（seed=42，50 epoch）的 L0 为 444.9、443.7、437.5、435.5（α=0、0.1、0.38、1.0），作者称 α=1.0 降 2.1%。死特征比例为 2.0%、2.5%、1.4%、2.9%，不是随 α 单调上升。
• H3：比值为 1.19×、1.42×、1.11×、1.12×。作者称各 α 最大为 1.42×，出现在 α=0.1，并称低于 ViT-S 的 2.79×；α=1.0 为 1.12×。作者提醒这是单种子，且两模型同时差在深度、宽度、准确率与训练预算。
• 压力校准：附录 F 写 αeff=α·(rmsref/rmstgt)^2。α=1.0 时 TinyViT 的 attn.proj RMS 从 0.0695 到 0.2346（作者称 3.4×，Table 8 的 αeff=2.6），ViT-S 从 0.0432 到 0.0548（作者称 1.27×，αeff=1.12）。α=0.38 的 H3 为 1.11×，未高于 α=0.1 的 1.42×；作者称这与“只校准压力就会迁移 H3”不符，而该点 L0 落在中间。

其他消融与分析

• 层间 SAE：Figure 3（seed 42）中，α=1.0 的 L0 从 layer 3 起低于基线并持续到 layer 10，缺口峰值在 layer 10；α=0.1 跟踪基线。文本无逐层读数。
• 两套种子比值：多类 α=1.0 的 per-seed 比值为 2.53、2.89、2.97。Table 7 是单类种子级：3.77×、2.36×、2.22×，附录 D 称三颗种子都超过 2×。
• 特征级 Mu：Table 5（25k 图、1536 features）均值为 0.021、0.021、0.026，Mu>0.3 与 Mu>0.5 的比例均为 0。该表 L0 为 1304、1316、1189，与主 SAE 不是同一设置。作者称这加强了 H1/H3 分离。
• 高选择性神经元：Table 4 中 Mu>0.5 的比例为 0.26%、0.52%、0.78%。作者称神经元级 Mu 的各 α 比较都没有统计显著性。
• 早停 epoch：Table 3 约为 87、67、79（α=0、0.1、1.0）。
• 验证准确率标签：Table 3 把 α=0、0.1、1.0 标为 Baseline、TopoWeak、TopoStrong。α=0.1 的准确率均值高于 α=0，下降出现在 α=1.0。

作者指出的局限与后续方向

• 数据：Limitations 写明只使用一个数据集 ImageNet-100。
• 混杂：Limitations 写明 H2 有部分准确率混杂，已经处理但未完全解决。
• 模型范围：Limitations 写明只在判别式视觉 transformer 上探索。
• 概念基：Limitations 写明 Mu 用 ImageNet-100 类别作概念基，可能过粗，测不到跨类特征（如纹理、部件）。25k 图像的 SAE 特征 Mu 只处理样本量，仍继承同一类别基限制。
• 深度扫描：Future work 提出在固定宽度下做 TinyViT → ViT-S → ViT-B 的深度受控扫描，以检验尺度假设。
• 其他后续：Future work 还列出扩展到 CNN 与 ResNet、绕过类别基的嵌入式单义性分数（Pach 等，2025）、NSD fMRI 脑相似度、SOM 事后对照，以及语言模型复现。

实验覆盖范围

• ViT-S/16：主实验为 α∈{0.0, 0.1, 1.0}、种子 42、123、456，九个 checkpoint（Section 2，Table 3）。seed 42 另有含 α=0.01 的剂量反应，正文未给出 α=0.01 的读数。
• TinyViT：4 层、d=128、4 heads；Table 9 为 seed=42、50 epoch，α 含 0.0、0.1、0.38、1.0。
• H3：20 个随机类 × 3 种子，n=60，k=16；附录 E 称主文分析在 layer 6。空间距离在 16×24 sheet 上计算（Table 2）。论文未报告每次 patching 的图像对数量。
• SAE：主设置为每 checkpoint、layer 6、TopK、k=32、2048 features。Figure 3 的逐层曲线为 seed 42、layer 0–11。附录 B 另用 25,000 张训练图、1536 features、L1=0.005。
• 统计：报告了 n=60 的 p 与 Cohen's d，以及 n=3 的种子层面配对 t 检验。神经元 Mu 用 5,000 张验证图；实验设置中没有人工评审协议。

这是对既有训练损失 TopoLoss 的机制可解释性审计，不是新的事后分解器。

• 问题：作者认为叠加使单神经元干预碰到无关特征，而 SAE 不改变原网络。Khosla 等（2025）的地形权重平滑被作者转述为能提高脑相似度；本文问它是否改变单神经元选择性、SAE 稀疏和因果簇。
• 做法：ImageNet-100 上训练 ViT-S/16（α 为 0、0.1、1.0，三颗种子）和 4 层 TinyViT。损失惩罚 attn.proj 上相邻单元的权重差。H3 取每类激活最高的 16 个单元做 activation patching，再除以同规模随机集的绝对 logit delta。
• H3：α=1.0、n=60 的比值为 2.79±1.24，α=0 为 1.68±0.42，多类比较 p<0.0001、d=0.95。作者称效应随这三个 α 单调上升。种子层面 n=3 的检验为 p=0.082，作者称功效不足。
• 分离：神经元 Mu 为 0.234±0.002 与 0.236±0.002，差 0.0019，n.s.。作者认为单神经元单义性指标看不出这种回路级重组。
• H2 与小模型：α=1.0 的 SAE L0 为 1133.8±3.2，相对 1273.9±15.0 降 11%，死特征比例从 0.2±0.1% 到 3.8±0.8%；验证准确率从 61.2% 到 59.6%。作者称这一稀疏变化有准确率混杂，且未完全排除。TinyViT 单种子的 H3 最高 1.42×，出现在 α=0.1；α=1.0 为 1.12×。
• 作者结论：地形压力把因果权重集中到空间局部结构，但不改变单个神经元的类别选择性。作者把不足 0.1k 参数的正则项定位为事后工具的训练时补充，并称 α=1.0 的准确率代价是 −1.6 个百分点。