TopoLoss 训练让 ViT 因果回路更集中，但未提升神经元单义性
Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity
AI 导读
作者提出用空间局部性训练损失 TopoLoss 作为训练期先验，检验它能否提升标准机制可解释性工具的效果。在 ImageNet-100 上训练 ViT 并扫描多个 TopoLoss 权重 α，用激活修补衡量地形聚类的因果充分性，用拟合同一残差流的稀疏自编码器衡量特征几何。当 α=1.0 时，地形聚类的因果充分性比同规模随机单元集合高 2.79 倍，且该效应随 α 单调增强。SAE 的 L0 稀疏度下降 11%，死特征比例上升 19 倍，但标准神经元级单义性得分没有变化，说明地形压力作用于回路层面，把因果质量集中到空间局部结构，而没有解开单个神经元。