叠加现象的玩具模型
Toy Models of Superposition
论文速读
据论文全文整理（AI 生成），以原文为准
Anthropic 研究者发布的论文用小型 ReLU 网络在合成稀疏特征数据上演示了叠加现象，即模型能在少于特征数量的维度中以近乎正交的方向表示更多特征。
- 神经网络常把多个无关概念混在同一个神经元里（polysemanticity），使可解释性研究难以进行。作者希望弄清模型为何、何时会用少于特征数的维度表示更多特征。
- 作者构造小型 ReLU 网络，在稀疏合成特征数据上训练，观察模型是否把多于维度的特征以非正交方向存储（即 superposition），并分析其相变、几何结构与学习动态。
- 实验显示 superposition 确实出现，单义与多义神经元都能形成，部分计算（如绝对值）可在 superposition 下完成；特征是否进入 superposition 受相变控制，并组织成二角形、三角形、五边形、四面体等几何结构；还发现与对抗样本、grokking 及 MoE 的初步联系。
- 作者强调这些结论来自 toy model，能推广到真实网络的程度很不确定，几何与学习动态结果尤其如此；如何检测、控制或消除 superposition，以及特征重要性与稀疏性曲线在真实模型中如何估计，仍是开放问题。
Anthropic 研究者发布的论文用小型 ReLU 网络在合成稀疏特征数据上演示了叠加现象，即模型能在少于特征数量的维度中以近乎正交的方向表示更多特征。实验显示，特征越稀疏，模型越倾向于用非正交方向编码额外特征并容忍由此产生的干扰，特征是否进入叠加由相变控制。均匀叠加下，特征会组织成反平行对、三角形、五边形、四面体等几何结构，作者将其与均匀多面体和 Thomson 问题联系起来，并讨论了与对抗样本、grokking 的可能关联以及对机制可解释性的启示。
推荐理由论文用可复现的玩具模型展示叠加现象及其相变与几何结构，为理解大模型神经元的多义性提供了可迁移的分析框架。