Anthropic 可解释性团队：Crosscoder 模型差异分析中独占特征多义性的成因与缓解

Anthropic 可解释性团队报告了 crosscoder 模型差异分析（model diffing）中的一项意外现象：仅属于某一个模型的特征往往更多义、激活更密集，因而难以解释。团队用玩具模型复现了这一模式，认为其源于特征容量竞争——共享特征能同时解释两个模型的神经元激活，独占特征必须编码更多信息才能争取到分配额度。他们提出的缓解办法是划出一小部分指定共享特征并降低其稀疏惩罚，在约 25 万个特征中分配 1 万个、惩罚系数取基线的 0.1–0.2 倍，使独占特征变得更单义。