神经元作为可解释的基础
Neurons as an Interpretable Basis
AI 导读
Goodfire Research 研究 Qwen3.6-35B-A3B 的神经元,提出神经元本身可作为可解释的计算单元。团队消融每步前向传播中最弱的 92.2% MoE 神经元激活后,语言模型损失仅增加 2.9%;69% 的神经元极由单一模式主导至少 90% 的 KL 损伤。用自然语言描述神经元后,判断模型可在给定文本上以 95% 准确率预测其是否激活,并在高激活区间恢复 73% 的消融损伤,94% 的神经元可被合成文本激活到超过 10B token 语料中的最高水平。
推荐理由
研究在 Qwen3.6-35B-A3B 上检验神经元作为可解释单元,并给出稀疏激活与描述预测激活的量化结果。
相关论文