跳到正文
原文
Goodfire Research·本站收录· 原文发表· 对齐 →精选关注度39

神经元作为可解释的基础

Neurons as an Interpretable Basis

AI 导读

Goodfire Research 研究 Qwen3.6-35B-A3B 的神经元,提出神经元本身可作为可解释的计算单元。团队消融每步前向传播中最弱的 92.2% MoE 神经元激活后,语言模型损失仅增加 2.9%;69% 的神经元极由单一模式主导至少 90% 的 KL 损伤。用自然语言描述神经元后,判断模型可在给定文本上以 95% 准确率预测其是否激活,并在高激活区间恢复 73% 的消融损伤,94% 的神经元可被合成文本激活到超过 10B token 语料中的最高水平。

推荐理由

研究在 Qwen3.6-35B-A3B 上检验神经元作为可解释单元,并给出稀疏激活与描述预测激活的量化结果。

相关论文
阅读原文goodfire.ai