跳到正文
原文
LessWrong· Julian Bradshaw·本站收录· 原文发表· 对齐 →

Goodfire 报告称 Qwen3.6-35B-A3B 神经元可作可解释单元

Linkpost: "Neural Networks Are Already Clean" Followup Technical Paper

AI 导读

Goodfire 发布技术报告《Neurons as an Interpretable Basis》,主张神经元本身可作为可解释的计算单元。报告作为 Nick Cammarata 热传随笔的后续,用稀疏化、归因工具和研究智能体分析 Qwen3.6-35B-A3B,称消融每次前向传播中最弱的 92.2% MoE 神经元激活仅使语言模型损失增加 2.9%;自然语言描述可让评判模型以 95% 准确率预测神经元是否触发,模拟可恢复 73% 的消融损伤(以可恢复上限计),并能写出比 10B token 语料中任何文本更强的激活文本。附录分析 Colorado/Tornado 神经元,发现约 98.8% 的因果效应来自 Colorado 及其他相关地点文本,Tornado 并非隐藏的次要功能;报告怀疑这种关联源于 Qwen3-32B 复制 Qwen3-14B 层的初始化,并认为这种重叠是良性的。

阅读原文lesswrong.com