Goodfire 报告称神经元可作可解释单元
先了解这件事
LessWrong 用户 neverix 评述 Goodfire 的《Neural Networks Are Already Clean》,认为基于神经元的可解释性议程值得推进,但对 LLM 上的结果持保留态度,等待正式论文;其称神经元归因图相当于每层探针与 steering 向量组成的覆盖层,能提供观察和干预模型的抓手,但不足以细致解释内部机制,且归因图稀疏性较差,基本需要 LLM 智能体辅助解读。Goodfire Research 随后发布技术报告《Neurons as an Interpretable Basis》,作为 Nick Cammarata 热传随笔的后续,用稀疏化、归因工具和研究智能体分析 Qwen3.6-35B-A3B,主张神经元本身可作为可解释的计算单元:消融每次前向传播中最弱的 92.2% MoE 神经元激活仅使语言模型损失增加 2.9%;自然语言描述可让评判模型以 95% 准确率预测神经元是否触发,模拟可恢复 73% 的消融损伤(以可恢复上限计),并能写出比 10B token 语料中任何文本更强的激活文本。附录分析 Colorado/Tornado 神经元,发现约 98.8% 的因果效应来自 Colorado 及其他相关地点文本,Tornado 并非隐藏的次要功能;报告怀疑这种关联源于 Qwen3-32B 复制 Qwen3-14B 层的初始化,并认为这种重叠是良性的。
AI 根据报道生成 · 7 天前更新
走势与进展
每小时关注度
现在 39,24 小时 -1%·峰值 42(11月13日 04:00)
故事线
- · 11篇报道· 关注度41Cammarata 与 Goodfire 称神经元大多可读,研究者意见分歧
- · 1篇报道· 关注度20Neel Nanda 评神经元可解释性新作
- · 3篇报道· 关注度39
Goodfire 报告称神经元可作可解释单元本事件
事件进展
- · 2篇报道Goodfire研究:神经元可作为可解释计算单元
- · 1篇报道对Goodfire神经元可解释性论文的评论
后续时间线
- RedditReddit r/singularity· 讨论Neurons as an Interpretable Basis(新标签页打开原帖)
- LessWrongGoodfire 报告称 Qwen3.6-35B-A3B 神经元可作可解释单元
Goodfire 发布技术报告《Neurons as an Interpretable Basis》,主张神经元本身可作为可解释的计算单元。报告作为 Nick Cammarata 热传随笔的后续,用稀疏化、归因工具和研究智能体分析 Qwen3.6-35B-A3B,称消融每次前向传播中最弱的 92.2% MoE 神经元激活仅使语言模型损失增加 2.9%;自然语言描述可让评判模型以 95% 准确率预测神经元是否触发,模拟可恢复 73% 的消融损伤(以可恢复上限计),并能写出比 10B token 语料中任何文本更强的激活文本。附录分析 Colorado/Tornado 神经元,发现约 98.8% 的因果效应来自 Colorado 及其他相关地点文本,Tornado 并非隐藏的次要功能;报告怀疑这种关联源于 Qwen3-32B 复制 Qwen3-14B 层的初始化,并认为这种重叠是良性的。
- XX @AndrewCurran_· 讨论The technical update to Neural Networks Are Already Clean has arrived!(新标签页打开原帖)
- Goodfire Research精选神经元作为可解释的基础
Goodfire Research 研究 Qwen3.6-35B-A3B 的神经元,提出神经元本身可作为可解释的计算单元。团队消融每步前向传播中最弱的 92.2% MoE 神经元激活后,语言模型损失仅增加 2.9%;69% 的神经元极由单一模式主导至少 90% 的 KL 损伤。用自然语言描述神经元后,判断模型可在给定文本上以 95% 准确率预测其是否激活,并在高激活区间恢复 73% 的消融损伤,94% 的神经元可被合成文本激活到超过 10B token 语料中的最高水平。
- LessWrong对 Goodfire 神经元可解释性文章《Already Clean》的看法
LessWrong 用户 neverix 发文评述 Goodfire 的《Neural Networks Are Already Clean》一文,该文主张基于神经元的可解释性可能比想象中容易;作者认为这一议程值得推进,但对 LLM 上的结果持保留态度,等待正式论文。作者认为神经元归因图相当于每层探针与 steering 向量组成的覆盖层,能提供观察和干预模型的抓手,但不足以细致解释模型内部机制;神经元是模型原生基底,跨模型应用比字典学习方法更便宜,但其归因图稀疏性较差,基本需要 LLM agent 辅助解读。作者称其论文发现神经元激活可稀疏化到每层每 token 约 32 的 L0、KL 约 0.5,而 transcoder 在同样 L0 下约为 2.0;并称对 MoE 模型逐神经元 steering 的效果较差。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- RedditReddit r/singularityNeurons as an Interpretable Basis(新标签页打开原帖)
- X@Yamamoto_NeuroX解釈可能性に関する、明るいニュース Goodfire AIより、 「人工知能のニューロンは意外とクリーンで、計算機能ベースで見ればかなり扱いやすい」 というポジティブな結果を、具体的な実験とデータで示している。 Qwen3.6 35B…(新标签页打开原帖)
11 赞·11月11日 12:45采集
- X@NeoAIForecast@GoodfireAI doing the research!! They studied thousands of neurons in open-weight Qwen3.6 35B-A3B and says most have j…(新标签页打开原帖)
- X@NFT_Chen🔥天呐!用Qwen3.6-35B解剖神经元:砍掉92%弱激活,性能几乎不掉!轻微微调就完全恢复!AI黑盒正在被打开! 以前觉得神经网络神经元乱成一锅粥,一个神经元同时管好几个不相关的事。 现在Goodfire团队直接拿Qwen3.6-…(新标签页打开原帖)
13 赞·11月11日 06:14采集
- X@yobai_duanGoodfire 今日发布神经元可解释性技术报告,补充 10 月观点文章,并开放 Qwen3.6-35B-A3B 的 1,500 个神经元描述。团队实验显示,直接研究神经元可用于预测和模拟部分强激活行为。结果来自单一模型,尚未独立复核,值…(新标签页打开原帖)
2 赞·11月11日 05:46采集
- X@AGTPinsightsGoodfire AI just released the first technical report showing LLM neurons are interpretable and practical. Here's what y…(新标签页打开原帖)
- X@AIQuantingGoodfire published a research article on November 10 called "Neurons as an Interpretable Basis". It is a companion to t…(新标签页打开原帖)
2 赞·11月11日 06:14采集
- XX @AndrewCurran_The technical update to Neural Networks Are Already Clean has arrived!(新标签页打开原帖)
- X@eric_hothe long awaited technical follow-up to Neural Networks are Already Clean is here! it dives deep into detailed neuron…(新标签页打开原帖)
100 赞·11月11日 06:14采集
- XX @GoodfireAIIn Neural Networks are Already Clean, @nickcammarata argued that neurons were far more legible than previously thought…(新标签页打开原帖)
775 赞·11月11日 06:14采集
关注度走势
每天新增来源
- 11月7日新增1个来源(1家媒体、0个账号)
- 11月8日新增0个来源(0家媒体、0个账号)
- 11月9日新增0个来源(0家媒体、0个账号)
- 11月10日新增1个来源(1家媒体、0个账号)
- 11月11日新增9个来源(0家媒体、9个账号)
- 11月12日新增0个来源(0家媒体、0个账号)
- 11月13日新增1个来源(0家媒体、1个账号)
- 11月14日新增0个来源(0家媒体、0个账号)
- 11月15日新增0个来源(0家媒体、0个账号)
- 11月16日新增0个来源(0家媒体、0个账号)
- 11月17日新增0个来源(0家媒体、0个账号)
- 11月18日新增0个来源(0家媒体、0个账号)
- 11月19日新增0个来源(0家媒体、0个账号)
- 11月20日新增0个来源(0家媒体、0个账号)