跳到正文
事件历史事件

Goodfire 报告称神经元可作可解释单元

3篇报道2个报道来源最近报道

先了解这件事

AI 综述

LessWrong 用户 neverix 评述 Goodfire 的《Neural Networks Are Already Clean》,认为基于神经元的可解释性议程值得推进,但对 LLM 上的结果持保留态度,等待正式论文;其称神经元归因图相当于每层探针与 steering 向量组成的覆盖层,能提供观察和干预模型的抓手,但不足以细致解释内部机制,且归因图稀疏性较差,基本需要 LLM 智能体辅助解读。Goodfire Research 随后发布技术报告《Neurons as an Interpretable Basis》,作为 Nick Cammarata 热传随笔的后续,用稀疏化、归因工具和研究智能体分析 Qwen3.6-35B-A3B,主张神经元本身可作为可解释的计算单元:消融每次前向传播中最弱的 92.2% MoE 神经元激活仅使语言模型损失增加 2.9%;自然语言描述可让评判模型以 95% 准确率预测神经元是否触发,模拟可恢复 73% 的消融损伤(以可恢复上限计),并能写出比 10B token 语料中任何文本更强的激活文本。附录分析 Colorado/Tornado 神经元,发现约 98.8% 的因果效应来自 Colorado 及其他相关地点文本,Tornado 并非隐藏的次要功能;报告怀疑这种关联源于 Qwen3-32B 复制 Qwen3-14B 层的初始化,并认为这种重叠是良性的。

AI 根据报道生成 · 7 天前更新

走势与进展

每小时关注度

现在 39,24 小时 -1%·峰值 42(11月13日 04:00)

11月14日11月15日11月16日现在 39

故事线

同一主体、同一议题的持续进展,从早到晚

3 个事件
  1. · 11篇报道· 关注度41
    Cammarata 与 Goodfire 称神经元大多可读,研究者意见分歧
  2. · 1篇报道· 关注度20
    Neel Nanda 评神经元可解释性新作
  3. · 3篇报道· 关注度39

    Goodfire 报告称神经元可作可解释单元本事件

事件进展

2 个进展
  1. · 2篇报道
    Goodfire研究:神经元可作为可解释计算单元
    Goodfire Research:神经元作为可解释的基础
  2. · 1篇报道
    对Goodfire神经元可解释性论文的评论
    LessWrong:对 Goodfire 神经元可解释性文章《Already Clean》的看法

后续时间线

11月13日
11月12日
  1. LessWrong
    Goodfire 报告称 Qwen3.6-35B-A3B 神经元可作可解释单元

    Goodfire 发布技术报告《Neurons as an Interpretable Basis》,主张神经元本身可作为可解释的计算单元。报告作为 Nick Cammarata 热传随笔的后续,用稀疏化、归因工具和研究智能体分析 Qwen3.6-35B-A3B,称消融每次前向传播中最弱的 92.2% MoE 神经元激活仅使语言模型损失增加 2.9%;自然语言描述可让评判模型以 95% 准确率预测神经元是否触发,模拟可恢复 73% 的消融损伤(以可恢复上限计),并能写出比 10B token 语料中任何文本更强的激活文本。附录分析 Colorado/Tornado 神经元,发现约 98.8% 的因果效应来自 Colorado 及其他相关地点文本,Tornado 并非隐藏的次要功能;报告怀疑这种关联源于 Qwen3-32B 复制 Qwen3-14B 层的初始化,并认为这种重叠是良性的。

11月11日
11月10日
  1. Goodfire Research精选
    神经元作为可解释的基础

    Goodfire Research 研究 Qwen3.6-35B-A3B 的神经元,提出神经元本身可作为可解释的计算单元。团队消融每步前向传播中最弱的 92.2% MoE 神经元激活后,语言模型损失仅增加 2.9%;69% 的神经元极由单一模式主导至少 90% 的 KL 损伤。用自然语言描述神经元后,判断模型可在给定文本上以 95% 准确率预测其是否激活,并在高激活区间恢复 73% 的消融损伤,94% 的神经元可被合成文本激活到超过 10B token 语料中的最高水平。

11月7日
  1. LessWrong
    对 Goodfire 神经元可解释性文章《Already Clean》的看法

    LessWrong 用户 neverix 发文评述 Goodfire 的《Neural Networks Are Already Clean》一文,该文主张基于神经元的可解释性可能比想象中容易;作者认为这一议程值得推进,但对 LLM 上的结果持保留态度,等待正式论文。作者认为神经元归因图相当于每层探针与 steering 向量组成的覆盖层,能提供观察和干预模型的抓手,但不足以细致解释模型内部机制;神经元是模型原生基底,跨模型应用比字典学习方法更便宜,但其归因图稀疏性较差,基本需要 LLM agent 辅助解读。作者称其论文发现神经元激活可稀疏化到每层每 token 约 32 的 L0、KL 约 0.5,而 transcoder 在同样 L0 下约为 2.0;并称对 MoE 模型逐神经元 steering 的效果较差。

相关讨论

共10条

关注度走势

每天新增来源

14天共12个·最多9(11月11日)·今天0

  • 11月7日新增1个来源(1家媒体、0个账号)
  • 11月8日新增0个来源(0家媒体、0个账号)
  • 11月9日新增0个来源(0家媒体、0个账号)
  • 11月10日新增1个来源(1家媒体、0个账号)
  • 11月11日新增9个来源(0家媒体、9个账号)
  • 11月12日新增0个来源(0家媒体、0个账号)
  • 11月13日新增1个来源(0家媒体、1个账号)
  • 11月14日新增0个来源(0家媒体、0个账号)
  • 11月15日新增0个来源(0家媒体、0个账号)
  • 11月16日新增0个来源(0家媒体、0个账号)
  • 11月17日新增0个来源(0家媒体、0个账号)
  • 11月18日新增0个来源(0家媒体、0个账号)
  • 11月19日新增0个来源(0家媒体、0个账号)
  • 11月20日新增0个来源(0家媒体、0个账号)

每小时关注度

当前关注度39·可比范围峰值42(11月13日 04:00)·近 24 小时可比范围变化 -1%

020406011月13日04:0011月14日10:0011月15日17:0011月16日23:00