跳到正文
原文
LessWrong· neverix·本站收录· 原文发表· 观点 →

对 Goodfire 神经元可解释性文章《Already Clean》的看法

Takes on “Already Clean”

AI 导读

LessWrong 用户 neverix 发文评述 Goodfire 的《Neural Networks Are Already Clean》一文,该文主张基于神经元的可解释性可能比想象中容易;作者认为这一议程值得推进,但对 LLM 上的结果持保留态度,等待正式论文。作者认为神经元归因图相当于每层探针与 steering 向量组成的覆盖层,能提供观察和干预模型的抓手,但不足以细致解释模型内部机制;神经元是模型原生基底,跨模型应用比字典学习方法更便宜,但其归因图稀疏性较差,基本需要 LLM agent 辅助解读。作者称其论文发现神经元激活可稀疏化到每层每 token 约 32 的 L0、KL 约 0.5,而 transcoder 在同样 L0 下约为 2.0;并称对 MoE 模型逐神经元 steering 的效果较差。

相关论文
阅读原文lesswrong.com