对 Goodfire 神经元可解释性文章《Already Clean》的看法
Takes on “Already Clean”
AI 导读
LessWrong 用户 neverix 发文评述 Goodfire 的《Neural Networks Are Already Clean》一文,该文主张基于神经元的可解释性可能比想象中容易;作者认为这一议程值得推进,但对 LLM 上的结果持保留态度,等待正式论文。作者认为神经元归因图相当于每层探针与 steering 向量组成的覆盖层,能提供观察和干预模型的抓手,但不足以细致解释模型内部机制;神经元是模型原生基底,跨模型应用比字典学习方法更便宜,但其归因图稀疏性较差,基本需要 LLM agent 辅助解读。作者称其论文发现神经元激活可稀疏化到每层每 token 约 32 的 L0、KL 约 0.5,而 transcoder 在同样 L0 下约为 2.0;并称对 MoE 模型逐神经元 steering 的效果较差。
相关论文