跳到正文
原文
LessWrong· Zvi·本站收录· 原文发表精选关注度41

Zvi 评 Goodfire 神经元可解释性新论:多数神经元只对应一个概念,但对齐远未解决

I Can See Everything

AI 导读

LessWrong 作者 Zvi 梳理了对 Goodfire 研究者 Nick Cammarata「神经网络已然干净」一文的两极反应,认为这是关于神经元可解释性的重要更新,但离解决可解释性和对齐仍很远。Cammarata 称,早期模型中出现多义性的原因并非叠加,而是若干普通且大多可修复的问题,以及他所说的「递归泛化」;对 Qwen3-32B 的初步审计估计约 90% 的神经元极只有一个主要功能,约 7% 有两个相关功能,2% 至 4% 尚未被理解,在 Kimi K3 等万亿参数模型上结果类似。Dean W. Ball、roon 等 OpenAI 研究者称其意义可比「Attention Is All You Need」,Neel Nanda、Leo Gao、Joshua Achiam 与 Eliezer Yudkowsky 则认为进展有限,仍需更严格地评估解释本身。

推荐理由

文章把 Goodfire 新论的支持与质疑并列呈现,区分了神经元可读性上的进展与对齐仍未解决之间的距离。

阅读原文lesswrong.com