OpenAI 前研究员 Nick Cammarata 与 Goodfire：约 90% 神经元各有一个主要任务

OpenAI 前研究员 Nick Cammarata 与 Goodfire 团队发布长文《神经网络早已「干净」》，提出神经网络的内部计算大多有规律可循，而非混乱的拼盘。团队以一个万亿参数模型回答「捡到钱包是否归还」为例画出电路图，追踪答案如何形成，再通过关闭神经元检验解释是否可靠：关掉 20 个标为「圣诞节」的神经元后，模型回答「圣诞老人」的概率仍有 76%，换成另外 8 个关键神经元则骤降到 6%。在一个 320 亿参数语言模型中，团队分开统计神经元的正负响应，粗略估计约 90% 各有一个主要任务，约 2% 至 4% 仍未理解；Nick 估计 ConvNeXt 视觉模型最后一层约 99% 的神经元可解释。团队还让一个 Agent 写神经元功能说明、另一个据此造句做盲测，183 个正向解释中目标例子强激活比例 76%、干扰例子 11%，逐个比较为 164 胜 15 平 4 负。