OpenAI 可解释团队创建人称大模型黑箱几乎可读,Qwen3-32B 中约 90% 神经元只有一个功能
神经网络可解释性被AI解决了?90%神经元只有一个功能
AI 导读
OpenAI 可解释团队创建人 Nick Cammarata 在一篇长文中称,借助现代智能体工具,万亿参数的大模型也几乎可读,此前认为神经网络表征纠缠的叠加假说是误解。他重新检查 InceptionV1 中同时响应猫脸与汽车前脸的神经元后认为,二者共享 V 形特征,神经元更像区分模式的动词而非给物体贴标签的名词。作者对 Qwen3-32B 的初步审查显示,约 90% 的神经元正负两极各有一项主要工作,约 7% 有两项,2% 至 4% 尚未理解,稠密模型与 MoE 模型结论相近。作者称在 Kimi K3 上做出已知首个万亿参数模型的归因图,用新工具重审 GPT-2 XL 时约 70% 的神经元也大致是一回事。智能体被用于检查神经元样本、提出解释、追踪上下游连接并设计反例实验。
推荐理由
作者对叠加假说的重新检视与智能体辅助的验证方法,为判断大模型内部是否可读提供了不同于主流路线的初步证据。
阅读原文