AI 可解释性是否接近突破?一篇新文章让研究者意见分歧
Is AI interpretability close to a breakthrough? A new essay has researchers divided
AI 导读
机械可解释性研究者 Cammarata 在一篇新文章中重新解读多义神经元与叠加现象等经典结论,认为这些最著名的例子被误读,在领域内引发分歧。他把 InceptionV1 中同时响应猫脸与车头的神经元重新解读为 V 形探测器,把论文 Zoom In 里藏在狗神经元中的车视为普通泛化,并提出递归泛化的模式。他给出 Qwen3-32B 的初步数字:约 90% 的神经元极点只有一项主要功能,约 7% 有两项相关功能,2% 到 4% 无法解释;Goodfire 称在参数量达万亿级的模型上看到类似结果。OpenAI 员工 Roon 称这可能是科学史上的重要时刻,Google DeepMind 可解释性团队负责人 Neel Nanda 则认为它不改变大局,并坚持叠加现象仍然存在。Cammarata 认为可解释性对 AI 安全至关重要,否则难以判断模型是否在欺骗。
阅读原文