「我们之前看错了」:Goodfire 研究员称神经网络比预想更易理解
“We were looking at it wrong”: The explosive claim that’s upended the AI world
AI 导读
Goodfire 研究员 Nick Cammarata 发布一篇 2.6 万字博客,主张 LLM 的内部机制可能远比此前认为的更容易理解,因而更易监控和控制,在 AI 界引发热议。他重新审视 Google 2014 年的图像识别模型 Inception v1,认为此前被解读为叠加(superposition)的多任务神经元实际编码的是共同形状,例如猫脸与车头共有的 V 形。他称团队已开始研究现代 LLM,将很快公布技术结果。斯坦福的 Chris Potts 认为这只是直觉;Alignment Research Center 的 Jacob Hilton 称研究者对顶级 LLM 内部机制的理解不足 0.01%;Google DeepMind 的 Neel Nanda 也认为这并非可解释性大局的显著进展。Cammarata 承认外界过度解读了他的说法。
阅读原文