跳到正文
原文
LessWrong· Yair Halberstadt·本站收录· 原文发表

链接帖:神经网络已经清晰可读

Linkpost: Neural Networks Are Already Clean

AI 导读

Yair Halberstadt 在 LessWrong 发链接帖,转述 Nick Cammarata 关于机制可解释性的长文,后者称神经网络并不像他早年认为的那样纠缠难解。Cammarata 称自己在 OpenAI 参与早期机制可解释性工作后一度悲观,后来启动 OpenAI 首个大规模自动化可解释性项目,用当时的原始工具只发现约 2% 的神经元可读;借助现代 Agent 工具和更细致的观察,参数规模直到万亿级的模型中绝大多数神经元可读,许多著名的纠缠神经元案例实为误解。他认为雄心勃勃的可解释性会在最需要时被解决,甚至可能很快。Roon 引用转发称这可能是科学史上的重要时刻,发帖作者则追问这相对已知成果有多大推进、对对齐实践有何用处。

阅读原文lesswrong.com