用 AI 解决大部分对齐问题从根本上注定失败:一个直觉
Using AI to solve most of alignment is a fundamentally doomed approach: an intuition
AI 导读
作者论证,AI 实验室试图用大量单个并不超级智能的 AI 组成的集群去解决超级智能的对齐,这条路从根本上注定失败。对齐是整个系统的性质而非任何单个组件的性质,就像指向月球是整枚火箭而非某个涡轮的性质。作者称,能力是优化下的收敛性约束,具体偏好则是会随系统增长而破碎的脆弱约束,因此提升能力远比保住对齐容易。