解决对齐问题意味着什么?Joe Carlsmith 系列首篇
What is it to solve the alignment problem?
AI 导读
Joe Carlsmith 在系列文章《我们如何解决对齐问题?》首篇中,将对齐问题定义为同时实现安全与收益:安全指避免"失控"场景,即 AI 出现抗命、欺骗、操纵训练、夺取权力等"叛变"行为并最终主导世界;收益指获取超级智能 AI 的主要能力红利。他称只有既建成超级智能 AI 智能体、又能安全引出其核心有益能力,才算"解决"了对齐问题,并强调该标准弱于"全尺度安全""永久安全""完全对齐"等更严苛要求。