Joe Carlsmith 提出给 AI 安全动机的四步路线图

Joe Carlsmith 在《Give AIs safe motivations》一文中提出一套四步走的动机控制方案，用以防止高级 AI 系统在被赋予可行恶行选项的危险输入场景下采取流氓行为。四个步骤依次为：确保 AI 在安全输入上遵循指令并准确评估其表现、杜绝其在安全输入上的对齐伪装、深入研究非对抗泛化直至能确信该行为会迁移到危险输入、以及在危险输入上用指令排除相关形式的流氓行为。他强调前三步各自牵涉深层挑战，整体并非完整解决方案，而是将问题结构化分解，其中大量科学进展有望由 AI 劳动加速推动。