跳到正文
原文
Joe Carlsmith· Joe Carlsmith·· 2025-09-30

如何控制 AI 可选择的行动选项:Joe Carlsmith 对齐问题系列第七篇

Controlling the options AIs can pursue

AI 导读

Joe Carlsmith 在“如何解决对齐问题”系列第七篇中,将控制 AI 可选行动分为“限制流氓选项”与“其他激励塑造”两类。限制流氓选项的核心挑战是超级智能可能采用人类无法预先设想或实时检测的“超人策略”,并叠加监督稀缺、监督延迟、对抗动态与不透明性四个子挑战。应对思路分为控制 AI 能力与控制其环境(含监督与环境加固),但有效监督超级智能体本身可能依赖不可信的 AI 劳动。

阅读原文joecarlsmith.substack.com