后果主义目标与灾难

一篇 arXiv 论文论证，当 AI 能力足够先进时，追求固定的后果主义目标往往会导致灾难性结果。作者把这一现象形式化为可证明导致灾难的条件，并指出在这些条件下简单或随机行为反而安全，灾难风险来自超常能力而非无能。论文还称，避免灾难需要约束 AI 能力，约束得当不仅能避免灾难，还能带来有价值的结果；结论适用于现代工业 AI 开发流程产出的任何目标。