Joe Carlsmith 论为安全而限制 AI 能力发展
On restraining AI development for the sake of safety
AI 导读
Anthropic 员工 Joe Carlsmith 在系列文章第十篇中主张，为保障 AI 安全需要具备"能力限制"（capability restraint）手段，即必要时引导和约束 AI 能力发展。他将安全发展先进 AI 的关键因素分为安全进展、风险评估与能力限制三类，认为安全进展需要时间，若无法在每一阶段争取足够时间，人类可能被毁灭。他指出算法进展比算力获取更难监控和阻止，这会削弱能力限制的持续性和稳定性，国际机制设计也更具挑战。