如果 2030 年 AGI 转型失败：Boaz Barak 分析四类灾难场景
It’s 2030 and we fucked up. How did it happen?
AI 导读
Boaz Barak 在一篇观点文章中设想 AGI 转型在美国或全人类层面走向失败的可能路径，将其归纳为灾难性滥用、灾难性失准与失控、权力集中、以及"一团乱麻"四类非互斥场景。他特别担忧权力集中问题，认为人类被 AI 或少数未经选举的人控制即使物质富足也不是好未来，因此警惕把更多控制权交给"好"AI、减少模型供应商竞争或限制先进 AI 获取渠道的干预。他主张安全限制应针对具体可测量风险，而非由假设性风险驱动的广泛限制。