跳到正文
原文
arXiv· arXiv:2501.16946· Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, David Duvenaud·本站收录· 原文发表

渐进式失权:AI 增量发展带来的系统性生存风险

Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development

AI 导读

论文提出渐进式失权概念,认为 AI 能力的增量提升会逐步削弱人类对经济、文化、国家等社会系统的影响力,与常见的突然夺权叙事相对。作者称,随着 AI 在这些领域替代人类劳动与认知,投票、消费者选择等显式控制机制,以及社会系统因依赖人类参与而形成的隐性利益对齐都会被削弱;当这些系统激励的结果与人类偏好不一致时,AI 可能更激进地优化这些结果。经济权力塑造文化叙事与政治决策,文化变迁又影响经济与政治行为,作者认为这些效应可能相互强化,造成人类对关键社会系统影响力的实际不可逆丧失,并建议针对这一风险开展技术研究与治理。

阅读原文arxiv.org