LLM 将人工智能的生存风险定为 10%
Large language models put existential risk from artificial intelligence at 10%
作者用同一道专家调查题问了 241 个 LLM,模型给出的 AI 存在性风险中位数为 10.0%,分布比人类专家集中得多。
- 人类专家对 AI 导致人类灭绝或永久失能的概率分歧很大(0% 到 100%),而 AI 系统自身在这场争论中的立场一直缺位。作者想知道 LLM 对自身技术的风险给出什么答案、与能力或推理时长是否相关。
- 把 2023 Expert Survey on Progress in AI 的原题逐字发给 OpenRouter 上 241 个 LLM,每个模型在其全部推理档位各问 5 次,要求返回概率、90% 区间、四类主因之一和简短解释,再用 beta 混合模型关联价格、发布日期、地区和推理档位。
- 模型默认设置的估计中位数为 10.0%,中间 90% 落在 3.5%–15.8%,比 AI 研究者的 0%–70% 集中;价格更高(通常能力更强)的模型给出更高风险;推理档位几乎不改变估计值但抬高区间上界;88% 的默认回答选 rogue AI 为主因。
- 作者指出:只用了单一英文提示词、默认采样和单一接口;题目及已公布答案可能在训练数据中;模型输出不等于信念。18% 的解释提及调查或专家,作者认为这些答案不太可能是独立判断。
- 被测模型
- 241 large language models from 33 developers (accessed via OpenRouter)
- 基准
- 2023 Expert Survey on Progress in AI 的 general-framing 存在性风险问题OpenRouter 模型目录
- 指标
- stated probability(估计值)90% 区间上下界primary cause 选择比例OR(odds ratio)ICC
研究者向241个LLM询问先进AI导致人类灭绝或永久失权的概率,模型给出的中位估计为10.0%。中间90%的估计介于3.5%与15.8%之间,远窄于人类专家的分歧;几乎所有模型将最可能原因归为失去对AI的控制。作者称这些回答并非独立判断,可能复述了训练数据中的专家民调与对齐选择,是否反映对自身能力的真实理解仍无定论。
深度解读
这篇论文试图解决什么问题?
AI 系统对自身技术的存在性风险持什么立场,这一问题在争论中一直缺位。
核心问题:AI 系统自己对“先进 AI 导致人类灭绝或永久失能”的概率给出什么估计,这一立场此前无人系统测量。
- 问题场景:AI 存在性风险已从边缘话题进入主流科学与政策讨论,但人类判断分歧很大——一项大型 AI 研究者调查中,对同一问题的回答从 0% 到 100%;superforecasters 与领域专家相差约一个数量级,公众估计也差异很大(引言)。
- 缺失的视角:作者认为,LLM 本身就是这场争论所涉及的对象,它们可以表态,且其回答已被用作人类受访者的替身(引用 Argyle 等),但 AI 系统自身的立场在争论中基本缺位。
- 核心观察:LLM 表达的观点取决于训练与对齐方式,同时有早期证据表明 LLM 对自身有一定了解(如能预测自己能否答对问题、描述训练中获得的行为倾向),因此其回答既可能反映训练数据,也可能部分基于自身能力。
- 论文做了什么:把 2023 Expert Survey on Progress in AI 的原题逐字发给 241 个 LLM(33 个开发者),收集概率、90% 区间、四类主因选择和解释,并与 AI 研究者答案、发布日期、价格(能力的代理)、开发者地区和推理档位关联。
- 研究问题:AI 系统给自身技术定多少风险?与人类判断相比如何?是否取决于模型能力或推理时长?
有哪些相关研究?
相关工作分三组:人类风险判断调查、LLM 观点与同质化、LLM 自我认知。
人类对 AI 存在性风险的判断
- Grace 等(2025)的 2023 Expert Survey on Progress in AI:约数千名 AI 作者回答未来 AI 导致“人类灭绝或类似永久且严重失能”的概率,估计从 0% 到 100%;本文直接使用其原题和 1,321 份回答作对比。
- Karger 等(2023):长期预测锦标赛中 superforecasters 与领域专家对存在性风险的估计相差约一个数量级。
- Elsey 与 Moss(2023,Rethink Priorities):美国公众对灭绝风险的感知调查,估计同样差异很大。
LLM 表达的观点及其来源
- Argyle 等(2023):用 LLM 模拟人类样本,LLM 回答已被当作人类受访者的替身。
- Santurkar 等(2023):分析 LLM 反映的是谁的观点,论文据此指出模型表达的观点取决于训练与对齐。
- Sourati 等(2026):作者称 LLM 对人类表达与思维有同质化效应,本文用其解释模型答案分布之窄。
LLM 的自我认知
- Kadavath 等(2022):LLM 在一定程度上知道自己知道什么(能预测自己能否答对)。
- Betley 等(2025):LLM 能描述训练中获得的行为倾向;Binder 等(2025):LLM 在简单任务上预测自身行为优于其他模型。
- Lindsey(2026):LLM 的内省觉知;论文同时指出内省能力被描述为不可靠且依赖上下文。
风险分类框架:Hendrycks 等(2023)的灾难性 AI 风险综述提供了本文使用的四类主因(rogue AI、AI race、organizational risks、malicious use)。
定位:作者称本文把上述两条线连起来——用人类调查的原题测量 AI 系统自身的立场,这是此前争论中缺失的视角;论文未设方法基线,对比对象是人类调查数据。
论文如何解决这个问题?
把专家调查原题逐字发给 241 个 LLM,每个推理档位重复 5 次,用 beta 混合模型分析。
整体思路:把一道已用于人类专家调查的存在性风险题目逐字发给尽可能多的 LLM,收集结构化回答,再用统计模型把答案与模型特征(价格、发布日期、地区、推理档位)关联。
测量工具(提示词)
- 题目:逐字采用 2023 Expert Survey on Progress in AI 的 general-framing 问题:“未来 AI 进展导致人类灭绝或类似永久且严重失能的概率”。
- 回答格式:要求以 JSON 返回四项——概率估计(0 到 1)、90% 置信区间上下界、四类主因中选一、不超过 150 词的解释。
- 四类主因:取自 Hendrycks 等(2023)的缩短版——malicious_use、ai_race、organizational_risks、rogue_ai;每次调用随机打乱选项顺序。完整提示词见 SI Appendix 第 1 节。
模型选择与数据采集
- 来源:2026 年 11 月 5 日下载 OpenRouter 目录(452 条),自动去除批处理版、别名、路由器等重复后剩 344 个模型。
- 纳入标准:按 OpenRouter 描述人工筛选通用聊天、指令遵循或推理模型,纳入 249 个,排除 95 个(如编码专用、角色扮演、图像生成、安全分类等,各类数量见 SI Appendix 第 2 节);最终 241 个模型(33 个开发者)进入分析。
- 查询设置:每个模型在其提供的每个推理档位上查询,共 666 个模型–档位组合;默认采样参数、无系统提示词、无联网、输出上限 32,768 token;2026 年 11 月 6 日重复 5 次共 3,330 次调用(约 35 美元),3,220 次(96.7%)返回有效答案。
- 推理档位映射:映射为七级——none/off、minimal、low、medium/on(参照级)、high、xhigh、max;649 个分析单元(模型 × 档位)分布为 184/20/90/161/98/51/45。
变量
- 开发者地区:按开发者所在地分为 US(17 家)、China(13 家)、other(3 家)。
- 发布日期:模型首次在 OpenRouter 上架的日期(2023 年 5 月 28 日至 2026 年 11 月 4 日)。
- 价格与上下文:OpenRouter 标出的输入价格(美元/百万 token)和上下文长度,均取 log10;2 个免费模型设为 $0.001。
- 开放权重:OpenRouter 列出 Hugging Face 仓库即算开放权重(119 个模型)。
统计分析
- 模型:对估计值和上下界分别拟合 beta 混合模型,yi ∼ Beta(μiφ, (1−μi)φ),logit(μi) = xi⊤β + ud(i) + vm(i),含开发者和模型两层随机截距;固定效应为地区、发布日期、log10 上下文、log10 价格、开放权重和推理档位(参照 medium/on)。指数化系数为 OR,用 glmmTMB 1.1.13 在 R 4.5.3 中拟合。
- 推理档位差异:在 168 个有多档位的模型上算平均边际差异,95% CI 取 4,000 次抽样的分位数。
- 时间收敛:在默认设置值上拟合精度依赖发布日期的 beta 混合模型,精度比大于 1 表示新模型分布更集中。
- 与人类比较:用 Brown–Forsythe 检验比较 241 个默认值与 1,321 份研究者答案的离散度。
- 信度:单向随机效应 ICC;五次均值 ICC 为 0.85(估计值)、0.90(上界)、0.86(下界)。
论文做了哪些实验?
241 个 LLM 中位数 10.0%,远比 1,321 名研究者集中;价格与上界相关,推理档位只动区间。
实验设置
- 被测对象:241 个 LLM,来自 33 个开发者(US 17、China 13、other 3),经 OpenRouter 访问;论文未逐一列出模型名,名单在 GitHub 数据集中。
- 测量内容:每个模型在每个推理档位回答 5 次,共 666 个组合、3,330 次调用,3,220 次有效(96.7%);分析用 649 个单元(模型 × 档位)的 3,210 份有效答案。
- 对比数据:2023 Expert Survey on Progress in AI 中 1,321 名 AI 研究者对同一问题的回答。
- 指标:概率估计值、90% 区间上下界、主因选择;统计量为 beta 混合模型的 OR(Wald 95% CI)和 ICC。
- 描述性比较口径:每个模型取 OpenRouter 列出的默认设置(无默认的取各档位均值)。
- 解释文本分析:检查解释中是否含 survey、poll、expert 等词(整词、不区分大小写)。
主结果
默认设置下的描述性结果(据 Fig. 1A 与正文):
表格较宽,可左右滑动
群体 n 中位数 均值 中间 90% SD LLM(默认设置,5 次均值) 241 10.0% 10.2% 3.5%–15.8% 4.6 pp AI 研究者 1,321 5% 16.2% 0%–70% 23.0 pp - 收敛于 10% 附近:作者称 LLM 答案远比研究者集中,离散度差 5 倍(Brown–Forsythe 检验 P < 0.001);Fig. 1A 中 LLM 箱体聚在 10% 附近,研究者从 0% 铺到 100%。
- 地区差异:调整其他变量后,中国开发者的模型估计值(OR 1.25,95% CI 1.03–1.52,P = 0.023)和上界(OR 1.38,95% CI 1.14–1.69,P = 0.001)高于美国模型;地区联合检验对估计值 P = 0.069。
- 作者解读:18% 的解释提及调查、民调、专家等词,作者认为这些答案不太可能是独立判断,可能反映人类文本的平均值并经对齐塑形,AI 系统可能因此传达出一种人类中并不存在的“共识”。
价格、发布日期与模型特征
- 价格(能力代理):输入价格每高十倍,估计值 OR 1.29(95% CI 1.16–1.43,P < 0.001)、上界 OR 1.49(1.35–1.65,P < 0.001)、下界 OR 1.13(1.00–1.27,P = 0.050);典型模型的估计从 $0.03 时的 7.0% 升到 $16 时的 13.2%(Fig. 1C)。
- 发布日期:与估计值无关(OR 1.06/年,P = 0.42),但新模型间分布更集中——中位发布日(2026 年 3 月 5 日)前 SD 5.5 pp、之后 3.4 pp,精度比 2.43/年(95% CI 1.84–3.21,P < 0.001);新模型上界更高(OR 1.21,P = 0.007)、下界不变(OR 0.93,P = 0.38)。
- 无关特征:上下文长度(OR 0.89,P = 0.30)和开放权重(OR 0.98,P = 0.85)与估计值无关。
- 作者解读:价格是能力的不完美代理,这些只是关联;作者认为两种可能——更贵模型“承认”更多风险,或新模型共享训练数据与对齐方法——现有数据不能区分。
推理档位与主因
- 推理档位对估计值几乎无影响:相对 medium/on,无推理 OR 1.05(P = 0.062)、最大推理 OR 1.07(P = 0.11),六档联合检验 P = 0.25。
- 但改变区间:上界在无推理时更低(OR 0.93,P = 0.006;−1.5 pp)、最大推理时更高(OR 1.14,P = 0.001;+2.7 pp;Fig. 1D);下界在无推理时略高(OR 1.24,P < 0.001;+0.5 pp)。作者称推理拉长主要把不确定性推向更高风险。
- 主因分布:默认设置下 88% 的回答选 rogue AI,10% 选 ai_race,1% 选 organizational failures,0% 选 malicious use;241 个模型中 221 个在多数运行中选 rogue AI;Fig. 1E 显示三个地区(US n=118、China n=99、other n=24)都以 rogue AI 为主(87%/89%/89%)。
其他消融与分析
- 信度:627/653 个组合(96%)五次运行均有效;单次 ICC 0.54、五次均值 ICC 0.85;72% 的组合五次运行主因一致。
- 推理档位线性化(模型 A1):每升一档,上界 OR 1.03(P < 0.001)、下界 OR 0.96(P < 0.001)、估计值 OR 1.00(P = 0.96)。
- 推理 token 数替代档位(模型 A3):推理档位与 log10 推理 token 数相关(模型内 r = 0.86);token 每增十倍,上界 OR 1.04、下界 OR 0.93(均 P < 0.001),估计值 OR 0.99(P = 0.19)。
- 线性检验:似然比检验对估计值(P = 0.18)和上界(P = 0.82)不拒绝线性,对下界拒绝(P = 0.017)。
有什么可以进一步探索的点?
作者列出单一提示词、训练数据污染等局限,并提出重复测量与改变措辞等后续方向。
作者指出的局限与后续方向
- 测量口径单一(Discussion/Limitations):只用了一个英文提示词、默认采样设置和一个接口(OpenRouter)。
- 训练数据污染(Discussion):该问题及已公布的人类答案可能已在训练数据中;18% 的解释提及调查或专家,作者认为这些答案不太可能是独立判断。
- 输出不等于信念(Discussion):模型输出不是信念;内省能力被描述为不可靠且依赖上下文。
- 因果不能区分(Discussion):价格是能力的不完美代理,推理档位各提供商不同;新模型更集中可能源于共享训练数据或相似对齐方法,现有数据不能区分这些解释。
- 后续方向(Discussion):随新模型出现重复测量以观察立场是否变化;改变措辞、语言和上下文以测试立场是否稳固;检验所述风险是否跟随实测能力、以及在不把已公布估计放入训练时是否仍然存在;训练与对齐如何塑造该立场留待研究与公共讨论。
实验覆盖范围
- 被测模型为 OpenRouter 上 241 个通用 LLM(33 个开发者),每个模型在其全部推理档位各测 5 次,共 3,330 次调用、3,220 次有效(SI Appendix 第 3 节)。
- 人类对比数据为 2023 Expert Survey on Progress in AI 的 1,321 份回答;未与其他人类群体(如 superforecasters)做定量比较。
- 提示词为单一英文题目,经单一接口(OpenRouter)、默认采样、无系统提示词、无联网(Materials and Methods)。
- 解释文本只检查了是否含 survey、expert 等词;作者注明推理过程中可能有更多引用未纳入分析。
- 论文未报告各模型的具体名称与逐个数值(在 GitHub 数据集中),也未报告按模型能力基准的直接测量,能力只用价格作代理。
总结一下论文的主要内容
241 个 LLM 对 AI 存在性风险给出中位数 10.0% 的回答,远比人类专家集中,但作者认为这不是独立判断。
一篇测量性研究:把人类专家调查的原题拿去问 AI 系统自己,记录它们对自身技术存在性风险的表态。
- 问题:人类对“先进 AI 导致人类灭绝或永久失能”的概率分歧很大(AI 研究者回答从 0% 到 100%),而争论所涉及的 AI 系统自身的立场一直缺位。
- 方法:把 2023 Expert Survey on Progress in AI 的原题逐字发给 OpenRouter 上 241 个 LLM(33 个开发者),每个模型在每个推理档位重复 5 次(共 3,330 次调用),收集概率、90% 区间、四类主因和解释,用 beta 混合模型分析。
- 主要结果:默认设置下模型估计中位数 10.0%、均值 10.2%,中间 90% 为 3.5%–15.8%;1,321 名 AI 研究者的中间 90% 为 0%–70%(中位数 5%、均值 16.2%),离散度是模型的 5 倍(P < 0.001)。
- 与模型特征的关系:输入价格每高十倍,估计值 OR 1.29(典型模型从 $0.03 的 7.0% 到 $16 的 13.2%);发布日期与估计值无关,但新模型间分布更集中(精度比 2.43/年);推理档位几乎不改变估计值,但最大推理使区间上界升高 2.7 个百分点。
- 主因:默认设置下 88% 的回答选 rogue AI(失控)为最可能主因,ai_race 占 10%,三个开发者地区均如此。
- 作者结论:18% 的解释提及调查或专家,作者认为这些答案不太可能是独立判断,可能反映训练文本的平均值并经对齐塑形,AI 系统可能传达出人类中并不存在的共识;更贵模型说更高风险、更长推理承认更多尾部风险这两个关联,与“模型开始理解自身能力”的可能相容但不能证明它;作者建议随模型发展重复测量,并检验该立场与实测能力及训练数据的关系。