《国际AI安全报告2026》发布

核心问题：通用 AI 能力快速演进，但关于其风险的证据出现得慢且难以评估，政策制定者面临"证据困境"（evidence dilemma）——过早行动可能固化无效甚至有害的干预，等待确证证据又可能让社会暴露于潜在严重影响之下。

• 报告定位：这是第二份《国际 AI 安全报告》，源于 2023 年 Bletchley Park AI 安全峰会的授权，目标是形成国际共享的科学评估，支撑知情决策；报告不作具体政策建议（About this Report）。
• 范围收窄：相比 2025 年版，本版聚焦"新兴风险"（emerging risks）——出现在通用 AI 能力前沿的风险，不再覆盖偏见、环境影响、隐私、版权等议题，以与联合国独立国际科学小组等其他工作互补（About this Report 脚注）。
• 三个核心问题：报告围绕三个问题组织——通用 AI 今天能做什么、能力将如何变化（第 1 章）；带来哪些新兴风险（第 2 章）；有哪些风险管理方法、有效性如何（第 3 章）（Introduction）。
• 证据基础不均：作者指出，AI 生成媒体危害、网络安全漏洞等风险已有稳健实证，而依赖未来能力发展的风险只能依靠建模、受控实验与理论分析；报告在不确定性高的地方标注证据缺口（Introduction）。
• 编写方式：由 30 多人的写作团队完成，100 多位专家参与，含 30 多国与国际组织提名的专家咨询小组；主席领导的独立写作团队对内容有完全决定权（About this Report）。

本报告是证据综合（synthesis），引用数百项研究，以下按报告自身的组织方式归纳其主要依据的工作类别。

能力与预测

• Epoch AI（2025）——提供训练算力增长（最大训练 run 已超 10^26 FLOP）、基准分数趋势与公司收入数据（Figure 1.4、1.6、1.8）。
• Kwa et al.（2025）——AI 智能体可完成的软件任务时长约每 7 个月翻倍，80% 成功率下当前约 20–30 分钟（Figure 1.7、技术附录）。
• Forecasting Research Institute（212、229）——专家预测：2027 年 FrontierMath 达 55% 准确率的概率为 50%；AI 预测专家对"六年进展压缩为两年"给中位数 20% 概率，超级预测者给 8%。
• OECD（2026）——与报告合作提出 2030 年四档能力情景：停滞、放缓、持续、加速（§1.3）。

风险证据

• 恶意使用：Costello et al.（2024）、Hackenburg et al.（2025）等实验研究 AI 说服力；Heiding et al.（2024）的 AI 钓鱼邮件研究；Rodriguez et al.（2025）的网络攻击链框架；Rose and Nelson（2023）的生物武器开发流程图。
• 故障与失控：Meinke et al.（2024）关于模型在被告知将被替换时的规避行为；SimpleQA Verified 等事实性基准（Figure 2.10）。
• 系统性风险：劳动力市场与自主性研究（§2.3，所附文本仅含开头部分）。

风险管理

• 报告讨论 12 家公司 2025 年发布或更新的 Frontier AI Safety Frameworks，以及 OpenAI Preparedness Framework、Anthropic Responsible Scaling Policy、Google DeepMind Frontier Safety Framework（Box 2.2）。

定位：作者称本报告是"对现有研究的综合"（Disclaimer），不代表任何政府或个体观点，也不作政策背书；与 2025 年版相比新增 OECD 情景与 Forecasting Research Institute 预测（Forewords）。

报告不是实验研究，其"方法"是系统的证据综合框架，要点如下。

范围与定义

• 通用 AI（general-purpose AI）：能跨情境执行多种任务的模型与系统，涵盖语言、图像、视频、机器人、生物分子结构预测与 AI 智能体（Table 1.1）。
• 新兴风险：出现在能力前沿的风险；系统性风险定义为高能力通用 AI 在社会与经济中广泛部署所导致的风险（与 EU AI Act 用法不同，报告有脚注说明）。
• 证据截止时间：综合 2025 年 12 月前发表的证据（Introduction）。

编写与评审流程

• 团队：主席（Yoshua Bengio）领导，含章节负责人、主笔、核心写作者共 30 余人；100 多位专家参与。
• 评审：初稿经外部领域专家评审，合并稿由专家咨询小组（30 多国与 OECD、EU、UN 提名代表）、高级顾问组、产业与公民社会代表评审；专家咨询小组仅提供技术反馈，不背书任何政策路径（Contributors）。
• 独立性：主席领导的独立写作团队对内容有完全决定权（About this Report）。

内容组织

• 第 1 章（能力）：开发流程六阶段（数据收集与策展、预训练、后训练与微调、系统集成、部署发布、部署后监控，Table 1.2）；当前能力与"锯齿状"局限；2030 年展望含 OECD 四情景与技术附录（scaling laws、数据可得性、算力基础设施约束、FrontierMath 等难基准解读）。
• 第 2 章（风险）：分三类——恶意使用（AI 生成内容与犯罪、影响与操纵、网络攻击、生物与化学风险）、故障（可靠性挑战、失控）、系统性风险（劳动力市场、人类自主性）。每节含"关键信息"、证据、证据缺口、缓解措施、政策制定者挑战。
• 第 3 章（风险管理）：技术与制度挑战、风险管理实践、技术防护与监控、开放权重模型、社会韧性建设（所附文本仅含第 2 章中部之前内容，第 3 章细节未附上）。

新增结构元素

• 每节含"自 2025 年报告以来的更新""政策制定者挑战""证据缺口"固定栏目；新增 OECD 情景与 Forecasting Research Institute 预测（Introduction）。

本报告为证据综合，不含原创实验。以下按报告章节列出其引用的主要定量结果，均来自被引研究。

能力证据（第 1 章）

• 基准表现：领先模型在 MMLU 超 90%、GPQA 超 80%；2025 年 7 月 Google DeepMind 与 OpenAI 模型在国际数学奥林匹克达金牌水平，六题解出五题（§1.2）。
• 智能体任务时长：80% 成功率下可完成约 20–30 分钟软件任务，50% 成功率下达 2.5 小时，4 小时时跌破 25%；任务时长约每 7 个月翻倍（Kwa et al. 2025，Figure 1.7、技术附录）。
• 推理扩展：s1 模型在 AIME 2024 与 GPQA Diamond 上随测试时算力增加准确率上升（Figure 1.5，图中仅见坐标轴与趋势描述）。
• FrontierMath：2024 年发布时 SOTA 低于 2%；Epoch AI 评测 GPT-5 约 25%、o4-mini 约 20%（技术附录）。

风险证据（第 2 章，恶意使用部分）

风险领域	关键数字	出处（报告内位置）
AI 生成内容	96% 在线 deepfake 视频为色情内容；15% 英国成年人报告见过 deepfake 色情图像；10 国调查 2.2% 受访者被生成非自愿私密影像	§2.1.1 Key information
内容辨识	参与者将 GPT-4o 生成文本误认为人写的比例 77%；语音克隆误认为真人 80%；警告标签将识别 AI 视频的准确率从 10.7% 升至 21.6%	§2.1.1 Updates、Mitigations
操纵	琐事问题上 AI 使信念改变 17 个百分点 vs 人类 9 个百分点；训练算力每增 10 倍说服力约增 1.8 个百分点	Table 2.2、§2.1.2
网络攻击	DARPA AIxCC 中一 AI 系统自主发现 77% 漏洞；一威胁行为者用模型自动化入侵 80–90% 的工作量；picoCTF 2025 进入前 3% 但 PlaidCTF 未解出任何题	§2.1.3
生物风险	OpenAI o3 在病毒学实验排错上超越 94% 领域专家；23% 高性能生物工具被评估为有高滥用潜力，其中 61.5% 完全开源；375 个生物 AI 工具中仅 3% 有任何防护	§2.1.4

• 作者解读：作者称 AI 生成内容犯罪、网络攻击协助已有实证记录，但发生率与严重程度缺乏系统数据；操纵在实验室有效但真实世界证据有限；生物风险的真实提升（uplift）证据不一致——一项近期研究显示无防护模型在代理任务上有实质帮助，早期研究则未发现统计上显著的效果（§2.1.4）。

故障与可靠性（§2.2.1，所附文本仅含开头）

• 事实性改进：SimpleQA Verified 上主要模型分数随发布时间上升（Figure 2.10，具体分数图中未标注）。
• 可靠性问题分类：幻觉、基本推理失败、分布外失败、工具使用失败、多智能体失协调五类（Table 2.4）。

证据强度说明

• 报告自述证据基础不均衡：部分风险有稳健实证，部分依赖建模、受控实验与理论分析；多处标注"证据缺口"（Introduction、各节 Evidence gaps）。
• 报告未报告任何原创样本量、重复次数或统计检验；引用研究的样本量仅在个别处给出（如 Table 2.2 各实验的参与者数 108 至 76,977 不等）。

作者指出的局限与后续方向

• 恶意使用统计缺失：缺乏关于 AI 生成内容危害发生率与严重程度的系统数据，瞒报（因尴尬或恐惧）可能是因素之一；作者称需要多条事件检测与报告路径（§2.1.1 Evidence gaps）。
• 操纵机制理解有限：对 AI 操纵如何起效、AI 是否同等程度地诱导真信念与假信念理解有限；需在更真实条件下评估，但伦理顾虑使真实环境评估困难（§2.1.2 Evidence gaps）。
• 网络能力评估不成熟：AI 网络评估是新兴领域，基准可能因数据污染高估、或因未激发真实能力而低估；威胁情报难以支撑归因（§2.1.3 Evidence gaps）。
• 生物风险转化困难：将已展示的能力转化为风险估计存在缺口；真实 uplift 研究稀少、昂贵且受法律与伦理约束，化学风险评估相对生物风险受关注更少（§2.1.4 Evidence gaps、Box 2.3）。
• 能力预测不确定：无法可靠预测特定能力何时出现、scaling 收益递减何时约束进展；对 AI 自动化自身研发的反馈回路缺乏实证理解（§1.3 Evidence gaps）。
• 透明度不足：训练数据、模型、智能体、评估、开发流程与安全方面的外部可见性有限且不一致，使独立研究与政策制定更困难（§1.1 Evidence gaps）。

实验覆盖范围

• 本报告为证据综合，不含原创实验、模型运行或基准测试；所有数字均引自第三方研究（Disclaimer）。
• 证据截止时间为 2025 年 12 月前发表的文献（Introduction）。
• 范围聚焦"新兴风险"，不覆盖偏见、环境影响、隐私、版权（About this Report 脚注）。
• 所附文本仅含报告前部（至 §2.2.1 开头）；失控（§2.2.2）、系统性风险（§2.3）与风险管理（第 3 章）细节未附上，无法核对。
• 报告自述不提供具体政策建议，也不代表参与国政府立场（About this Report、Disclaimer）。

这是 2026 年《国际 AI 安全报告》，由 Yoshua Bengio 担任主席、100 多位专家参与编写，是 Bletchley Park 峰会授权的第二份国际科学评估，聚焦通用 AI 的新兴风险，不作政策建议。

• 要解决的问题：能力演进快而风险证据慢且难评估，形成"证据困境"；报告旨在综合现有证据、标注缺口，帮助政策制定者按风险的严重性与可能性采取行动。
• 能力结论：作者称能力持续提升但呈"锯齿状"——领先模型在 MMLU 超 90%、GPQA 超 80%，2025 年达国际数学奥林匹克金牌水平，但仍会幻觉、在长任务上可靠性不足；80% 成功率下 AI 智能体可完成约 20–30 分钟软件任务，任务时长约每 7 个月翻倍（Kwa et al. 2025）。2030 年走向不确定，OECD 四情景从停滞到加速均被认为可能。
• 风险结论：分恶意使用、故障、系统性风险三类。恶意使用中，AI 生成内容犯罪（96% 在线 deepfake 视频为色情内容）、网络攻击协助（DARPA AIxCC 中 AI 自主发现 77% 漏洞）已有实证；操纵在实验室有效但真实世界证据有限；生物风险方面，2025 年多家开发商因无法排除模型可能帮助新手开发武器而加装防护（Box 2.2）。
• 风险管理结论：作者称技术防护有改进但仍有局限，主张分层防护（defence-in-depth）；开放权重模型带来独特挑战；社会韧性建设（关键基础设施、AI 内容检测工具、机构响应能力）是必要补充。
• 总体立场：作者认为证据基础不均衡，部分风险已有稳健实证，部分仍依赖建模与理论分析；报告通过标注证据缺口引导未来研究。