跳到正文
原文

世界互联网大会人工智能专委会报告:推进造福人类的全球AI安全与治理框架

Advancing a Global Framework for AI Safety and Governance for the Well-being of Humanity

arXiv:对齐、欺骗与监督· arXiv:2611.13968· Zeng Yi, Seán Ó hÉigeartaigh, Wang Zhengqi, Lu Enmeng, Chen Yu, Cao Gongce, Guo Xiaoyang, Kang Yanrong, Han Kaiyu, Fan Jinyu, Xie Jiawei, Han Zhengqiang, Wang Jin, Huangfu Cunqing, Bao Aorigele, Dame Wendy Hall, Lin Lin, Duan Weiwen, Wang Rong, Zhang Junlin, Tang Xinhua, Vincent C. Müller, Chen Jingjing, Li Na, Cheng Kai, Sebastian Sunday Grève, Danil Kerimi, Bernd Holznagel, Anna Abramova, Jimena Sofia Viveros Alvarez, Edson Prestes, Shen Juncheng, Liu Yongmou, Zhang Jiji, Nada Laabidi, Yao Xin, Zhou Kai, George Chen, Fu Chunhui, Liu Xiaochun, Guo Sumin, Hu Naying, Qiao Qian, Meng Wei, Zhang Linghan, Tan Zhixing, Helen Meng, Qiao Yu, Bu Yuyan, Fan Wei, Wang Xingguang, Wang Feng, Gong Xinqi, Xia Wenhui, Wang Mengyin, Tao Feng, Hu Yongqi, Charuka Senal Damunupola, Cheng Ming, Liu Weichen, Nirosha Ananda, Peng Tao, Tao Tao, Wang Fengqiong, Wang Jianbing, Wang Tong, Wang Wei, Wang Xin, Wu Shuyan, Yang Yaodong, Yang Zhongliang, John Yeoh, Zhang Rong, Zhou Yuan, Zhang Xueli, Liang HaoChinese Academy of Sciences; Beijing Institute of AI Safety and Governance (Beijing-AISI); University of Cambridge本站收录· 6 天前· 原文发表治理

论文速读

其他

据论文 PDF 整理(AI 生成),以原文为准

世界互联网大会报告梳理全球AI安全治理现状,提出以联合国为中心的全球AI安全治理框架及机制建议。

问题
AI风险跨境扩散而全球治理体系碎片化,各国发展水平、治理能力和优先级差异阻碍国际合作,亟需建立广泛共识的全球AI安全治理框架。
方法
系统梳理联合国、各国、区域和国际组织的治理实践,借鉴核安全、气候、贸易、公共卫生、航空海事五个领域的多边治理经验,围绕机制设计提出以联合国为中心的框架建议。
实验与结果
报告引用的数据显示:2019至2024年全球AI风险事件从约400起增至7,900余起;193个联合国会员国中118个未参与七大AI治理倡议;仅6国签署全部五项关键国际AI安全宣言。
局限与可以继续做的
报告未设局限讨论章节;内容为政策文件与治理实践的定性梳理和建议,未包含实验、模型评测或定量验证。
AI 导读世界互联网大会人工智能专委会发布报告,提出以联合国为中心建立全球AI安全与治理框架的制度措施和政策建议。报告系统梳理全球AI安全与治理的探索与实践,识别需解决的关键问题,并借鉴其他领域的多边治理经验。报告以机制设计为核心,探讨构建确保安全、促进包容、明确责任与问责、强化协调、权威高效的全球治理体系。

世界互联网大会人工智能专委会发布报告,提出以联合国为中心建立全球AI安全与治理框架的制度措施和政策建议。报告系统梳理全球AI安全与治理的探索与实践,识别需解决的关键问题,并借鉴其他领域的多边治理经验。报告以机制设计为核心,探讨构建确保安全、促进包容、明确责任与问责、强化协调、权威高效的全球治理体系。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    AI风险跨境扩散而全球治理碎片化,报告探讨如何构建以联合国为中心的全球AI安全治理框架。

    核心问题:AI风险具有跨境、跨领域的系统性特征,而全球AI安全治理体系呈碎片化,如何构建一个可行动、基于广泛共识的全球AI安全治理框架。

    • 问题场景:报告称AI风险事件持续增长,2019至2024年全球记录在案的AI风险事件从约400起增至7,900余起(Figure 1),其中鲁棒性与数字安全、人权与隐私、透明度与问责类事件占比超过60%。
    • 现有治理的不足:报告认为当前全球治理存在四方面结构性局限——技术突破难以预测导致治理滞后、各国发展水平和治理模式差异大、利益相关方多元而问责机制不清、地缘政治等因素削弱集体应对能力(第01(c)节)。
    • 核心观察:AI风险天然超越国界,单个国家或地区的监管措施难以有效约束,且部分国家的出口管制、技术封锁等措施进一步压缩了国际合作空间(第01(a)节)。
    • 论文产出:报告借鉴核安全、气候变化、国际贸易、公共卫生、航空海事五个领域的多边治理经验(Table 1),围绕确保安全、确保包容、明确责任、践行多边主义四个支柱,提出以联合国为中心的全球AI安全治理框架的制度措施和政策建议(附录)。
  2. 有哪些相关研究?

    报告梳理了联合国系统、各国、区域组织、国际组织、国际峰会及产学界的AI治理实践,并借鉴五个领域的多边治理机制。

    报告第01(b)节系统梳理了全球各利益相关方的治理探索,第01(d)节分析了其他领域的多边治理框架。

    联合国系统

    • 联合国秘书长高级别咨询机构发布《Governing AI for Humanity》中期和最终报告;联合国大会通过多项决议,并决定设立独立国际科学小组和全球AI治理对话机制。
    • UNESCO发布《Recommendation on the Ethics of Artificial Intelligence》及配套评估工具;ITU举办AI for Good全球峰会;UNICEF发布儿童AI政策指南。

    国家与区域层面

    • 美国NIST发布《AI Risk Management Framework》并推动国际AI安全研究所网络;新加坡发布两版模型AI治理框架;中国发布《全球AI治理倡议》《AI安全治理框架(1.0、2.0)》《全球AI治理行动计划》,并倡议成立世界人工智能合作组织。
    • 欧盟通过《人工智能法》,报告称这是全球首部综合性AI法律框架;欧洲委员会推出首个具有法律约束力的AI国际条约;阿盟、非盟、东盟、拉美分别发布区域性AI战略或宣言。

    国际组织与峰会机制

    • G20、G7(广岛AI进程)、OECD(AI原则与GPAI)、APEC、金砖国家、上合组织、世界互联网大会等发布相关宣言或文件。
    • 2023年以来的AI安全峰会系列产出了《布莱切利宣言》《首尔部长声明》《前沿AI安全承诺》等自愿性成果;REAIM峰会关注军事领域负责任AI。

    产学界自律与前沿风险框架

    • 学界通过IDAIS、CAIS《Statement on AI Risk》推动风险共识;企业层面包括Anthropic的Responsible Scaling Policy、OpenAI的Preparedness Framework、Google DeepMind的Frontier Safety Framework、Meta的Outcome-Focused Frontier AI Framework,以及中国人工智能产业发展联盟的《AI安全承诺》。

    其他领域的多边治理借鉴(Table 1)

    • 核安全(IAEA核查与技术援助结合)、气候变化(IPCC科学评估驱动政策)、国际贸易(WTO争端解决机制)、公共卫生(WHO国际卫生条例)、航空海事(ICAO/IMO标准协调)五个领域,报告认为它们为AI治理提供了合规核查、科学评估、争端解决、快速响应和标准互认方面的经验,但AI的生成能力、自主性、可演化性等特征决定了不能简单复制现有制度模式。

    报告将自身定位为:在整合上述分散机制的基础上,提出以联合国为中心、兼顾安全与发展包容性的全球框架设计建议。

  3. 论文如何解决这个问题?

    报告按"安全—包容—责任—多边"四支柱组织分析,借鉴五领域治理经验,提出机制设计建议并汇总于附录表格。

    这是一份政策报告而非技术论文,其"方法"是系统梳理加机制设计:先诊断风险和治理缺口,再借鉴其他领域的多边治理经验,最后按四个支柱提出机制建议,附录以表格形式汇总。

    问题诊断与框架结构

    • 报告将全球AI治理的关键问题归纳为四个相互关联的支柱:确保安全(首要目标)、确保包容(公平治理结构的基石)、明确责任(多利益相关方协同的支撑)、践行多边主义(价值导向)(第01(c)节)。
    • 每个支柱按"风险/挑战分析 → 机制设计建议"的结构展开(第02–05章)。

    借鉴机制设计(第01(d)节、Table 1)

    • 从IAEA借鉴核查与技术援助结合的合规机制;从IPCC借鉴科学评估驱动政策的动态治理模式;从WTO借鉴有约束力的争端解决与仲裁;从WHO《国际卫生条例》借鉴跨境信息共享与快速响应;从ICAO/IMO借鉴标准协调与持续监督。
    • 报告同时指出,AI的生成能力、自主性、可演化性和跨领域渗透性使其风险外溢范围更广、影响链更长,不能简单复制现有制度模式。

    各支柱的机制建议

    • 确保安全(第02章):建立跨国技术监测网络与风险预警协作机制、治理规则动态更新与互认机制、共建安全评估工具与平台生态;推动国际共识的风险分类分级框架、跨境内容治理协作(数字水印、内容溯源)、跨境执法合作;针对重大全球风险,建立前沿模型监测评估机制、关键资源(算力、数据、开源算法)国际治理体系、紧急干预与联合响应机制。
    • 确保包容(第03章):建立开放包容的多边磋商平台、技术共享与转让机制、创新融资模式(AI发展基金、PPP融资池)、长期能力建设合作机制;建立合规动态评估与声誉联动机制、决策听证机制、基于发展水平的差异化责任分担机制。
    • 明确责任(第04章):分别界定国家政府、国际组织、企业、科研机构、公众与公民社会的角色与责任边界;建立合规审查监督、风险监测与信息共享、跨国争端调解仲裁、标准互认与监管对接四类机制。
    • 践行多边主义(第05章):以联合国为核心整合治理资源,建议由独立国际科学小组牵头建立全球AI科学传播体系,引入基于风险的分级分类对话机制;探索在联合国框架下建立具有协调、审议、标准制定和必要实施监督职能的全球AI治理平台。

    附录的建议汇总

    • 附录以表格形式按四个维度列出关键问题、建议机制、预期成效和对应的国际经验参照(如IPCC数据共享平台、IAEA核查机制、WTO争端解决机制、WHO IHR应急委员会等)。
  4. 论文做了哪些实验?

    报告无实验,内容为治理实践梳理与政策建议,引用多份第三方统计数据描述AI风险与治理参与现状。

    本报告不包含实验、模型评测或定量验证,其内容为政策文件与治理实践的定性梳理、第三方统计数据的引用和机制设计建议。以下汇总报告引用的主要数据及其出处。

    报告引用的风险与治理数据

    数据数值出处(报告引用来源)
    全球AI风险事件数(2019→2024)约400起 → 7,900余起Figure 1,数据来自OECD AI Incidents Monitor
    鲁棒性与数字安全、人权隐私、透明度问责类事件占比超过60%Figure 1
    ENISA记录的攻击事件(2023.7–2024.6)11,079起,含322起跨境攻击第01(a)节,ENISA Threat Landscape 2024
    主要受攻击行业占比公共行政约19%、交通11%、金融9%、数字基础设施8%第01(a)节
    生成式AI驱动的deepfake活动同比增长(2024)118%第01(a)节
    相关网络犯罪年度全球经济损失预测(2025)10.5万亿美元第01(a)节,Entrust报告
    2024年deepfake攻击频率平均每五分钟一起第02(b)节
    AI辅助数字文件伪造同比增长(2024)244%第02(b)节

    报告引用的发展差距与治理参与数据

    数据数值出处
    2024年美国私营部门AI投资约109.1亿美元,报告称近12倍于中国(9.3亿美元)第03(a)节,AI Index Report 2025
    全球企业研发支出集中度约40%集中于100家大型科技公司第03(a)节,UNCTAD报告
    全球北方国家拥有的最强超算占比75%,非洲整体不足1%第03(b)节
    非洲国家获取GPU等核心算力设备的相对成本报告称为人均经济水平相对发达国家的10至30倍第03(b)节
    参与全部七大AI治理倡议的联合国会员国193个会员国中仅7个,118个完全缺席第03(c)节,《Governing AI for Humanity》最终报告
    签署全部五项关键国际AI安全宣言的国家40个受调查国家中仅6个第03(c)节,Global Index for AI Safety 2025

    说明

    • 上述数字均为报告转引的第三方统计,报告本身未开展数据收集或统计分析;Figure 1为风险事件趋势与类型分布图,转换文本中仅能看到图注与正文转述的数值。
    • 报告未报告任何模型、基准、指标或评审设置。
  5. 有什么可以进一步探索的点?

    报告未设局限讨论章节;其内容为定性政策梳理与建议,未包含实验或定量验证。

    作者指出的局限与后续方向

    • 报告未设置Limitations、Discussion或Future Work章节,未专门讨论自身局限。
    • 报告在第05(b)节提出展望性方向:在联合国框架下进一步探索建立具有更强协调与实施能力的全球AI治理平台,依托联合国大会授权和联合国数字与新兴技术办公室(ODET)等机构建立跨机构议程协调体系,并逐步通过国际公约等文书确立成员国合规义务。这些属于报告提出的政策建议而非已完成事项。

    实验覆盖范围

    • 报告未开展实验、模型评测或基准测试,全部内容为治理实践梳理、第三方数据引用和机制设计建议。
    • 引用的统计数据均转引自第三方来源(OECD AI Incidents Monitor、ENISA、AI Index Report 2025、UNCTAD、Global Index for AI Safety 2025等),报告未报告自行收集或验证的数据。
    • 治理实践梳理覆盖联合国系统、约10余个国家与区域组织、多个国际组织和峰会机制、以及Anthropic、OpenAI、Google DeepMind、Meta等企业的自律框架(第01(b)节)。
    • 借鉴分析覆盖核安全、气候变化、国际贸易、公共卫生、航空海事五个领域的多边治理框架(Table 1)。
    • 报告未说明文献梳理的选择标准、检索方法或时间范围。
  6. 总结一下论文的主要内容

    世界互联网大会报告诊断全球AI治理碎片化问题,按四支柱提出以联合国为中心的全球AI安全治理框架建议。

    这是世界互联网大会人工智能专委会安全与治理计划2025年发布的一份政策报告,主题是全球AI安全治理框架的机制设计。

    • 问题:AI风险跨境扩散,2019至2024年全球AI风险事件从约400起增至7,900余起(Figure 1),而全球治理体系碎片化,单个国家的监管难以约束跨境风险,地缘政治因素进一步削弱合作空间。
    • 诊断:报告将关键挑战归纳为四点——技术不确定性导致治理滞后、各国发展差距导致诉求分化、多利益相关方责任不清、地缘政治导致分裂(第01(c)节)。
    • 方法:系统梳理联合国、各国、区域、国际组织、峰会和产学界的治理实践,并借鉴IAEA、IPCC、WTO、WHO、ICAO/IMO五个领域的多边治理经验(Table 1),同时指出AI的特性决定了不能简单复制现有制度。
    • 核心建议:按"安全、包容、责任、多边"四支柱提出机制设计,包括跨国技术监测与风险预警、风险分类分级国际共识、跨境内容溯源、前沿模型联合评估、关键资源治理、紧急干预机制、差异化责任分担、合规审查与争端仲裁、以及以联合国为核心整合治理资源并探索建立全球治理平台(第02–05章、附录)。
    • 引用的治理参与数据:193个联合国会员国中仅7个参与全部七大AI治理倡议、118个完全缺席;40个受调查国家中仅6个签署全部五项关键国际AI安全宣言(第03(c)节)。
    • 作者结论:报告主张以联合国为中心,按照主权平等、国际法治和多边主义原则,共同构建平衡安全、发展、公平与包容的全球AI治理框架。
阅读原文arxiv.org