论文梳理 AI 风险建模的开放问题：从 22 位专家研讨会提炼研究议程

先进AI的社会风险尚无公认、可操作的定量建模方法。

• 监管已经提出要求：EU AI Act、加州 SB 53 与首尔 Frontier AI Safety Commitments 要求前沿开发者做系统性风险评估，但大多不规定方法。Code of Practice 要求签署方做系统性风险估计和建模，并使用 state of the art 方法，却未定义该词。作者称对此尚无共识。
• 既有工具对不上对象：作者认为经典概率风险评估假定失效模式可预先指定，这一条件不适用于开放环境中的通用AI。作者引用 MIT AI Risk Repository 中大量多样且重叠的条目，用以指出风险空间的规模与异质性，并称现有框架难以容纳所需变量与动态交互，也难以自适应调整估计所依据的概率分布。
• 作者的工作假设：至少五条研究传统在此交汇。作者认为没有任何一条单独足够，所需混合路径仍在构建。作者还认为谁来建模和验证、需要多少透明度、用什么制度落地，与架构和证据整合分不开。
• 本文的产出：不解答开放问题，也不给出任一威胁场景的完整定量模型。作者综合 22 人研讨会与后续分析，比较场景化风险估计和贝叶斯网络阈值设定，并按五个维度列出待研究问题与优先事项。
• 范围：灾难性误用，即网络与 CBRN 中的 AI 赋能威胁，以及失控风险的子集。劳动替代和算法偏见被写为范围外。作者强调评估对象是包含工具、脚手架和界面的 AI 系统，而不是孤立模型。

相关工作按五条传统组织；作者认为每一条只提供部分工具，并重点比较两类提案。

概率风险评估与安全工程

• Reactor Safety Study（1975）：作者称美国核管会这项研究是故障树分析与事件树分析的首次大规模应用，把系统失效分解为子事件并沿逻辑结构传播概率。
• 后续标准：IEC 61508 与 HAZOP 被作者列为把这些方法嵌入监管实践的后续发展。
• 面向 AI 的改写：作者认为经典 PRA 对开放环境中的 LLM 并不合适，并引用 Khlaaf（2023）。Wisakanto et al. 的 PRA for AI 按能力、领域知识、可供性与影响域做危害分析，双向追溯因果路径，用强度量规和不确定性追踪给出分档估计。作者称这为后续两类建模提供可辩护的基础。

灾难性风险分析与红线

• 概念与威胁描述：Russell（2019）与 Ord（2020）论证先进 AI 可能带来大规模或不可逆伤害。Hendrycks et al.（2023）与 Slattery et al.（2024）的 MIT AI Risk Repository 把误用和失控写成行动者、能力与路径。作者称这一传统大多仍是定性的，缺少赋概率和系统比较的方法，不确定性多以叙事隐含表示。
• 禁令先例与 AI 阈值：化学武器、生物武器、杀伤人员地雷禁令，以及 DURC / Fink Report，被作者当作“某些风险应禁止而非仅管理”的先例。首尔部长声明由 27 国与欧盟签署，Frontier AI Safety Commitments 由 16 家开发者签署。作者称企业安全框架和红线倡议中的阈值大多是定性或基于能力的，“meaningful uplift”缺少可一致执行的定量操作化。文中还写到欧盟 AI Act 的 unacceptable risk、加州 SB 53（可能促成超过 50 人死亡或超过 10 亿美元损害的事件）和纽约 RAISE Act。

网络安全风险量化

• FAIR 与威胁建模：作者称 FAIR 是把精算式量化引入网络风险的先前尝试中最成熟者，分解威胁事件频率、脆弱性与损失幅度，再用 Monte Carlo 汇总。CVSS、STRIDE、PASTA 与 MITRE ATT&CK 提供严重性词汇、攻击步骤和杀伤链；脚注另提到 AIVSS。
• 作者指出的缺口：这些框架面向特征相对稳定的人类驱动威胁，不能把 AI 当作自主威胁行动者，也不能建模快速能力演化，并缺少从特定 AI 能力追到攻击路径的因果结构。作者还称一些 FAIR 式模型把变量视为独立或弱相关，从而错过贝叶斯网络可以表示的条件依赖。

贝叶斯网络与两类现行提案

• Pearl 的贝叶斯网络：用条件依赖和 do-calculus 表示干预。作者称优点是因果结构显式，并能随基准、红队或事件证据更新；同时面临推断复杂度、参数化和专家校准引出的困难。
• 被比较的两类提案：Murray et al.（2025）把场景构建与参数化估计接在一起；Barrett et al. 将其用于 AI 赋能的网络进攻，以 MITRE ATT&CK 分解步骤，以 Cybench 与 BountyBench 为关键风险指标。Jackson et al. 用贝叶斯网络把治理相关阈值写成可测量概率量。Touzet et al. 比较 FTA、ETA、FMEA、STPA 与贝叶斯网络；作者转述其主张是，对绝对不可接受事件用确定性保证，对其余风险做概率评估，并认为能力基准、安全论证与部分量化研究的碎片化是主要障碍。

作者将本文定位为：五条传统无一单独足够，混合路径仍在构建；本文不提出完整模型，而是整理两类提案的假设、互补之处，以及任一条路径要规模化都必须回答的问题。

作者不提出新的风险模型，而是用文献比较和 22 人研讨会，把建模整理成可继续研究的问题。

问题边界

作者把风险建模定义为刻画危害、不利事件可能性与伤害幅度的关系。对 AI，作者认为要超出孤立的能力测量，表示伤害如何经社会技术系统产生：先做场景构建，再做风险估计。第 3.3 节把定量转向写成两部分：定义从危害到伤害的因果路径，再给路径中的步骤赋予概率与影响分布。作者认为这样可以综合基准、结构化专家引出、历史事件和红队数据，并支持跨域比较、阈值治理、不确定性量化和随新证据更新。作者同时认为，完全量化之前，建模过程本身就能澄清假设、证据缺口和路径瓶颈。

现有做法被分成三类：以能力为中心的评测、定性安全论证，以及碎片化的量化研究。作者认为基准衡量的是能力是否存在，而不是伤害的概率或严重程度，并写到构念效度、可重复性和基准饱和问题。安全论证被作者定位为互补框架：定量模型提供因果路径、概率和严重程度，安全论证把这些证据组织成部署论证，而不是替代概率模型。作者还列出三个区别于传统安全关键行业的特征：开放的能力空间、快速的能力缩放，以及结果依赖于人类行为与部署条件。能力被作者称为风险来源，而不是风险本身。

场景化风险估计

• 流程：Murray et al.（2025）给出六步流程。论文未列出六步的名称。风险按行动者—目标—向量等维度分解以选取代表场景，再写成发起事件频率、事件链完成概率和伤害幅度。
• uplift 与聚合：历史数据建立基线，再估计 LLM 能力带来的边际 uplift。关键风险指标映射到各个风险参数，引出同时试验人类专家和 LLM 模拟专家。叶节点概率拟合 Beta 分布，不确定性用 Monte Carlo 传播。作者举例的输出包括年期望损害的不确定性区间，并用于找出攻击路径瓶颈或为阈值提供信息。
• 网络进攻配套：Barrett et al. 用 MITRE ATT&CK 做步骤级分解，从攻击者人数、每位行动者的攻击频率、步骤成功概率和伤害幅度估计 AI uplift。Cybench 与 BountyBench 是主要关键风险指标，基准到参数的映射由人类和 LLM 模拟专家估计。

贝叶斯网络阈值设定

• 设计目标：Jackson et al. 不分解单条攻击链，而用贝叶斯网络表示共同决定 AI 赋能网络威胁是否越过治理相关阈值的相互依赖变量。阈值被写成可触发暂停部署或强制审计的可测量概率量。攻防平衡通过把缓解控制和防御能力放进因果图来表示，不同形式的不确定性可分开表示和加权。
• 作者写出的限制：标准贝叶斯网络是有向无环图，不增加扩展就不能直接表示递归反馈。节点的条件概率表可随网络复杂度指数增长。在历史数据稀疏时引出校准参数会带来认识不确定性，并需要对照新的威胁情报持续验证。

开放问题如何组织

• 来源与目标：开放问题来自文献回顾和 22 名专家研讨会，专家背景覆盖 AI safety、cybersecurity、probabilistic risk modeling 与 AI governance，再经作者后续分析综合。作者区分数据缺失、概念分歧和制度协调障碍，并开始标出哪些问题是其他问题的前提，但本文不解答这些问题。
• 五个维度：模型结构（数据类型、架构、多模型）、范围与粒度、证据整合与引出、验证与更新、治理与制度设计。作者称这些选择相互依赖：结构决定需要什么数据，证据限制模型保真度，治理塑造开发、验证和披露的激励。
• 结构选项：故障树、事件树、chain event graphs、贝叶斯网络和影响图被列为候选，论文称尚无共识。参数两两相关随参数数量二次增长：5 个参数有 10 对，10 个参数有 45 对。作者称多数现有模型假定参数独立，但这一假定很少得到辩护。动态性方面，作者列出时间索引节点、防御响应函数、显式反馈、频繁重做模型，以及智能体建模，同时转述与会者对评估与建模生态资源不足的担心。
• 证据与验证的设计问题：输入被分成实验或基准、历史事件、专家判断三类，如何选择和汇总仍是开放问题。引出候选是人类领域专家、人类预测专家和 LLM 模拟专家。验证方面，作者认为灾难性 AI 风险缺少回顾性验证所需的地面真值，并把内部质量度量和部分验证列为待发展的方向，而不是本文已实施的程序。

没有可复现的定量实验；本文的结果是开放问题清单，以及对两类提案的定性比较。

实验设置

• 材料：文献回顾、对 Murray et al. 场景化风险估计与 Jackson et al. 贝叶斯网络阈值设定的比较，以及 22 名专家研讨会和作者后续分析。专家背景为 AI safety、cybersecurity、probabilistic risk modeling 与 AI governance。
• 未报告项：论文未列出被测模型，未使用基准做对照评测，未定义 ASR 或其他数值指标，未说明评审模型、阈值、样本量、重复次数或共识判定规则。
• 讨论范围：灾难性误用（网络与 CBRN）以及失控风险的子集。论文写明不评估特定 AI 系统、开发者或既有治理框架。

主结果

论文没有可对应到表或图的定量主结果。下表只概括第 3.4 节对两类提案的文字比较。

维度	场景化估计（Murray et al.）	贝叶斯网络阈值（Jackson et al.）
作者描述的重点	代表场景；发起频率、事件链成功概率、危害幅度	系统级变量是否越过治理相关风险阈值
估计方式	历史基线加边际 uplift；Beta 分布与 Monte Carlo	条件依赖；不同不确定性可分开表示和加权
作者写出的限制	本文未报告该框架的数值性能	有向无环图不能直接表示递归反馈；条件概率表可指数增长；历史数据稀疏

• 架构随问题而变：作者称是否越过阈值，与哪种缓释更有效，可能需要不同架构；用一个模型回答不同治理问题会增加系统性扭曲的风险。
• 多模型：作者称研讨会出现一种正在形成的共识，即应预期需要多个模型，这种扩散是特性。不同假设下的收敛增加信心，分歧则标出对最终图景最有影响的结构假设。作者举例说，年期望损害的基数估计可以明显不同，模型仍可能在干预排序上一致；这是说明性例子，不是实测排序。
• 用途决定证据强度：作者认为设定或执行阈值可能需要保守假设和上界，而排列缓释或识别关键不确定性可能只需下界或方向性估计。同一模型可以对一种用途足够、对另一种不够。

研讨会未决之处

• 更新频率：与会者未达成共识。作者称较普遍的意见是，更新应由实质性证据变化触发，而不只按日历。文中列出的触发包括明显更强的模型发布、新的攻击活动记录、新的能力评估，以及核心假设被推翻。
• 覆盖与粒度：作者称许多当代方法可能只是风险的下界估计，适合找主要路径或比较干预，较不适合需要上界或最坏情形的阈值与安全保证。与会者怀疑，在数据稀疏、有噪声或有偏时，提高粒度可能造成准确性的错觉。论文未给出“足够场景集”的客观标准。
• 地面真值：作者认为模型要帮助避免的灾难性结果尚未发生，近失和前兆也记录不足，因此无法用结果证明模型有效。与会者未解决“何种验证标准既可达到又足以支持使用”这一张力。敏感性分析与 Shapley 值稳定性被提到，可作为缺少外部真值时的内部质量度量；本文未报告这类分析的实测输出。

作者转述的相关结果

这些数字或效应不是本文实验，本文也未给出效应量。

• Barrett et al.：作者转述其配套分析称，各类攻击存在系统性 uplift，但机制因场景而异，有的来自能力扩展，有的来自吞吐增加或进入门槛降低。
• LLM 引出：作者转述 Capstick et al. 的 AutoElicit 可在贝叶斯线性预测模型上自动生成先验，并在临床分类等结构化任务上得到验证；作者认为 AI 风险节点可能更含糊、更依赖情境。Selby et al. 被转述为：LLM 能产生有信息量的先验，但偏向表征充分的情境、跨模型不一致，且缺少地面真值时难以验证。Quarks et al. 被转述为：在网络安全相关风险上内部一致、方向上合理，绝对准确性仍未得到证明；人类专家组之间也有分歧，因此人类基线本身不确定。
• 预测比较：作者提到 Mellers et al.（2015）中，一些校准良好的通才预测者在某些估计任务上可与领域专家竞争，但这一结论能否用到 AI 风险的高度技术性问题仍是开放的。ForecastBench 被作者称为可比较人类与 AI 预测的基础设施，但尚未针对与 AI 风险最相关的领域技术问题。

其他消融与分析

• 参数相关的说明性计算：5 个参数对应 10 对，10 个参数对应 45 对（Section 4.1.2）。这不是拟合结果。
• 论文未报告消融、超参数搜索、敏感性分析输出或重复实验。
• 负面或未决：模型更新频率无共识；何种形式体系适合哪一类 AI 风险无共识；CBRN、有害操控和失控尚无与 MITRE ATT&CK 相当的共享框架（Section 4.1.2）。

论文没有以 Limitations 为题的专节；作者明确写出的后续方向在第 5 节和第 6 节。

作者指出的局限与后续方向

• 没有可直接搬用的技术：结论称，尽管概率风险评估、贝叶斯因果推断和基于阈值的治理等提供了基础，没有任何现成风险建模技术可直接用来操作化这些工作（Section 6）。
• 技术与制度要并行：结论称，与会者的意见使作者认为，进展取决于技术方法和制度设计的并行推进（Section 6）。
• 近端优先：结论称，最重要的近端优先不是解决每一个开放问题，而是建立使迭代的模型开发、验证和复核在实践中成为可能的治理安排（Section 6）。
• 第 5.1 节的优先研究：评估报告标准；面向具体风险场景而不是只面向风险域的基准；判断风险全域覆盖以及估计应被理解为下界、中心还是上界的方法；在数据稀疏时选择粒度的准则；集成模型输出的聚合，以及模型分歧时如何沟通；按用途匹配保真度。证据方面包括超级预测者、LLM 模拟专家在不同风险域的效度，以及把 Capstick et al. 扩展或验证到高优先级 AI 风险域。验证方面包括借鉴其他领域的质量标准，并设计部分验证实验。
• 第 5.1–5.2 节的治理建议：划分模型建造者与独立评估者的责任；分层披露，把结构信息与参数级信息分开；为善意披露设置安全港；设计能综合独立开发的模型、又与商业和政治压力隔离的评估机构，作者以 IPCC 及其记录在案的局限为参照；建设事件、能力与使用数据的共享基础设施，包括 AI 方向的 ISAC 和 ASRS 式第三方渠道。第 5.2 节的六条建议是：建立独立评估与核验能力，激励结构化披露假设与证据，采用分层透明而不是全有或全无，为善意报告提供安全港，建设共享报告与事件基础设施，支持集成式建模与监督。

实验覆盖范围

• 材料是文献回顾、对场景化风险估计与贝叶斯网络阈值设定的比较，以及 22 名专家的研讨会和作者后续分析（Introduction，Section 3–4）。
• 专家背景写明为 AI safety、cybersecurity、probabilistic risk modeling 与 AI governance（Introduction）。
• 讨论焦点写明为灾难性误用（网络与 CBRN）和失控风险的子集（Introduction）。
• 论文写明不解答开放问题，不提出完整定量风险模型，不评估特定 AI 系统、开发者或既有治理框架，也不做概率风险评估或贝叶斯方法的全面综述（Introduction）。
• 论文未报告研讨会共识的判定方式、专家间一致性、定量实验结果或重复次数（Section 3–4）。

这是一份面向研究者与政策实践者的议程论文：先进 AI 的社会风险需要定量建模，但监管要求的先进方法尚未被定义。

• 问题：EU AI Act、加州 SB 53 和首尔承诺要求系统性风险评估，Code of Practice 调用 state of the art 却未定义它。作者认为，可预先指定失效模式的经典概率风险评估，对不上开放环境中的通用系统；能力基准、定性安全论证和零散量化又彼此脱节。
• 做法：作者不解答问题，也不给出完整模型。他们回顾五条传统，比较 Murray et al. 的场景化估计与 Jackson et al. 的贝叶斯网络阈值设定，并综合 22 名专家研讨会，把开放问题分成结构、范围、证据引出、验证更新和治理。
• 两类提案：场景化路径把风险写成发起频率、事件链成功概率和危害幅度，用历史基线加能力带来的边际 uplift，并以 Beta 分布和 Monte Carlo 传播不确定性。贝叶斯网络路径把是否越过治理阈值写成可测量概率，并把攻防节点放进因果图。作者同时写出：标准网络是有向无环图，难以直接表示反馈；条件概率表可随复杂度增长；历史数据稀疏。
• 研讨会判断：作者称应预期使用多个模型，不同治理问题需要不同架构，模型是否够用取决于用途。与会者未就更新频率达成共识。灾难性结果缺少地面真值，敏感性分析和 Shapley 值稳定性被列为可追求的内部度量，本文未报告实测。
• 作者的结论：近端优先不是关闭全部问题，而是建立能支持模型迭代开发、验证和复核的制度，并把定量建模与独立评估、分层披露和持续维护接在一起。