论文梳理 AI 风险建模的开放问题:从 22 位专家研讨会提炼研究议程
Open Problems in AI Risk Modeling: Insights from a Workshop on the Technical Foundations of AI Risk Modeling
AI 导读
一篇 arXiv 论文探讨如何为先进 AI 系统的社会风险评估设计稳健的风险模型,指出监管提案日益要求系统性风险评估,但缺乏严谨的量化方法。作者梳理了五种相关研究传统:概率风险评估、灾难性 AI 风险分析、网络安全风险量化、贝叶斯因果推断和基于阈值的治理,并比较了基于情景的风险估计与基于贝叶斯网络的阈值设定两种主流方案。基于一场有 22 位专家参与的研讨会及后续分析,论文提出了涵盖模型结构、范围、证据整合、验证和治理的开放问题清单,并主张进展取决于将量化建模与独立评估、透明分级披露以及能够长期维护和更新风险模型的机构结合起来。