AI 系统安全案例构建的结构化方法
A Structured Approach to Safety Case Construction for AI Systems
AI 导读
研究者提出一套面向 AI 系统的安全案例(safety case)构建结构化方法,用于论证生成式与前沿 AI 系统的安全风险可接受。论文指出,航空、核电等领域的传统安全案例实践依赖明确的系统边界、稳定架构和已知失效模式,难以刻画生成式与智能体 AI 能力不可预测涌现、行为随提示变化、风险随微调、脚手架和部署环境漂移的特点。研究给出 AI 专属主张类型(断言式、约束式、能力式)、论证类型(演示性、比较性、因果/解释性、风险性、规范性)和证据族(实证、机制、比较、专家驱动、形式化方法、运行/现场数据、基于模型)的分类体系,并提出可复用的安全案例模板,配合端到端模式应对无 ground truth 的评测、动态模型更新和基于阈值的风险决策等挑战,使安全案例可信、可审计并能适应模型行为演化。