安全不可组合:面向能力型 AI 系统的形式化框架
[Daily Paper] Safety is Non-Compositional: A Formal Framework for Capability-Based AI Systems
AI 导读
Failure-First 的每日论文分析介绍了 Spera 的形式化证明:安全不可组合,两个各自无法达到被禁止能力的智能体在组合后可能共同达到该目标。该结果基于能力格框架,指出在存在合取式能力依赖时,安全系统集合在组合下不封闭,因此无法从组件级安全证明推出系统级安全。分析将其与 LoRA 组合攻击(CoLoRA,arXiv:2603.12681)以及 EU AI Act 第 9、43 条的合格评定联系起来,认为仅靠组件测试的认证存在形式化缺口。论文未提出完整解决方案,只证明了某类解决方案不可能。
相关论文