Skip to content

Translation in progress Some entries still include text in the original language.

Failure-First·Indexed by this site · Originally published

安全不可组合:一项形式化证明对机器人安全意味着什么

Safety is Non-Compositional: What a Formal Proof Means for Robot Safety

AI summary

Failure-First 的博客分析介绍,Cosimo Spera 新发表的形式化证明显示,两个各自都无法达到违禁能力的 AI 智能体,组合后可借助涌现的合取依赖共同达成违禁目标,即安全系统的集合在存在合取依赖时不具备组合封闭性。文章用能力格把这一结论形式化,并联系上周 Ding 提出的 CoLoRA 结果,即各自无害的 LoRA 适配器组合后可抑制安全对齐。作者认为 EU AI Act 第 9 条与第 43 条的合格评定隐含假设组件级证据可推广到系统级,因而存在数学漏洞,并提出标准机构应要求组合测试、制造商不可把安全外包给供应商、监管方应将组合安全失效视为可预见风险类别。作者还引用 Governance Lag Index 跟踪的 120 起具身 AI 事件,其中 89.2% 没有适用的治理框架。

Related papers
Read originalfailurefirst.org