安全机制作为攻击面:AI 安全的医源性伤害
Safety Mechanisms as Attack Surfaces: The Iatrogenesis of AI Safety
AI summary
Failure-First 在报告中提出,AI 安全干预本身可能成为攻击面,并归纳出检测遮蔽、对齐反转、组合式安全规避、安全审议抑制、语义与物理层脱节五种机制。报告称其六名分析员与三个外部研究组独立得出结构相同的结论,并援引京都大学在 16 种语言中的发现,即对齐训练在 8 种语言中反而降低安全性。报告还引用 Mercedes-Benz R&D 的 CoLoRA 研究,指出单独通过安全验证的 LoRA 适配器组合后可抑制拒答,以及港理工与剑桥的 Blindfold 攻击在真实 6 自由度机械臂上取得 53% 攻击成功率。作者据此提出 AI 安全治疗指数(TI-S),主张按危害层而非评估层衡量干预收益,并给出部署前的四项检查。
Related papers