Skip to content

Translation in progress Some entries still include text in the original language.

Failure-First·Indexed by this site · Originally published

Failure-First 提出防御不可能定理:单一安全层无法保护具身 AI

The Defense Impossibility Theorem: Why No Single Safety Layer Can Protect Embodied AI

AI summary

Failure-First 发布研究报告,称仅依赖文本层的安全防御无法完整覆盖具身 AI,这一判断来自对 187 个模型、131,887 条评测结果的分析。报告称文本层安全信号不会传导到动作层,在 VLA 测试语料中 50% 的轨迹得到部分(PARTIAL)判定,而没有一例触发动作层拒答。格式锁定攻击可使攻击成功率较基线上升 22 至 62 个百分点,其中 Claude 为 30.4%(基线 3.7%)、Codex 为 42.1%(基线 0%)、Gemini 为 23.8%(基线 1.6%),每个模型样本为 19 至 23 条提示词。报告援引 Blindfold 攻击,其通过逐条无害的指令序列在 GPT-4o 上取得 93.2% 攻击成功率,并称 VeriSafe 防线仍残留 75.3%。报告主张防御应包含动作层拒答训练、格式鲁棒的安全评估与组合意图验证,并说明该结论基于有限样本。

Related papers
Read originalfailurefirst.org