跳到正文
原文
Failure-First·本站收录· 原文发表精选关注度57

动作层没有护栏:基于文本的 AI 安全为何对机器人失效

The Action Layer Has No Guardrails: Why Text-Based AI Safety Fails for Robots

AI 导读

Failure-First 的分析文章论证,基于文本的 AI 安全对具身 AI 失效,因为模型输出由动作解码器解析而非由人阅读,危险动作序列中不含任何危险词。文章引用被 ACM SenSys 2026 接收的 Blindfold 框架,称其在仿真中对所有被测模型(含前沿系统)的攻击成功率超过 85%,在真实 6 自由度机械臂上 20 条攻击序列有 18 条成功执行;现有防御最多把攻击率降低 18 个百分点,最优配置下残余成功率仍高于 75%。作者所在项目对 VLA 场景的 58 条对抗轨迹(7 类攻击)评测显示,0% 完全拒答、50% 附带免责声明但仍生成动作内容、21% 直接生成不安全内容、26% 未识别对抗意图,其 FLIP 评分器在良性基线上的假阳性率为 30.8%。

推荐理由

作者把文本层安全在具身 AI 上的失效拆成过滤器、安全训练与评测三重缺口,并梳理现有监管框架未覆盖动作层。

相关论文
阅读原文failurefirst.org