机器人安全的最大威胁不是黑客，而是其他所有人
The Biggest Threat to Robot Safety Isn't Hackers — It's Everyone Else
AI 导读
Failure-First 具身 AI 项目负责人 Adrian Wedd 称，具身 AI 安全的最大威胁不是恶意攻击，而是普通人在危险物理情境下给出的普通指令。该研究组记录了 42 类针对视觉-语言-动作模型的攻击，测试了 258 个模型，并提出能力与危险耦合的观点：让系统有用的能力同时也是危险来源。作者称，其最先进评估器将 45% 的物理情境攻击场景判为完全无害；建模显示普通使用带来的预期危害可能是蓄意攻击的 60 倍以上，即使完美防御对抗攻击也只能覆盖 1.6% 的预期危害。作者据此建议对靠近工人的具身 AI 强制部署前对抗评估、按部署场景做风险评估并持续监控，并称研究基于场景测试而非真实事故记录。