非故意的对手:为什么机器人安全的最大威胁不是黑客
The Unintentional Adversary: Why the Biggest Threat to Robot Safety Is Not Hackers
AI 导读
Failure-First 项目发布分析,认为对已部署的具身 AI 而言,来自正常操作的非故意风险超过对抗攻击风险。作者基于对 160 个模型、22 类攻击家族的对抗测试提出三项发现:能力与危险高度耦合、可检测性与危险性成反比(Spearman rho = -0.795)、安全合规随运行时间衰减。作者以航空业 CFIT 事故与 GPWS 系统类比,主张具身 AI 需要独立于指令意图、监测物理情境的防御架构,并建议监管要求物理后果评估而非仅文本层测试。作者称在每分钟一条指令、1% 情境危险概率、90% 初始拦截率的假设下,非故意伤害率比对抗伤害率高 60 倍以上,但强调该比例来自参数估计而非实测,其 VLA 实验为文本输入输出评测。