能力-危险耦合:让机器人有用的能力,也是让它脆弱的能力
Competence-Danger Coupling: The Capability That Makes Robots Useful Is the Same One That Makes Them Vulnerable
AI summary
Failure-First 研究项目提出 Competence-Danger Coupling(CDC),认为具身 AI 中让系统有用的能力与让它脆弱的能力在结构上同一,而非仅仅相关。作者称证据有三:约 70 亿参数以上的模型会遵从 format-lock 攻击,因为格式遵从本身就是核心能力;在 VLA 评测中,语义无害攻击(SBA)的指令文本完全无害、危险来自物理情境,现有文本层安全评估器把 45% 的危险场景判为 BENIGN_QUERY;该模式在自动驾驶、医疗机器人和工业自动化之间可直接迁移。作者据此主张防御应从文本过滤转向能推理物理后果的世界模型,并称底层数据覆盖 22 个攻击家族、168 个 VLA 场景和 160 个模型的评测。