AGENTSAFE：评测具身智能体在危险指令下的安全性
[Daily Paper] AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions
AI 导读
Ying 等人提出 SAFE 基准系统，用于评测具身 AI 在危险指令下的安全性，由三个组件构成。SAFE-THOR 提供可适配的仿真环境，SAFE-VERSE 给出 45 个对抗场景、1,350 个危险任务和 9,900 条指令，灵感来自阿西莫夫的机器人三定律，SAFE-DIAGNOSE 则分阶段独立评估感知、规划与执行。对九个 SOTA VLM 的测试显示，模型能识别危险，却系统性地无法把这种识别转化为安全的规划与行动，作者认为这是感知到行动之间的断层。