IS-Bench: Evaluating Interaction Safety of VLM-Driven Embodied Agents in Household Tasks

IS-Bench 是评测 VLM 驱动的具身智能体在家庭任务中交互安全的基准，论文称其为首个针对该交互场景的安全基准，结果显示包括 GPT-4o 和 Gemini-2.5 在内的当前 VLM 安全完成的任务不足 40%。基准在 OmniGibson 物理模拟器中构建 161 个场景和 388 项安全风险，覆盖厨房、浴室等 10 类家庭场景，其中 75.8% 为事后注意、24.2% 为事前注意，要求安全条件按正确程序顺序满足。评测显示，安全感知 CoT 提示平均提升交互安全 9.3 个百分点，但使任务成功率下降 9.4 个百分点；主要失败模式是感知与风险意识，而非在正确感知下的规划。