SafetyALFRED：评估多模态大语言模型的安全意识规划
[Daily Paper] SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models
AI 导读
密歇根大学和博伊西州立大学的研究者发布 SafetyALFRED 基准，用于评估多模态大语言模型在具身场景中的安全意识规划。该基准在 ALFRED 家务机器人环境上加入电气、火灾、滑倒、有毒物质、锐器误用和过热六类厨房危险，并区分问答模式与具身规划模式。测试的 11 个模型来自 Qwen、Gemma 和 Gemini 系列，模型在问答中识别危险的准确率尚可，但转为纠正性行动时缓解成功率常下降一半以上。作者称这是显著的对齐差距，并指出程序顺序错误、任务优先压过安全步骤、有毒物质与电气危险识别偏低等失败模式，基准代码与数据集已在 GitHub 开源。