跳到正文
原文
公众号 新智元·本站收录· 原文发表· 防御 →· 扫描记录里的位置 →精选关注度43

多校提出机器人安全基准RoboRisk与护栏LEASH,六模型伤害率9.06%至76.92%

GPT控制机械臂太危险!把菜刀悬在人手上,手机丢进水里

AI 导读

西交利物浦大学、昆山杜克大学、新加坡国立大学等多校联合提出机器人安全基准 RoboRisk 和与模型无关的安全护栏 LEASH,六个前沿大模型在机械臂任务中的伤害率为 9.06% 至 76.92%,加入 LEASH 后四款模型在 13 个真机任务中零伤害,安全成功率均为 84.62%。RoboRisk 包含 92 个仿真任务和 13 个真机任务,覆盖五类风险,指标为伤害率 HR 与安全成功率 SSR,每个任务都在仿真或真机上闭环执行,模型看到相机画面并下达真实动作。LEASH 不改模型也不重新训练,由任务门、动作门、提交门三道安全门和一份共享安全策略组成,每次审查都基于当前相机画面,并采用不生成自由文本、响应更快的决策模型 Jev 进行评分。

推荐理由

论文给出六个前沿模型在机械臂任务中的伤害率,并展示一种不改模型、不重训的护栏如何把四款模型的真机伤害降到零。

相关论文
阅读原文mp.weixin.qq.com