Skip to content

Translation in progress Some entries still include text in the original language.

Failure-First·Indexed by this site · Originally published

LIBERO-Safety:面向 VLA 模型的物理与语义安全综合基准

[Daily Paper] LIBERO-Safety: A Comprehensive Benchmark for Physical and Semantic Safety in Vision-Language-Action Models

AI summary

Cui 等人提出 LIBERO-Safety,一个面向 VLA 模型的物理与语义安全基准,用 UBDDL 程序化生成 7,603 个场景,覆盖抓取、人机交互、桌面避障、自由空间手物避障与语义安全推理五个维度,并分 L0 到 L2 三档难度。其 keypose 驱动流水线用 CuRobo 产出 19,664 条无碰撞演示,把人工成本从每任务 7.4 分钟降到 1.8 分钟。作者在 L2 场景的评测中报告 OpenVLA 多项接近零(FSHOA 0.0%、HRI 0.7%)、GR00T N1.6 的 HRI 为 73.3%,认为预训练本身不足以带来反应式安全。语义安全推理一项中,RoboBrain2.0 在 L0 的拒答率为 80%,但在 L1、L2 的语义陷阱下明显下降。作者称这些结果来自其自建基准,尚未被独立复现。

Read originalfailurefirst.org