LIBERO-Para: Diagnostic Benchmark and Metrics for Rewriting Robustness of VLA Models

论文提出 LIBERO-Para 诊断基准与 PRIDE 指标，用于评测 VLA 模型对指令改写的鲁棒性，在 7 个 0.6B 到 7.5B 参数的 VLA 配置上发现改写指令会让任务成功率下降 22 到 52 个百分点。该基准建立在 LIBERO 操作任务套件之上，分别扰动动作表述和物体指代，以便把失败归因到具体的语言变化来源。结果显示物体命名层面的词汇变化造成的性能下降大于动作表述变化，且 80% 到 96% 的失败发生在规划阶段，模型对改写指令给出了不同的动作规划，而非在执行阶段失败。PRIDE 指标用语义相似度和句法相似度两个因素量化改写难度。