LIBERO-X: A Robustness Touchstone for Vision-Language-Action Models

LIBERO-X 是一个面向视觉-语言-动作（VLA）模型的新评测框架，旨在解决现有基准因评测协议不足而难以反映真实分布偏移的问题。它采用分层评测协议，围绕空间泛化、物体识别和任务指令理解三项能力逐级增加难度，并通过人类遥操作采集高多样性演示数据，让同一场景布局对应多种操作目标，以打破训练与评测之间的分布坍缩。作者称在累积扰动设置下，代表性 VLA 模型的性能显著下降，在单一扰动或干净评测中看似有能力的模型，会在场景理解与指令落地上暴露持续弱点。作者发布了基准环境、训练数据集与评测代码，并提出后续可将对抗扰动纳入评测层级。