跳到正文
原文
arXiv· arXiv:2610.33565· Zheng Zhang, Xiaoyang Tang, Shuaiqi Cheng, Jiakai Huang, Zhongbo Wu, Ziyi Zhang, Yuan Si, Zeyu Liu, Weibo Gao, Shunyu Liu, Shan You, Fei Wang, Xiaogang Wang, Dacheng Tao·本站收录· 原文发表

WorldFailBench:世界模型理解策略失败吗?

WorldFailBench: Do World Models Understand Policy Failures?

AI 导读

研究者提出 WorldFailBench 基准,通过三项任务检验世界模型能否忠实模拟机器人策略如何失败,在七种世界模型上的实验显示其对策略失败的理解存在明显差距。近期基准多以任务成败做结果式评估来考察世界模型作为策略评估器的潜力,但这无法确认模型是否忠实再现失败过程,失败呈现失真可能导致误诊策略弱点,使策略在场景小幅改动即失效时仍显得可以部署。三项任务分别考察失败原因(能否再现策略的可观察错误)、失败阶段(失败是否集中在完整任务执行的相同阶段)与失败边界(受控场景变化下策略从成功转向失败的条件)。基准覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务以及 G1 人形机器人的真实操作任务,作者称实验结果可为开发更可靠的世界模型用于策略评估提供指导。

阅读原文arxiv.org