Failure-First 立场文章:以可恢复性作为具身智能体评估轴(original, opens in a new tab)
Failure-First 在立场文章中主张,仅用任务成功率评估具身智能体会把可恢复失败与不可逆失败混为一谈,并提出以可恢复性作为评估轴。可恢复性被定义为智能体-环境-任务三元组的属性,即在错误发生后仍存在后续动作序列、使原任务可继续达成的轨迹比例。文章提出把失败分层为可恢复、不可逆无害、不可逆有害,并用带 oracle 错误信号的反事实 rollout 估计恢复率;这是概念提案,尚未大规模验证。