综述:机器人策略验证器的可用性与可信度权衡
No Free Checker: A Survey of Verifiers for Robot Policies
AI 导读
这篇综述调查了约 150 个机器人策略验证器,用于评估和训练视觉-语言-动作策略。作者按判断来源把验证器分为人类验证器、规则与形式化验证器、学习与预训练验证器、模型内在验证器四类,并用可用性和可信度两个属性进行比较:可用性指判定成本、在 rollout 中出现的早晚和可请求的密度,可信度指高分在多大程度上反映任务完成情况。跨四类验证器,作者发现可信度随可用性上升而下降,即不存在免费的验证器。文章还梳理了验证器本身的验证方式,包括与人类标注的一致性、所训练策略的表现以及奖励作弊下的行为,并提出九项指标使验证器主张可核查。