AHA: A Vision-Language Model for Detecting and Reasoning about Robot Manipulation Failures
[Daily Paper] AHA: A Vision-Language-Model for Detecting and Reasoning Over Failures in Robotic Manipulation
AI summary
AHA 是一个开源视觉语言模型，可检测机器人操作失败、定位失败发生时刻并用自然语言说明原因。它基于标准 VLM 主干在 FailGen 数据集上微调，该数据集由对成功轨迹施加滑脱、抓取错误、碰撞等扰动程序化生成。其连续失败概率输出可用于强化学习密集奖励、任务与运动规划及零样本轨迹生成验证，但评估主要在仿真中进行，真实硬件失败模式尚未刻画。