FAR：面向机器人策略失败恢复与持续改进的 Failure-Aware Retry 框架
[Daily Paper] FAR: Failure-Aware Retry for Test-Time Recovery and Continual Policy Improvement
AI 导读
Hao 等人提出 FAR（Failure-Aware Retry）框架，让离线示范训练的机器人在遇到分布外状态导致抓取失败时可自主重试并就地调整行为。该框架通过 IQL 的价值估计检测价值骤降来定位引发失败的动作块，并用 FCPA 构造对比偏好对进行参数化更新，同时向动作注入经指数平滑的高斯扰动做结构化探索。仿真与真机实验中该方法优于朴素重执行，并能将成功轨迹回灌三个缓冲区实现在线持续改进。 要点： - 问题根源在于模仿学习缺乏纠错机制，偏离训练分布后会陷入相同失败的反馈循环。 - FCPA 以最低 ρ 百分位的 ΔV 动作作为负样本，从当前策略采样高价值候选作正样本优化偏好目标。