FailSafe：视觉-语言-动作模型的失败推理与恢复
[Daily Paper] FailSafe: Reasoning and Recovery from Failures in Vision-Language-Action Models
AI summary
FailSafe 提出一套让视觉-语言-动作（VLA）模型从操作失败中推理并恢复的方法，由失败生成器和恢复执行器两部分组成。失败生成器在任意物理模拟器中沿任务轨迹程序化注入滑脱、提前释放、错位等扰动，生成兼具多样性和可执行性的失败数据；恢复执行器是基于 LLaVA-OneVision-7B 微调的 FailSafe-VLM，接收扰动后的视觉状态与原始任务指令，输出恢复动作序列。在 ManiSkill 模拟器上，FailSafe-VLM 使 pi0-FAST 的平均任务成功率提升 22.6%，并在 OpenVLA 和 OpenVLA-OFT 上取得改进。该方法以模块化方式插入基础 VLA 的执行循环，无需改动基础模型，并在不同空间配置、相机视角以及物体与机器人形态上测试了迁移。目前验证限于仿真，尚未在真实硬件上测试。