FoMo-FD：用流匹配世界模型监测手术机器人模仿策略的执行失败
[Daily Paper] Failure Detection for Surgical Robot Imitation Policies via Flow-Matching World Modeling
AI 导读
Zhefeng Huang 等人提出 FoMo-FD，一种面向手术机器人模仿策略的执行级运行期失败监测器，只使用成功执行数据训练，无需收集失败示范。它把多视角相机画面经冻结的 DINOv2 与特征空间 β-VAE 压缩为视觉隐变量，用流匹配世界模型预测短时窗口的标称视觉-动作动态，再通过逆传输把实际端点隐变量回推到基高斯空间，以非符合性得分与符合预测校准的阈值比较来触发告警。在 Needle Pickup、Ring over Post 仿真任务和 dVRK 上的 Tissue Retraction、Shunt Insertion 任务中，覆盖 20 种失败模式、320 次失败与 80 次成功 rollout，腕部相机监测达到 96.6% 失败检出率与 1.3% 误报率，固定相机为 45.9% 与 10.0%。