FailBank：用运行时反馈自进化提升 VLA 模型任务成功率

运行时屏蔽能改正单步动作，却留着不变的名义策略，反复分歧会挡住任务进度。

• 场景：VLA把视觉观察和语言指令接到连续机器人控制，一条策略覆盖多种操作。作者认为复杂场景必须同时看任务完成和意外接触：提高成功率可能增加接触，过保守又会完不成任务。
• 现有不足：AEGIS一类运行时屏蔽用视觉定位和CBF在执行前改正不安全动作，但只改当步指令。作者认为同一类动作分歧会在连续控制步上重复，加强屏蔽也去不掉policy–shield mismatch。
• 观察：在受保护物体围住目标的难场景里，投影可以降低局部代价，却把夹爪反复推离目标直到超时。作者用Figure 2的Level 2 onion轨迹展示这一点，并把教师提案当作可学习的反事实目标。
• 方法：提出FAIL BANK。固定CBF教师在采集期只观察、不改执行；按结局把有用提案收成纠正目标，并把成功且未修正的动作留作quiet anchors；累积failure bank后，从原base拟合LoRA，held-out损失和首动作漂移超限则拒绝。接受后的策略部署时只用RGB和本体感觉，不再用教师或特权几何。

作者把本文放在运行时反馈的策略监督上；实验对照是Base与AEGIS，基准是VLA-Arena static-obstacle。

通用VLA与评测

• π0 / π0.5：Black et al., 2024用flow matching生成连续动作；Physical Intelligence et al., 2025的π0.5把该家族推向更广的开放世界泛化。作者称本文不改动作生成结构。
• VLA-Arena：Zhang et al., 2026在Safety、Distractor、Extrapolation、Long-Horizon上评测，并给出分层难度和官方成功、累计代价。作者使用其官方任务定义和指标。
• 更早的通用策略：附录A.1概述RT-1、RT-2、Open X-Embodiment、Octo、OpenVLA，以及Diffusion Policy和ACT。

运行时屏蔽与约束动作

• CBF：Ames et al., 2017用控制屏障函数约束名义控制，常用二次规划把动作投影到满足约束的一侧。
• AEGIS：Hu et al., 2025把视觉定位和CBF投影做成即插即用的VLA安全层。作者在引言中称这种保护是暂时的，名义策略保持不变。
• 生成期约束：English et al., 2026在flow matching生成中加入安全引导。附录还写到CPO与Recovery RL。作者称本文把投影只当作采集期的只观察教师。

学习式安全与失败监测

• SafeVLA：Zhang et al., 2025用约束强化学习把任务行为与安全目标对齐。
• SAFE：Gu et al., 2025从VLA内部表示学习多任务失败检测，并支持运行时响应。
• 特权监督与LoRA：Chen et al., 2020允许教师使用部署学生没有的信息；Hu et al., 2022用低秩适配更新冻结骨干。作者称FAIL BANK把经过结局筛选的运行时反馈做成带守卫的迭代更新。

运行时反馈作为监督

• DAgger一线：Ross et al., 2011在学习者自己的状态分布上收集纠正标签。附录还提到HG-DAgger、远程遥操作、人机共驾和残差策略学习。
• 本文用法：作者称采集期教师用仿真几何，部署策略只收RGB和本体感觉；bank跨轮留记录，held-out守卫决定是否接受更新。

基线与基准：Base是Arena微调的π0.5与π0；对照为AEGIS。基准是VLA-Arena static-obstacle的Level 1与Level 2。作者把区别放在：校正用来监督以后的策略，而不是只在执行时约束动作，部署也不再依赖屏蔽。

FAIL BANK不在执行环里改动作，而是把固定CBF教师的反事实提案收成学习记录，再对原策略做受守卫的LoRA更新。Figure 3把循环分成观察标注、准入加权、累积、更新。

问题设定

• 谁在控制：第k轮采集用已接受策略πk−1。环境始终执行名义动作，教师提案不执行，回合结局仍归因于该策略。
• 教师输入：观察为RGB与状态，另有语言指令。教师用特权几何gt给出提案，只改平移通道，并用zt∈{0,1}记录投影是否触发。部署不需要gt；运行时屏蔽基线通过视觉定位使用几何（§4.2）。
• 轮次关系：每轮从同一πbase重新拟合适配器，不在上一轮适配器上续训。通过守卫的πk负责下一轮采集。

准入与加权

• 目标：保留的教师校正以提案为第一步动作目标。zi=0的成功未校正动作是quiet anchors，目标为名义动作。触发记录即使目标仍是名义动作，也不算quiet anchor。未通过准入的记录丢弃。
• 权重：zt=1时权重ηi取自{0, 0.25, 0.60, 1.00}；zt=0时为预设λq。ηi看随后rollout的安全、任务进展和恢复，并扣重复触发、短时程代价和屏障违反。作者称因为提案未执行，ηi表示训练效用，不是校正的因果效果。
• 时程：附录E.1.3规定静态L1 mango的风险阈值0.1087。紧急段和越障后的校正丢弃；失败轨迹只保留越障前30步以上的早期校正。

累积与受守卫更新

• bank：Stage 2之前把回合分成训练折和验证折。固定held-out批V来自验证折，与训练bank不相交。训练bank是上一轮训练记录与本轮准入记录的并集。
• 损失：对指定目标计算第一步flow-matching损失，再按权重平均。加权首动作损失为L(π)=∑_i w_i ℓ_i,0(π,y_i)/max(1,∑_i w_i)，分母至少为1。
• 守卫：候选在V上计算全chunk flow loss，以及相对原base的首动作漂移。接受条件为L̄_V(π_k)/L̄_V(π_base)≤τ_loss, D_V(π_k)≤τ_drift。附录E.7取τloss=1.10、τdrift=0.05。不用基准SR或CC做选择。失败则丢掉适配器，采集策略仍为πk−1，bank保留。

训练配方与部署

• LoRA：插入PaliGemma 2B（rank 16，α=16）和300M动作专家（rank 32，α=32），只训练A/B。AdamW，梯度裁剪1.0；余弦学习率，20步预热，峰值3×10−5，400步衰减到3×10−6。批大小32。π0.5动作地平线10，π0为50。每步重规划，回合上限300步（Table 15）。
• 配方差异：主π0.5更新为800步、λq=0；轮次曲线族λq=0.2；π0为800步、λq=0.5（附录E.4）。椭球屏障的末端半径0.03、物体膨胀0.04、额外裕度0.02（附录E.1.1）。
• 部署：接受后不再使用教师、特权几何、QP、检索或测试时更新。特权几何只在采集期构造反事实目标（附录D.1）。

在两个flow-matching骨干的static-obstacle十任务上，FAIL BANK相对Base提高平均SR并降低平均CCpolicy；相对AEGIS则主要提高SR，策略诱发代价略高。

实验设置

• 基准与采集：VLA-Arena static-obstacle。L1、L2各5题（apple、lemon、mango、onion、tomato）。采集只在L1 mango；主bank不含L2 rollout，训练记录6535条（§5.1，附录B.5、E.2）。
• 骨干与配方：Arena微调π0.5与π0。动作地平线10与50，回合上限300步（Table 15）。主π0.5更新为800步、λq=0；π0为800步、λq=0.5（附录E.4）。
• 基线：Base，以及AEGIS（CBF屏蔽，GLM-4.5V每回合定位一次）。三臂匹配初始状态、任务定义和评测条件（§5.1）。
• 指标：SR是上限内满足完成谓词的百分比；CC是官方逐步代价的试验均值；CCpolicy去掉初始状态已有代价；BRS等权归一化失败率与CCpolicy，Base约为0.368，Base的CCpolicy为0时未定义（附录B.2、B.4）。
• 样本：L1每题50个初始状态；L2为50状态×3个sampler条件，配对前先在状态内平均（附录B.7、G.2）。π0.5的FAIL BANK平均3个训练顺序；π0平均通过守卫的2个，seed 1因flow比值1.2214被拒（Table 2注，附录G.1）。
• 模型范围：leaderboard 29个模型里10个有Arena微调权重，完整更新—评测链只有这两个骨干（附录B.6）。守卫阈值τloss=1.10、τdrift=0.05，不用SR/CC选模型（附录E.7）。

主结果

Swipe horizontally to read the table

骨干	方法	十任务无加权平均SR	平均CCpolicy	聚合BRS
π0.5	Base	66.0%	47.76	0.368
π0.5	AEGIS	49.1%	29.01	0.350
π0.5	FAIL BANK	74.5%	30.76	0.498
π0	Base	47.5%	10.62	0.368
π0	AEGIS	44.9%	6.27	0.441
π0	FAIL BANK	54.4%	8.09	0.443

SR与CCpolicy据§5.2；聚合BRS据Table 1底行，由无加权平均SR和平均CCpolicy算出，不是逐任务BRS的平均（附录B.4）。

• 作者解读：§5.2称相对Base，成功和策略诱发代价一起变好；相对AEGIS的优势是更高任务成功，并多一份CCpolicy。摘要把这份代价差写成comparable，正文写成additional cost。
• 联合改善计数：按SR高于Base且CCpolicy低于Base，作者统计FAIL BANK有8个任务–骨干对，AEGIS有3个。Figure 4中AEGIS更常向更低代价、也向更低成功率移动（§5.2）。
• 例外：Table 2里π0.5的L2 lemon三臂SR都是0。AEGIS把π0.5 L2 onion的SR从81.3%降到1.3%，tomato从74.0%降到28.7%；Figure 1把这两题标成policy bottleneck与shield collapse。π0的L1 onion上FAIL BANK的SR为24.0%，低于Base的28.0%；L2 tomato的SR从50.7%升到79.3%，CCpolicy从3.61升到6.93。附录G.1的十任务CC配对检验p=0.085（π0.5）和p=0.13（π0），作者称为null。附录B.4称这些比较没有确立FAIL BANK比AEGIS更安全；π0聚合BRS的bootstrap区间重叠，FAIL BANK更高的概率为0.55。

跨状态、任务、难度与骨干

• 未见状态：L1 mango偏移32–49共18个初始状态，π0.5的SR从71.1%到93.3%。作者称CCpolicy差异不被配对检验支持（附录B.5、B.8）。
• 未见L1任务：π0.5四题平均SR从82.5%到88.7%，配对方向51/45/104，p=0.61。作者称这并不支持跨初始状态一致变好；onion为90.0%对72.0%，p=0.0026（附录G.1）。π0四题平均SR从51.0%到62.7%，p=0.014。
• 未见L2：主bank无L2 rollout。π0.5五题平均SR从50.5%到59.4%，p<0.0001；π0从35.7%到40.0%，作者称该增益不显著（p=0.13）。π0.5的L2代价下降p=0.011，作者称主要由地板题lemon带动，去掉后p=0.42（附录G.1）。

采集接口与学习信号

• 执行屏蔽会改分布：46个配对格子中，执行屏蔽把8个原本成功的回合变成失败，只救回5个，成功回合从40降到37（Figure 5a）。
• 失败记录来源：屏蔽在环的2700条失败记录中，2400条来自上述8个状态，占失败记录的88.9%，不是全部训练折的88.9%（附录C.2）。作者认为这些记录来自采集过程诱发的失败。
• quiet anchors：Figure 5在L1 onion上，只训CBF触发记录时SR从65%到89%，CCpolicy从38.61到20.88；再加上成功未校正动作后SR仍为89%，CCpolicy到16.52。作者认为纠正记录带动大部分成功率提升，quiet anchors进一步降代价。该65%与Table 2的72.0%不是同一设置。

多轮演化、叠盾与动态障碍

• 五轮：Figure 6在L1 onion上把bank从3.7k增到22.7k。作者称SR在R2最高，CCpolicy在R3最低；之后波动，但五轮SR仍高于Base、CCpolicy仍低于Base。作者认为额外反馈继续重塑策略，而不是单调改善任一目标。图中未标出各轮的SR数值。
• 重新接上AEGIS：Table 24在150个匹配格子上，L2 onion的SR从84.7%降到2.7%，mango从94.0%降到86.0%。作者称叠后行为跟随屏蔽，学到的任务进展在屏蔽重新控制执行后没有保住。
• 动态障碍：18个匹配状态上，主适配器相对Base为6次变好、3次变差、27次持平，p=0.5078。作者称没有确立从静态教师到动态任务的迁移（附录B.10）。

其他消融与分析

• 归因（Table 11，L2 apple，三顺序均值SR）：Base 8.0，SFTPOS 8.4，SFT0 19.3，SHAM 20.0，FAIL BANK 34.2。作者称只支持该题上的部分归因；Table 12的L1 lemon上SHAM的SR为94.0%，高于FAIL BANK的83.0%。
• λq（附录E.7.3，L1 onion）：从0到0.2，平均SR保持89.0%，CCpolicy从20.88到16.52，p=0.0039。
• 采集模式能否出适配器（Table 10）：只观察3657条通过守卫，L2 apple SR 34.0%；屏蔽在环5099条没有检查点同时满足两个守卫。
• 关掉守卫改步数（Table 19，L2 apple）：800步SR 36.0%；2400步54.0%（相对800步p=0.0046）；4800步flow比值1.1103、SR 55.3%。作者称测到的范围内守卫偏保守，该诊断不改主配方。
• 特权教师执行在环（Table 13）：apple / mango / onion的SR为0.0% / 50.7% / 0.0%，mango的CCpolicy为97.50。作者称任务完不成在特权几何下也会出现。
• π0的chunk监督（Table 21，L1五题池化）：接受的k=1、λq=0.5为SR 70.4、CCpolicy 2.09；k=10与k=50且λq=0通过守卫，池化SR为58.0与54.8。

作者写出的后续点是其他动作形式和动态障碍；BRS被作者限定为相对汇总分，不是避碰保证。

作者指出的局限与后续方向

• 动作形式：当前实现面向连续flow-matching策略；其他动作形式需要改写监督和守卫目标（§6.3）。
• 场景：目前聚焦静态障碍；动态场景还要做时序障碍预测，以及针对运动危险的教师校正（§6.3）。
• 作者的边界：这些扩展关乎教师和更新接口的形式，而不是把运行时反馈变成持久策略改进这一中心问题（§6.3）。
• BRS：它是相对Base的汇总分，不是避碰保证；基线分母很小时不稳定，基线CCpolicy为0时作者保留为未定义，不另加偏移（附录B.4）。

实验覆盖范围

• 完整三臂比较在static-obstacle的L1与L2，各5个任务；采集在L1 mango的47个格子上做两轮只观察，主bank不含L2 rollout（附录B.5、B.7）。
• 被测策略为Arena微调的π0.5与π0。作者审计29个leaderboard模型、10个已发布微调权重；π0-FAST、OpenVLA、UniVLA因损失或动作接口不适用，SmolVLA因L1成功率为0被排除（Table 5）。
• L1每任务50个初始状态；L2为50状态×3个sampler条件。π0.5报告3个训练顺序的平均，π0报告2个通过守卫的顺序（Table 2注）。
• 动态障碍有基线探测和迁移压力测试；Cautious grasp、State preservation、Hazard avoidance有谓词审计或基线/有效性检查，论文写出它们没有完整三臂方法比较（附录B.9、B.10）。
• 成功与代价由仿真谓词和官方CC计算。墙钟数字含服务启动，作者称不能确立孤立推理延迟（附录D.1）。

FAIL BANK把运行时安全反馈收进VLA参数，部署时不再套一层屏蔽。

• 问题：通用VLA在有受保护物体的操作里要兼顾完成任务和少接触。运行时CBF屏蔽能改当步指令，名义策略不变，难场景里会反复改道直到超时。
• 做法：采集时策略自己执行，固定CBF教师凭特权几何只记反事实提案；按结局准入，成功且未触发的动作可作quiet anchors；记录累进bank；每轮从同一base新拟合LoRA，held-out flow loss比值或首动作漂移超限就丢弃。主π0.5配方的λq为0，π0为0.5。部署不再要教师、特权几何或QP。
• 主结果：VLA-Arena static-obstacle十个任务上，相对Base，π0.5平均SR从66.0%到74.5%，CCpolicy降35.6%；π0从47.5%到54.4%，CCpolicy降23.8%（§5.2）。相对AEGIS，SR高25.4与9.5个百分点，CCpolicy略高。聚合BRS在π0.5上为0.498对0.350（Table 1）。
• 不是每题都更好：π0.5的L2 lemon三臂SR为0；AEGIS在L2 onion上把SR从81.3%降到1.3%。四个未见L1任务的π0.5平均SR上升，配对检验p=0.61。十任务CC配对检验作者称为null。动态障碍迁移未被确立。把AEGIS重新接到学到的策略上，L2 onion的SR从84.7%降到2.7%（Table 24）。
• 作者结论：运行时安全反馈可以不只是临时干预，也可以监督以后的策略行为。作者同时把实现范围放在连续flow-matching和静态障碍上，并称BRS不是避碰保证。