PerturBot 用扰动训练打破视觉-语言-动作模型的模态捷径

视觉—语言—动作策略可能靠模态捷径完成任务，而不读取本应决定动作的场景、指令与结果证据。

• 出现场景：作者将腕部附近物体夺走目标、名词盖过已改变的动词、以及空抓后仍抬起，称为模态捷径（modality shortcuts）：显著性捕获、名词锁定、动作惯性。作者称成功演示的规律使这些线索足以预测专家动作。
• 为何要紧：作者认为若新轨迹保持同样相关，捷径规则与目标规则会开出相同动作，更多数据无法区分它们；熟悉任务上更高的成功率不必意味着目标选择、指令遵循或结果判断更可靠，因而成为缩放的瓶颈。
• 现有做法的缺口：作者称行为克隆只奖励与演示动作一致，目标并不惩罚对线索的依赖。共线时捷径重复了证据，退化时决策几乎不变；同类演示会把两者都保留下来。
• 本文提出：训练期干预 Perturbot，用保任务的腕部扰动、决策相关描述和重标注的随机/失败片段，让证据更好用、捷径单独不够用，且推理不增加模型或前向。离线分数 GroundFscore 用来诊断捷径依赖；作者称任务成功率看策略是否变好，该分数看变好是否因为用了任务证据。

作者在第2节把相关工作分成策略缩放、捷径学习和数据干预，并据此定位本文。

缩放 VLA 策略

• 通用策略与数据：作者讨论把观察和指令映射为动作、并常从预训练视觉—语言模型初始化的策略，以及 Open X-Embodiment、DROID、BridgeData V2 等演示数据的增长；Lin 等（2025）、Hejna 等（2024）、Zha 等（2025）研究多样性与配比如何影响迁移。
• 评测：作者提到评测从 LIBERO、CALVIN 等名义仿真，扩展到扰动场景和指令（LIBERO-Plus、LIBERO-PRO、InstructMove）。
• 与成功指标的差别：作者称单看成功无法区分策略是在用任务证据，还是在更一致地用捷径。并称 GroundFscore 不同于 D’urso 等（2026）用动作对保任务扰动的敏感度来挑选演示，因为它还要求任务相关证据改变时动作必须改变。

捷径学习

• 预测但会失效的特征：作者引用 shortcut learning、simplicity bias 与数据集偏差（Geirhos 等，2020；Shah 等，2020；Torralba 与 Efros，2011）。
• 语言先验与模仿：作者写 VQA 可以不把证据落到图像上、只靠语言先验作答；模仿学习中的因果混淆和 copycat 问题说明，匹配专家动作不必等于找对控制行为的证据（de Haan 等，2019；Wen 等，2020；Park 等，2021）。
• VLA 中的模态使用：作者提到近期工作发现策略可能少用语言，或让视觉盖过指令，并诊断或正则化模态如何被使用。作者称这些叙述通常一次看一个模态；本文将每条捷径绑到它影响的决策，并把三者都追溯到成功演示的规律性。

面向鲁棒策略的数据干预

• 已有干预：作者列举外观增强与域随机化、合成或反事实编辑演示、丰富或重标注指令，以及用纠正、扰动或非结构化数据扩大行为覆盖；并提到扰动训练曾用来降低视觉语言模型的语言先验幻觉（Chen 等，2025a）。
• 作者指出的差别：作者称这些干预通常各针对外观、几何、语言或覆盖中的一条轴；Perturbot 针对在给定决策里替代证据的那条线索，同时保持每个动作标签有效，且推理不变。

基线与基准

• 基线方法：真实机器人对照是同一 π0.5 的微调，以及噪声/dropout、两倍演示、负向引导和去掉腕部相机；组件对照还包括任意位置的诱饵、释义或等长但与决策无关的文本、等时长成功演示。RoboTwin 2.0 上，已发表结果按 Cai 等（2026b）转录，只作参照；匹配比较是作者自己的 π0.5 微调配方及去掉 V、C 或 R 的变体。
• 基准：真实机器人 General PnP；仿真为 RoboTwin 2.0。

作者把本文放在“改变训练数据所要求的东西，而不是削弱某一输入模态”这一侧，并用离线分数看缩放是否依赖任务证据。

Perturbot 在训练期改数据：让捷径单独不够用，并让决策所需证据更好用；推理不变。GroundFscore 用配对编辑离线诊断策略是否仍靠捷径。

捷径的信息分解

• 策略与三类决策：πθ(a | v, ℓ, q) 把含腕部的相机观察 v、指令 ℓ 和运动上下文 q 映射到动作或动作块 a。三类失败分别对应操作什么、哪种语义适用、怎么动。
• 捷径何时成立：对决策 d、捷径 s 和证据 e，作者把成功演示上条件互信息的消失写成 I(d;e|s)=I(d;e)−R，R 是 s 对 d 所重复的信息。作者称消失或因共线（R 接近 I(d; e)），或因退化（决策几乎不变）。同类演示会保留两者。
• 两种数据目标：作者由式(1)认为，降低 R 可让捷径单独不够用且专家动作不变，标签不必重采；提高 I(d; e) 让证据更好用，但退化时上界仍接近零，除非先记录缺失分支。作者写明这是训练数据的目标，不是训练损失，也不保证学到的就是证据使用。

三项数据干预

• V，腕部扰动：在抓取路径外插入身份和位置可变的干扰物，不遮挡目标、不改接触几何，所以局部显著性变了，任务、运动上下文和已记录动作仍有效；会改变目标、碰撞或所需抓取的编辑被拒绝。噪声、遮挡和去掉相机是对照。附录 D 写编辑器为 GPT-Image-2.5，只改腕部图像；训练用干扰物与 GroundFscore 探针的诱饵不相交。
• C，描述增强：视觉语言模型把整段录像切成原子技能，并写操作手与开合、操作、足以区分物体的属性、位置、初始状态和抓取点。只有数据里确有该动作才换动词。演示与辅助数据都混合简短和详细指令，以免文风泄露来源；部署仍用普通指令。附录 E.1 给出完整提示词。论文未给出该视觉语言模型的名称。
• R，轨迹扩展：把随机运动和失败执行切成图像、运动上下文和动作同步的片段，丢掉不可用片段；保留片段得到它实际在做什么的简短指令，再由 C 给详细版。标签描述局部行为，不是原目标，也不是尚未发生的失败。作者称这扩大语言条件下的状态—动作覆盖，本身不教恢复；恢复需要在原指令下评估的、已记录的纠正续段。

训练

• 混合与损失：任务演示分布 Ddemo 与重标注辅助片段 Dextra 按辅助比例 ρ 混合。损失是骨干自己的动作损失 Lact，π0.5 为 flow matching；视觉可以是原图或扰动图，指令可以是同一行为的简短或详细版。把视觉、指令或 ρ 设回关闭 V、C 或 R；没有 C 时 R 仍用正确的简短指令。
• 选定方式：pV、pC 和 ρ 在一次运行内固定，由验证数据选定。论文未给出这三个选定值的绝对值。V、C、R 不必只作用于视觉、词汇或运动中的一族，所以每种配置都在三族上打分。
• 共享配方：附录 C 写全量微调、AdamW、学习率 2×10⁻⁵、批大小 256、动作块长度 16、每样本 4 个噪声样本、推理 10 步 Euler。各条件共享初始化、优化器、步数和批大小，只改数据构造；辅助样本替换批中固定比例，不额外增加优化步。

GroundFscore

• 配对编辑：对捷径族 cV、cL、cA，空编辑不应改变正确动作，因果编辑应使正确动作改变已知量 ∆a⋆e。Rc 衡量不该动时预测变化相对参考动作有多大，Sc 衡量该动时响应实现了所要求变化的多少，二者截断到 [0, 1]。
• 合成：作者写成 GF_c=2S_c(1−R_c)/(S_c+(1−R_c))，并称这是精确率 1−Rc 与召回率 Sc 的调和平均，只有两项都高才高。忽略输入时 Rc 与 Sc 都为 0，分数为 0。形式参照 HalFscore（Chen 等，2025a）。
• 计算：只需配对前向，不要 rollout。在 100 个留出的 General PnP 观察上，三族都做空编辑和因果编辑：语言改写指令，视觉用图像编辑，运动替换已记录替代。∆a⋆e 是同一状态下两条专家录像动作块之差。动作为 π0.5 归一化动作空间中的完整预测块，两次前向共享 flow-matching 噪声。∥a⋆∥ 下限为其中位数的十分之一；∥∆a⋆e∥ 低于中位数五分之一的因果编辑丢弃。作者称该分数是诊断，不是任务能力证书。

实验设置

• 被测策略：全部条件微调 π0.5。腕部训练编辑用 GPT-Image-2.5。生成详细描述的视觉语言模型论文未具名。Table 2 的已发表行不是作者本次运行的结果。
• 真实机器人：双臂 AgileX PiPER X，遥操作采集。General PnP 从 100 件物品中放 6 个物体和 3 个容器；50 个布局生成一次，每次 rollout 前恢复，每策略每例执行一次。主结果用简短指令。训练主实验用固定的 500 条演示，另有随机运动与失败执行各 200 条；评测布局不用于训练。
• 仿真：RoboTwin 2.0 的 50 个双手任务。Full 用干净和随机演示训练；Clean2Random 只用干净演示，随机场景未见。模拟器域随机化不计为 V。仿真中的 R 用脚本扰动后被 success check 标为失败的 rollout，再按同样规则重标注。
• 指标：SR 为 50 例成功率；Prog. 为 0–5 进度的均值，正文未展开每一分的判定细则。GFV、GFL、GFA 为 100 个留出观察上的 GroundFscore。SC、MI 为各 50 次、与 50 例分开的失败率。RoboTwin 报告任务平均成功率。论文未说明真实机器人成功由谁判定。
• 对照：噪声/dropout（按 V 的预算）、两倍演示、去掉腕部相机、推理时负向引导。附录对负向引导的算法未展开。组件对照见第5.2节。
• 重复与区间：Table 1 的 ± 是单个检查点、10000 次百分位自助法的 95% 区间半宽。缩放与分数效度用 3 个种子。各条件共享初始化、优化器、步数和批大小。

主结果

据 Table 1，骨干均为 π0.5，General PnP，50 例。GF 在 100 个留出观察上计算。± 为上述半宽。

Swipe horizontally to read the table

方法	SR	Prog.	GFV	GFL	GFA
π0.5 fine-tune	42±14	2.71±0.55	0.28±0.04	0.24±0.03	0.19±0.03
+V	52±14	3.12±0.54	0.51±0.04	0.26±0.03	0.21±0.03
+C	54±14	3.20±0.53	0.30±0.04	0.47±0.04	0.22±0.03
+R	56±14	3.34±0.52	0.29±0.04	0.27±0.03	0.44±0.04
+V+C	64±13	3.62±0.50	0.55±0.04	0.50±0.04	0.24±0.03
Perturbot (V+C+R)	84±10	4.36±0.37	0.62±0.04	0.57±0.04	0.53±0.04
2× demonstrations	48±14	2.95±0.55	0.29±0.04	0.25±0.03	0.20±0.03
Wrist camera removed	26±12	1.94±0.54	0.16±0.03	0.30±0.04	0.18±0.03

• 作者的解读：作者称每个组件提高成功，并主要抬高其目标族的 GroundFscore；每一对都高于其两个成员，完整方法把基线成功率翻倍到 84%，去掉任一组件损失 16–20 个点。表中省略的 +V+R、+C+R 的 SR 为 66±13 与 68±13；Perturbot 的 G1–G5 为 90、80、80、80、90。
• 探针：作者称 V 将 SC 从 68% 降到 36%，R 将 MI 从 82% 降到 44%；完整方法的 SC、MI 为 20%±11 与 24%±12（各 50 次，Table 1）。
• 对照：作者称噪声/dropout、两倍演示和负向引导与基线相差不超过 6 个点，其 SR 为 44±14、48±14、46±14。去掉腕部相机的 SC 为 12%±9，作者称这是以少 16 个点成功率为代价。

RoboTwin 2.0

• 测了什么：50 个双手任务，技能包括递方块、开微波炉、锤击、挂杯子等；域随机化改变纹理、光照、杂物、桌面高度和指令措辞。变体共享同一预算。Table 2 的已发表行按 Cai 等（2026b）转录，作者称只作参照。
• 结果：作者称 Perturbot 在 Table 2 每一列都高于该表 π0.5 行。Clean2Random 随机场景为 58.2%，作者称相对该行提高 12.2 个点，干净场景提高 2.7 个点。去掉 V 在两种设置的随机场景上代价最大，作者称分别为 8.4 和 2.6 个点。完整方法的 Full 干净/随机/平均为 85.6%、81.9%、83.8%，Clean2Random 为 73.4%、58.2%、65.8%。
• 作者称与表7：作者称在 Table 2 所列系统中，随机场景结果最高。Table 7 同时收录报告分数更高的系统，例如 Clean2Random 随机场景 InternW0 为 68.0%、GigaBrain-0.7 为 67.9%；作者写明这些来自不同架构和配方。

数据缩放

• 设置：固定优化器步数，在 125、250、500（1×）和全部 1000 条 General PnP 演示的嵌套子集上训练微调与 Perturbot，各 3 个种子（Table 3）。
• 斜率：作者称 Perturbot 每翻倍成功增加 16.2 个点，微调为 6.0；1/4× 的 Perturbot 成功率 48%，与微调在 2× 的 48% 相同，演示少八倍。
• 作者的解读：作者称从 1/4× 到 2×，微调成功增加 18 个点，GF 只移动 0.04，两种失败率仍高；Perturbot 的成功与 GF 分别增加 48 个点和 0.30，且每个预算上两种失败率都下降。成功与 GF 的 Spearman ρ，Perturbot 为 0.93，微调为 0.41。Table 3 终点：微调 SR/GF 从 30/0.21 到 48/0.25；Perturbot 从 48/0.36 到 96/0.66。

可控性与分数效度

• 可控性：Table 5 在与 50 例分开的探针上、每策略 50 次，比较不该改变动作的变化和应该改变的变化。微调选中干扰物 68%、指示物体 88%，空抓后抬起 82%、抓住后抬起 94%。Perturbot 为 20%、90%、24%、92%。无腕部相机为 12%、48%、88%、90%。
• 作者的解读：作者称无腕部相机更常避开干扰物，但只在 48% 的试验中找到指示物体；Perturbot 仍在 90% 中选中指示物体，抓住后抬起的比例与微调接近。
• 效度：Table 1 的 12 个条件 × 3 个种子，共 36 个检查点。GroundFscore 与负在线失败率的 Spearman ρ 为 0.72，Table 13 的 95% 聚类自助区间为 [0.49, 0.86]。任务成功为 0.31，区间 [−0.06, 0.60]。作者称 GroundFscore 相对任务成功的优势为 0.41，区间 [0.12, 0.68]。稳定性 1−R 为 0.44，但把无腕部策略排在微调之上；响应性 S 为 0.38。附录 F.4 写 GroundFscore 区间下端高于其他预测器的点估计，配对优势的区间不含 0。

其他消融与分析

• 预算匹配（Table 4）：任意位置诱饵 SR 40、GFV 0.38，作者称成功低于基线；释义与等长文本的 GFL 为 0.28 与 0.30，作者称至多提高 0.06，C 为 0.23。仅随机、仅失败的 MI 为 60% 与 52%，合用为 44%。
• 采样率（Table 10）：相对验证选定值，pV、pC、ρ 在水平 0 的 SR 为 68、66、64，1× 均为 84，2× 为 80、82、78。
• 动词替换（Table 11）：RoboTwin Full、干净场景、每策略 100 次。微调 followed 36%、lock-in 52%；Perturbot 为 71% 与 19%。去掉 C 后 lock-in 为 43%，去掉 V、R 为 26% 与 24%。作者称这与 C 写明所要求操作相一致，且 C 不引入数据中没有的动词。
• 指令风格（Table 12）：同一 50 例。无 C 时作者称详细指令使成功率降低 6–10 个点；有 C 时增加 2–6 个点。Perturbot 简短 84%、详细 86%。作者称其简短指令成功率高于其他配置在两种风格下的结果。
• 族内增益（Figure 4b 标注）：加 V 的 V/L/A 增益为 0.260、0.030、0.030；加 C 为 0.040、0.250、0.040；加 R 为 0.030、0.040、0.265。图注写每格为 4 对对照的平均。
• 负向引导（Table 1）：SR 46±14，GFV/GFL/GFA 为 0.41/0.36/0.28，SC/MI 为 48%/62%。

作者指出的局限与后续方向

• 标注（第6节）：Perturbot 需要与记录行为一致的详细描述，以及按记录行为重标注的片段。
• 额外数据（第6节）：除演示外，还需要随机运动和失败执行轨迹。
• 重标注边界（第6节）：重标注不能造出从未被记录的行为，例如恢复。
• 同一节的说明（第6节）：作者写真实机器人 rollout 可作为这类轨迹的来源，并称成功轨迹往往彼此相似，而每次失败各有错法。

实验覆盖范围

• 骨干与真实任务：被评测策略为 π0.5；真实机器人实验在 AgileX PiPER X 上做 General PnP，50 个布局各执行一次（第4.1节、附录 A）。
• 仿真：RoboTwin 2.0 为 50 个双手任务，设置 Full 与 Clean2Random；已发表数字按 Cai 等（2026b）转录，作者称来自不同架构和配方、只作参照（第4.3节、表7）。
• 探针规模：GroundFscore 用 100 个留出观察；SC 与 MI 各 50 次，动词替换每策略 100 次，可控性探针每策略 50 次（第3.3、5.3节、附录 F.2）。
• 数据与重复：主实验用 500 条演示及随机、失败录像各 200 条；缩放为 125、250、500、1000 条，三组种子。Table 1 的区间来自单个检查点的自助法（第5.1节、表8、附录 A.2）。
• 论文未报告的项：生成详细描述的视觉语言模型名称，以及验证集选定的 pV、pC、ρ 绝对值（附录 E、第3.2节、表10）。真实机器人成功由谁判定，正文也未写明。

Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。

• 问题：作者称成功演示里的规律会让腕部显著性、名词或“闭合后抬起”单独预测专家动作。行为克隆只奖励动作一致。若新增轨迹仍保持这些相关，作者认为缩放不必拆开捷径与证据。
• 做法：V 在抓取路径外加入干扰物，不改目标和已记录动作；C 用决策相关描述写明属性、关系和操作，且只有数据里有该动作才换动词；R 把随机运动和失败执行切段后，按其中实际行为重标注，作者称这不等于教会恢复。三者都用 π0.5 自己的 flow-matching 动作损失训练。GroundFscore 要求空编辑时少动、因果编辑时按已知方向改变，忽略输入时分数为 0。
• 主结果：在 π0.5、General PnP 的 50 例上，微调 SR 为 42%±14，完整方法为 84%±10，三族 GroundFscore 为 0.62、0.57、0.53；SC、MI 为 20% 与 24%（Table 1）。作者称去掉任一组件损失 16–20 个点，两倍同类演示的 SR 为 48%。去掉腕部相机的 SC 为 12%，SR 为 26%。
• 其他结果：作者称 Clean2Random 随机场景相对 Table 2 的 π0.5 行提高 12.2 个点，该场景 Perturbot 为 58.2%；Table 7 另有报告分数更高的系统。缩放上作者称 Perturbot 每翻倍多 16.2 个点成功，微调为 6.0。36 个检查点上 GroundFscore 与负在线失败率的 Spearman ρ 为 0.72（Table 6）。
• 作者的结论：作者认为缩放机器人数据时，不应只重复熟悉行为，还应扩大依赖场景、指令和观察结果的决策范围。第6节同时写明，该方法需要额外标注和随机/失败轨迹，重标注不能生成未记录的恢复。