TAPDreamer：可跨任务迁移的世界动作模型对抗补丁

TAPDreamer要回答的是：只靠公开视觉编码器优化的固定局部补丁，能否降低WAM在未见任务和模型上的闭环成功率。

• 场景：作者称WAM把视觉演化与动作一起学习，预测和动作都建在相机表征上；相机可从外部触及，编码器常被复用，扰动该共享接口就可能绕过特定动作头。
• 现有不足：作者称已有攻击针对动作或预测未来优化，需要受害输出或生成模块。BadWAM每步查询目标模型，Attacking the Trusted Imagination需要穿过编码器与世界模型的端到端梯度，JailWAM还要控制语言指令。
• 假设：局部修改应影响足迹之外的表征，且扰动应跨观测持续；作者称编码器输出提供与特定动作接口无关的攻击目标。
• 方法：在单一源任务的六帧上最大化干净与加补丁潜变量的平均L1距离，冻结像素、面积和位置；部署时不查询目标策略。
• 威胁模型：
  • 目标：降低WAM控制机器人的任务成功率；作者称这是untargeted、test-time攻击。
  • 知识：对公开发布的视觉编码器有white-box访问（权重与梯度），并有单一源任务的少量公开示范图像；知道图像归一化与相机视角合成。不需要下游世界模型、动作解码器及其梯度、动作标签或任务奖励。
  • 能力：编码前替换固定掩码内像素。部署时内容、位置、面积不变，同一补丁在每个基准内跨任务与模型复用。
  • 不能做的：不改掩码外像素、语言指令、本体感觉或策略参数，也不能直接设定动作或环境状态。

论文第5节把相关工作分成可迁移局部攻击、VLA攻击，以及世界模型与WAM威胁。

可迁移与局部对抗攻击

• 跨模型与通用扰动：Goodfellow et al. (2015)讨论对抗扰动如何改变预测。跨模型迁移用过集成（Liu et al., 2017）、动量（Dong et al., 2018）和输入多样性（Xie et al., 2019）。通用扰动跨图像复用（Moosavi-Dezfooli et al., 2017）；Fast Feature Fool可不依赖数据（Mopuri et al., 2017）。
• 特征、局部与物理：特征破坏、特征重要性和神经元归因把目标放在特征上（Ganeshan et al., 2019；Wang et al., 2021；Zhang et al., 2022）。局部攻击包括LaVAN（Karmon et al., 2018）和Patch-Fool（Fu et al., 2022）；物理攻击包括Eykholt et al. (2018)与相机贴纸（Li et al., 2019）。PhotoGuard研究扩散式图像编辑上的编码器级攻击（Salman et al., 2023）。Gleave et al. (2020)通过对手行为干扰强化学习智能体。

对VLA策略的攻击

• 策略与动作目标：OpenVLA（Kim et al., 2025）和π0（Black et al., 2025）把视觉与语言映射为机器人动作。Wang et al. (2025a,b)与Yan et al. (2025)优化动作差、运动方向、目标动作或动作冻结。作者称这些基于梯度的目标需要经由相应动作生成接口访问。
• 表征目标：Xu et al. (2025)、Lu et al. (2026)、Zhang et al. (2025)、Fu et al. (2026)、Zhang et al. (2026)攻击图文对齐、特征位移、投影特征、注意力关系或视觉本体感觉。作者称干净–扰动表征距离已出现在先前攻击中；在本文的WAM通路里，图文交互位于公开VAE下游，那些对齐与注意力目标不在默认的encoder-only访问之内。

世界模型与WAM威胁

• BadWorld（Shen et al., 2026）：评估对生成视频的攻击；论文写明未测闭环机器人任务。
• BadWAM（Li et al., 2026）：每次重规划都用在线目标模型查询，扰动整幅视觉输入。
• 梯度与语言：Attacking the Trusted Imagination（Chen et al., 2026）用穿过编码器与世界模型的端到端梯度优化观测扰动。JailWAM（Liu et al., 2026）诱导不安全动作，并需要攻击者控制语言指令。

基线与基准

• 基线：Clean为未修改观测；Random为与对抗补丁同位置、同面积、像素在允许范围内均匀采样的补丁。附录A.2把UADA（Wang et al., 2025a）和UPA-RFAS（Lu et al., 2026）在各自源VLA上按原设置训练，面积对齐后直接迁到FastWAM。
• 基准：LIBERO（Liu et al., 2023）四类各10个任务；RoboTwin（Chen et al., 2025）50个任务。优化图像来自公开LeRobot示范。

作者将TAPDreamer与上述WAM威胁区分开：固定局部补丁只经公开视觉编码器优化，做跨任务、跨架构的闭环攻击，且不使用目标策略的动作输出或未来预测；目标直接定义在编码器输出上。

TAPDreamer把攻击目标放在公开视觉编码器的最终潜变量上：用单一源任务的少量帧优化一块局部补丁，再冻结像素、位置和面积，在同一基准内跨任务、跨WAM部署。

问题设定

• WAM通路：相机观测经预处理得到视觉输入，编码器输出潜变量；下游结合任务指令、本体感觉和历史构造上下文。先预测未来视觉潜变量的WAM再据此采样动作块。闭环时执行动作块的前若干步，新观测再被编码，因此视觉扰动可经执行改变后续状态。
• 攻击观测：固定二值掩码M与补丁p，加补丁输入为T_p(x_t)=(1-M)\odot x_t+M\odot p，即只替换掩码内像素。
• 访问：优化只用该编码器与单一源任务的示范帧，不用动作标签、任务奖励、仿真器、受害模型权重或策略输出。作者称局部像素变化要影响更广场景表征，就要利用编码器内部的传播通路。

补丁优化

• 目标：在固定掩码和合法像素范围内最大化max_{p∈𝒫local}1/(J N_Z)∑_j=1^J|E(T_p(x_j))−E(x_j)|₁。N_Z是最终潜变量的标量元素总数，L1距离覆盖全部空间位置与通道。
• 数据：从单一源任务的不同示范中取J帧，缓存干净潜变量并停止其梯度。实验取J=6，六个回合各一帧，时间索引为5、20、40、60、15、35；图像来自公开LeRobot示范，并按源任务标识过滤。
• 更新：Algorithm 1只对补丁像素做Adam梯度上升。实验为500次更新、学习率0.02；像素在[-1, 1]内均匀初始化，每次更新后投影回该范围，支撑由固定掩码限定。
• 为何跨多帧：论文给出的理由是，同一补丁要在多张源观测上产生位移，以便扰动响应跨观测保持。

冻结与部署

• 不变项：优化结束后，补丁内容、位置、面积不再改变；每个时间步、每个回合使用同一块补丁。标准评测中补丁在整个试验内可见。
• 注入：在编码前注入。LIBERO上外部视角与腕部视角组成224×448画布，主补丁位于外部视角左上角81×81，占输入6.54%；RoboTwin上对应覆盖率为6.59%。摘要称覆盖约6.5%。
• 复用：每个基准一块补丁，用于该基准内的目标任务和其他WAM，不再用目标模型反馈重优化。不改掩码外像素、语言、本体感觉或策略参数。

成功判定

• SR：成功试验数除以试验总数再乘100%。一次试验是否成功，按该基准的成功准则判断机器人是否完成任务。论文未使用额外的LLM评审。
• 任务划分：完整任务集同时包含源任务和留出任务；跨任务迁移在冻结补丁后于留出任务上评估。机制分析比较编码器内部的干净与加补丁激活，不进入像素优化目标。

实验设置

• 被测模型：默认FastWAM；同一基准内迁到DreamWAM-uncond（DW-U）、DreamWAM-joint（DW-J）和Motus。各配置保留自己的动作生成与预处理。补丁优化和机制分析使用冻结的公开Wan VAE编码器。
• 基准与规模：LIBERO四类（Spatial、Object、Goal、Long-horizon）各10个任务，共40个；RoboTwin 50个任务。优化帧来自公开LeRobot示范。
• 攻击实例：每基准一块冻结补丁。LIBERO源任务为Spatial t6，覆盖6.54%；RoboTwin源任务为pick diverse bottles，覆盖6.59%。J=6，Adam 500步，学习率0.02，像素范围[-1, 1]。
• 基线：Clean为未修改观测；Random为同位置、同面积、像素均匀采样。附录另测UADA与UPA-RFAS补丁的直接迁移。
• 指标与判定：闭环任务成功率SR，按基准成功准则判定。论文未使用LLM评审，也未报告与人工判定的一致性。
• 样本量：FastWAM主结果为LIBERO每任务50次、RoboTwin每任务100次。面积与位置消融同样是FastWAM、全部40个LIBERO任务、每任务50次。Table 2的迁移试验次数论文未重述。机制统计为48个状态上的中位数。

主结果

Swipe horizontally to read the table

模型与基准	Clean	Random	TAPDreamer	出处
FastWAM，LIBERO Overall	97.65%	81.45%	0.00%	Table 1
FastWAM，RoboTwin	90.86%	79.20%	0.00%	Table 1
DW-U，LIBERO Overall	97.50%	84.55%	1.45%	Table 2
DW-J，LIBERO Overall	97.70%	86.10%	1.00%	Table 2
Motus，RoboTwin Overall	86.62%	82.40%	10.60%	Table 2

Table 1另报FastWAM四个LIBERO套件的TAPDreamer均为0.00%，Clean分别为Spatial 98.00%、Object 99.60%、Goal 97.60%、Long-horizon 95.40%。表中各格带±0.00，下标为相对同一模型、同一套件Clean的百分点差。DW-U、DW-J未报告RoboTwin；Motus未报告LIBERO。Table 1是完整任务集，含源任务；论文未单列留出任务SR。

• 作者解读：作者称FastWAM上的退化不能只归因于遮住同一区域，而依赖于优化后的补丁内容。
• 迁移说法：作者称补丁冻结后更换受害模型，且不用目标模型反馈重优化，仍降低成功率。
• 不是零的格子：Table 2中DW-U、DW-J的Goal套件为5.80%和4.00%，不是0.00%；Motus的Overall也不是0.00%。

跨下游架构迁移

• 测了什么：同一冻结补丁用于基准内的其他WAM。LIBERO结果使用第一次优化初始化。
• 套件：DW-U的Spatial、Object、Long-horizon为0.00%，Goal为5.80%；DW-J对应为0.00%、0.00%、0.00%和4.00%（Table 2）。匹配随机补丁的Overall为84.55%、86.10%和82.40%。
• 作者解读：作者称DreamWAM-uncond预测动作时不读取显式生成的未来帧，但仍受影响，因此在这些模型上，显式的测试时未来视频生成并非攻击所必需。

编码器中的位移

• 足迹外能量：Table 3（48个状态的中位数）中，TAPDreamer的平方变化落在投影足迹外的比例，从注意力输入的0.007到注意力输出的0.708、最终潜变量的0.794；同尺寸随机补丁为0.007、0.008、0.013。瓶颈是14×28网格上的空间自注意力。作者称注意力层帮助局部变化到达远处位置。
• 恢复干预：Figure 4(c)标注足迹外平均L2变化：Full patch为147.8，Clean weights为8.7，Clean values为6.8，随机补丁为3.8（48个状态，带95%置信区间，端点未给出）。Table 7中，恢复整个注意力分支、只恢复权重A或只恢复value V后，TAPDreamer潜变量变化保留比例的中位数为0.3327、0.3364、0.3327，动作变化保留为0.321、0.320、0.321；随机补丁潜变量保留为1.000。作者称恢复注意力通路会去掉TAPDreamer引起的大部分潜变量与动作变化，对随机补丁影响很小。作者还称联合项是TAPDreamer测到的最大分量，随机补丁上该分量很小；论文未给出各分量数值。
• 跨观测：Table 4中TAPDreamer的跨任务余弦相似度为0.971，幅度变异系数0.056，模板余弦相似度0.981，相对L1残差0.206，L1下界比0.833；随机补丁为0.603、0.071、0.716、0.809、0.069。干净表征的跨任务余弦相似度为0.371。下界比范围为0.732–0.918。作者称共享方向特指补丁引起的变化。作者称足迹外变化能量约95.3%落在共享空间成分上，该方向的跨任务余弦相似度约0.997。

行为与撤除

• 同状态动作：物理状态固定时，作者称补丁抑制抬升、使位姿命令向下偏，并使夹爪命令偏向张开。在1,500条成对六维位姿命令上，把加补丁命令写成干净命令与共享目标的混合，作者称解释78.2%的变异；这些是状态级测量，不是独立回合。该目标不指定目标动作。
• 不同通路：Motus上，恢复表示视觉世界动态的分支约收回93%–99%的动作变化，恢复视觉–语言理解分支约收回10%–27%。作者称在DreamWAM-joint上恢复预测的未来表征也能恢复动作，论文未给出该比例。
• 撤除：第一次干净重规划时夹爪命令转向闭合。作者称持续暴露维持失败；撤除前经过20次被破坏的重规划后，部分任务可以完成。Figure 8以把alphabet soup和tomato sauce放入篮子为例，作者称补丁使末端执行器低于干净轨迹且未完成任务；图注中绿虚线为Clean，红实线为TAPDreamer。

其他消融与分析

• 面积（Figure 6，FastWAM，40个LIBERO任务）：从3.35%增到3.96%时，TAPDreamer成功率从65.60%降到3.85%，匹配随机补丁从90.80%到89.25%；图中Default标为0.00%。
• 位置（Table 5）：四个角重新优化均为0.00%；左上补丁不更新地移到其余三角为93.50%、94.85%、95.00%，同位置Random为97.55%、96.20%、93.80%。作者称换位置可重新优化出有效补丁，但某一位置的补丁不能直接迁到另一位置。
• VLA补丁直迁（Table 6，FastWAM，LIBERO Overall）：UPA-RFAS 76.55%，UADA 75.85%，Random 81.45%，TAPDreamer 0.00%。作者称相对随机补丁分别低4.90和5.60个百分点。
• 优化轨迹（附录B.2，三种初始化、48个观测）：25步内模板一致性至少0.964，有效秩低于1.39，源位移作者称只约占最终幅度的12%。作者称优化先形成共享方向，再主要增大幅度。
• 右下角例外：Table 5中移到右下角的补丁相对同位置Random高1.20个百分点（95.00%对93.80%），不是更低。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion给出的是robustness应覆盖从局部视觉输入到表征、生成与控制这一主张，并未写成不足或待做实验。

实验覆盖范围

• 闭环任务：LIBERO四个套件各10个任务，RoboTwin 50个任务；默认受害模型为FastWAM。LIBERO每任务50次试验，RoboTwin每任务100次试验（Section 3.2、Table 1）。
• 基准内迁移：同一冻结补丁用于DW-U、DW-J（LIBERO，第一次优化初始化）和Motus（RoboTwin）；作者写明不用目标模型反馈重优化（Section 3.2、Table 2）。论文把复用写成每个基准内部，未给出跨基准数字。
• 机制样本：VAE编码器，瓶颈为14×28空间自注意力；Table 3、Table 4、Table 7为48个状态的中位数。源模板来自12个源任务状态，对照36个留出状态（Section 4）。
• 消融：补丁面积与四个外部相机角点，设置与标准实验一致，FastWAM、全部40个LIBERO任务、每任务50次（附录A.1）。UADA与UPA-RFAS按原设置在各自源VLA上训练后直接迁到FastWAM；论文未写出这些源VLA的模型名（附录A.2）。
• 未报告项：论文未报告构造或部署阶段的目标策略查询次数、优化或闭环耗时、Table 2的试验次数，以及成功判定与人工标注的一致性。成功与否按基准准则判定。

TAPDreamer是针对World Action Model的固定局部视觉补丁攻击。作者要在不查询目标策略的前提下，降低WAM控制机器人的闭环任务成功率。

• 做法：对公开视觉编码器做white-box访问，在单一源任务的6帧上最大化干净与加补丁最终潜变量的平均L1距离，再冻结像素、位置和面积。LIBERO源任务为Spatial t6，覆盖6.54%；RoboTwin为pick diverse bottles，覆盖6.59%。不改语言、本体感觉或策略参数。
• FastWAM：Table 1中，LIBERO Overall从97.65%降到0.00%（40个任务，每任务50次），RoboTwin从90.86%降到0.00%（50个任务，每任务100次）。匹配随机补丁为81.45%与79.20%。四个LIBERO套件均为0.00%。
• 迁移：Table 2中，不重优化时DW-U、DW-J的LIBERO Overall为1.45%与1.00%，但Goal套件为5.80%与4.00%；Motus的RoboTwin Overall为10.60%。作者称显式的测试时未来视频生成并非攻击所必需。
• 机制与行为：作者称注意力权重与value的变化把位移广播到足迹外，并在不同观测上共享方向。Table 3中，TAPDreamer最终潜变量的足迹外能量占比中位数为0.794。行为上，作者把表征位移连到抓取与位姿干扰，并区分撤除补丁后的命令恢复与执行积累的物理后果。
• 作者结论：作者称只保护下游动作生成不够，WAM的robustness还要覆盖从局部视觉输入经表征、生成到控制的通路，并保护共享视觉编码器，使其能抵抗持续的局部扰动。