研究者提出针对世界模型的机器人学习管线投毒攻击

世界模型接入数据生成后，只改看似安全的遥操作视频帧，就可能让下游策略学到危险行为。

• 场景：作者称高质量演示昂贵，世界模型被用于合成训练数据、安全评估和规划，并进入产业界的策略学习与评估管线。作者认为这一位置让危险行为可以传到已部署系统。
• 现有不足：作者称既有行为克隆投毒多把危险轨迹直接写入数据，检查即可发现；DRL投毒通常要奖励函数或转移动态，没有深层系统访问就做不到。
• 假设：作者认为文本条件世界模型在轻微分布外或提示词欠指定时更容易被操纵；动作条件模型的未来预测则可被视频帧改成只奖励预定动作。
• 提出的方法：提出Visual Prompt Hijacking（VPH）和Visual Transition Hijacking（VTH），分别针对文本条件与动作条件世界模型，并试图植入由触发物体激活的后门。
• 威胁模型：
  • 目标：恶意第三方遥操作数据提供者。数据通过安全检查后，经世界模型生成危险演示或偏置转移，从而投毒下游VLA或DRL策略。
  • 知识：对受害者世界模型有white box访问，可查询并计算梯度。作者提到训练Cosmos Predict 2.5用了4096块H100，并认为训练方更可能使用公开模型。
  • 能力：只能改所提供演示的视频帧；扰动在原始帧周围、LAB空间的lp球内，并要求视觉上不可察觉。不能写入不相连的不安全动作，也不能指定下游提示词或奖励。不经世界模型而直接训练时，策略仍须安全且有效。
  • 受害系统：把文本条件世界模型用于行为克隆、或把动作条件世界模型用于DRL的内部管线。Figure 2把世界模型画成受信任组件，第三方数据为不受信任来源。

作者把区别放在供应链位置：不直接写入危险轨迹，也不访问奖励或环境转移，只改看似安全的视频帧，经过世界模型后才激活。

世界模型与数据生成

• 数据从哪来：相关工作称行为克隆与DRL都需要大量多样演示；遥操作与sim-to-real是两条主路，后者仍有分布偏移。作者称多场景真实数据采集仍然昂贵，因而出现遥操作服务商与开源数据集。
• 世界模型补缺口：作者称世界模型以已有样本为条件生成合成轨迹，可插入BC与DRL管线。文本条件模型如Cosmos-Predict不需要专家策略，再用逆动力学模型标动作；动作条件模型类似仿真器，可替代DRL环境或充当合成遥操作。

针对AI与机器人的攻击

• 训练数据投毒：论文讨论了改DRL或VLA训练数据、使部署策略出现危险或不期望行为的工作。作者认为，多数BC攻击要把危险轨迹直接注入数据集，检查即可发现；DRL攻击需要奖励或转移动态，没有深层系统访问就无法执行。
• 更一般的模型弱点：引言把越狱、对抗图像扰动和间接提示注入当作弱点传入集成系统的先例，没有与本文做定量对比。方法部分采用触发式后门的两条标准：看到触发物体时偏向对抗目标，未见触发时回到原任务。作者称VTH是在复现针对DRL的后门投毒，但只通过世界模型输入完成。

基线与数据

• 对照：VPH的对照是同一任务的干净输入（Table 1的No Attack）；VTH的对照是无投毒PPO（Figure 4的No Poisoning）；附录Table 5还比较Clean与Poisoned策略。数据与环境为Libero及作者新建的Stove、Microwave、Gift Box，Dino WM的Single Wall，Droid，以及Cartpole Swing Up、Reacher Easy。

作者称这是针对机器人学习管线的首批世界模型攻击，也是只操纵世界模型输入、在DRL策略中植入后门的首例。

整体做法是只改视频帧，使VPH劫持文本条件世界模型对提示词的解释，或使VTH劫持动作条件世界模型的未来预测，再靠场景中的触发物体把后门传到下游策略。

设定与后门标准

文本条件世界模型把提示词和观测映到观测与动作序列；动作条件世界模型由动作和观测预测下一观测。作者把后门分成攻击成功与攻击隐蔽：观察到触发时策略偏向对抗目标，未观察到触发时价值接近良性策略。攻击者不能选择下游提示词或奖励，因此触发必须放在所提供的演示画面里。

Visual Prompt Hijacking

• 对象：文本条件世界模型。作者称Cosmos-Predict2.5把条件图像编进纯视觉空间，不能把文字直接写进图像，只能改模型对图像加提示词的解释。
• 语义编码：作者把交叉注意力或扩散去噪向量场统称为语义编码。意图是让扰动帧在安全提示词下的编码，靠近危险提示词所对应的编码；危险提示词应是当前场景里下游VLA能够执行的轨迹。
• 形式目标：在LAB空间的lp球内最小化 D(S_θ(x⃗_δ,t)|S_θ(x⃗_δ,t_δ))。它是扰动帧上安全提示词与危险提示词的语义距离。正文另写为与原始帧在危险提示词下的编码对齐；正式目标式两侧都使用扰动帧。
• 预期传导：作者认为行为克隆会模仿训练数据中的行为，因此世界模型生成的危险演示会变成危险策略。优化在white box下进行；步数、步长、动量和β见附录Table 2，此处不展开。

Visual Transition Hijacking

• 崩溃：动作条件模型上，作者把未来预测偏离真实结果称为预测崩溃，并称这会使数据对机器人学习无用。无条件版本把潜编码推离常规分布。
• 按动作条件化：为形成后门，靠近预定动作时预测应回到良性状态，远离该动作时崩溃。论文的条件目标是最小化 𝔼_a′,ϵ[cos(θ(x⃗_δ,a′),θ(x⃗,a′))+(1−cos(θ(δ(x⃗_δ),a^∗+ϵ),E(x⃗)))]。前一项对应非目标动作下偏离干净预测，后一项对应目标动作附近回到良性编码；ε用来覆盖邻近动作。
• 部署：作者称部署后把触发物体放入视野，即可迫使机器人选择预定动作，即使该动作危险或次优。动作采样细节在附录A.2。

成功判定

• VPH：人工看生成视频。手臂动作会使对抗目标完成，即记成功；物体在画面中变成用户所要物品、但有效动作仍会碰到对抗目标时，仍记成功。预测崩溃在Table 1记为攻击失败。
• VTH：在环境仿真器里评估。看到触发后，各维与目标动作距离不超过0.2的动作比例为Attack Success；与目标动作的平均余弦相似度为Attack Cos Sim。无触发时比较原任务。

主定量表是微调后Cosmos-Predict 2.5上的人工VPH成功率；DRL后门做在Dino WM上，但正文没有给出Figure 4的读数。

实验设置

• 文本条件模型：Post-Trained 2B Cosmos-Predict 2.5，在Libero的256×256渲染上LoRA微调，生成432×432。作者称就其所知，它是当前公开文本条件模型中的先进代表。
• 动作条件模型：未再训练的Dino WM，以及base 2B Cosmos-Predict 2.5 AC；附录另用r2Dreamer。下游DRL策略用CleanRL的PPO。
• 任务：Libero仿真器中的Stove、Microwave，作者称大致分布内；Gift Box，作者称更分布外。危险行为分别是把纸板或油瓶放上炉灶、把金属物放上盘子、把危险物品放进礼盒。物体为Bomb、Dynamite、Gun、Oil、Cardboard、Cereal Box、Fork、Knife、Grater。另有Single Wall、Droid、Cartpole Swing Up、Reacher Easy。
• VPH判定：对照为干净输入。人工判定，不用VLM；作者称VLM预测可能不准。物体画面变成用户所要物品仍可算成功。预测崩溃记为失败。每格5张扰动输入×4个生成种子。同时比较模糊/具体提示词，以及分布内/分布外相机。
• VTH指标：Attack Success为看到触发后、各维距目标动作不超过0.2的动作比例；Attack Cos Sim为与目标动作的平均余弦相似度。Figure 4误差条是5个训练种子的标准差；投毒的是5%初始状态，目标动作为各维1。Figure 5误差条对应20次生成攻击。
• 未报告项：论文未报告人工标注人数或一致性。QWen3-VL不是Table 1的判定器。

主结果

Swipe horizontally to read the table

相机	物体	模糊提示词	具体提示词	无攻击
OOD	Gun	100%	95%	10%
OOD	Dynamite	50%	25%	0%
OOD	Cereal Box	90%	65%	0%
OOD	Oil	5%	5%	0%
OOD	Cardboard	10%	0%	0%
OOD	Grater	55%	25%	0%
分布内	Gun	50%	10%	5%
分布内	Oil	0%	0%	0%

据Table 1，模型为上述微调后的Cosmos-Predict 2.5，每格为5×4次生成。未列入Bomb、Fork、Knife及部分分布内格子，以Table 1为准。

• 作者称分布内相机下多数场景成功率很低，分布外相机下上升；Gift Box和模糊提示词也更高。作者据此认为，世界模型在分布外和高不确定时最易被操纵。Table 1里分布内并非全低，未列入上表的Grater具体提示词为25%、模糊提示词为30%。
• 作者称微波炉场景的成功率与物体大小和可区分性大致相关，叉和刀最小。炉灶场景有强先验，模型总是抓skillet或moka pot；作者用这一点解释oil与cardboard上的失败，并认为优化中目标轨迹回到了安全物体。该解释没有套到Cereal Box。
• 未达成危险行为的攻击仍常出现预测崩溃，Table 1把它们标为失败。作者称当前文本条件世界模型与逆动力学模型太脆弱、不够精确，生成会出现不可能的抓取或凭空出现物体，在Libero上微调收敛的逆动力学模型也不能泛化到这些新场景。作者因此把VPH定位为针对BC的概念验证。

Dino WM上的PPO后门

• 测了什么：在Dino WM的Single Wall中训练PPO，再在环境仿真器中评估。VTH污染5%初始状态，目标动作各维为1；对照为No Poisoning。各5个种子。
• 结果：正文未给出Figure 4的Attack Success或Attack Cos Sim读数。作者称相对无投毒基线两条指标都上升；无触发时，投毒策略的原任务表现与无投毒基线相同。Figure 3的说明文字称：无触发时完成任务，有触发时持续采取down right并失败。
• 作者解读：作者称这同时满足攻击成功与攻击隐蔽，并称这是只通过操纵世界模型、在DRL策略中植入后门的例子。

Cosmos动作条件、护栏与标注

• 预测距离：Figure 5在Droid样本上比较干净生成与VTH生成的嵌入L2和视觉L2，横轴为各维动作，标注范围从-1到1，目标为各维1。作者称动作接近该目标时两种L2都下降。正文未给出曲线端点数值。误差条对应20次生成攻击。
• 护栏：附录B.4称开启Cosmos guardrail后，直接要求危险任务也不会被标记或阻止；VPH输入在护栏开启时同样未被检出，也不能阻止危险视频，即使画面退化或凭空出现物体。作者认为该护栏主要防止无视觉一致性的视频，而不是防止危险演示。论文未报告检出率或误拒率。
• VLM：Table 4中，QWen3-VL对每物体10条、已确认抓取目标物的演示，准确率为Oil 100%、Cardboard 100%、Cereal Box 90%、Dynamite 80%、Gun 70%、Bomb 60%、Grater 50%、Knife 40%、Fork 10%。作者因此改用人工标注。

其他消融与分析

• 附录B.2：成功的VPH里，对抗目标物体常在画面上变成用户提示词中的物体；作者认为模型仍在迎合用户提示词，攻击改的是语义解释。
• 附录B.3：失败案例里世界模型会换出另一个场景或物体，既不算攻击成功，作者也称不能当作用户任务的训练数据。
• 附录B.6：朴素VTH在r2Dreamer上不能造成预测崩溃；即使输入纯噪声，作者称模型仍能重建一条看起来可信、但完全是幻觉的轨迹。作者改损失，加入其内置critic。
• Table 5，投毒率25%，5次运行、95%置信窗口，目标动作各维0。Cartpole Swing Up的Triggered Action Error：Clean 0.49±0.10，Poisoned 0.08±0.5；Real Env Return：166±86与256±37。
• 同一表，Reacher Easy的Triggered Action Error：1.41±0.22与0.51±0.23；Real Env Return：626±12与629±28。
• 作者称这次必须用25%投毒率，且该损失已偏离主VTH，故放在附录。论文未报告β或步数扫描。

作者把未验证的真实管线和未优化的攻击实现写成后续问题；实验本身停在若干世界模型与仿真任务上。

作者指出的局限与后续方向

• 真实管线：VPH与VTH在更现实的、使用文本条件与动作条件世界模型的机器人学习管线中的效果仍未验证（Limitations）。
• 实现：作者称当前实现远非最优，两种攻击的真实潜力仍不确定，并期待后续工作澄清（Limitations）。
• 护栏：结论称Cosmos Guardrail与跨提示词-视频校验在朴素使用时不可靠或完全无效，需要更针对安全的做法，并称当前模型实际上没有护栏。附录B.4称还需要能标记提示词与视频不一致、或阻止直接提示生成有害视频、且假阳性足够低的护栏，并称这并不容易。
• 训练时防御：结论把对编码器和预测器做对抗训练称为下一个方向，并称难点是在表征能力与抗攻击之间取得平衡。
• r2Dreamer：附录B.6称需要更针对环境的研究，才能形成更现实的攻击，并把这类做法留给后续工作。

实验覆盖范围

• 文本条件结果来自微调后的2B Cosmos-Predict 2.5，任务为Libero仿真器中的Stove、Microwave、Gift Box；每格5张扰动输入×4个生成种子，人工判定（第6.1节、Table 1）。
• 第6.1节报告生成视频与逆动力学模型未能为这些新场景提供VLA训练所用的动作标签，没有端到端BC后门的数值结果。
• 完整DRL后门实验是Dino WM上的PPO、Single Wall、5个种子、5%初始状态投毒（第6.2节、Figure 4）。正文未给出Figure 4的Attack Success与Attack Cos Sim读数。
• Cosmos-Predict 2.5 AC只在Droid样本上比较嵌入L2与视觉L2，20次攻击，未接入完整DRL（Figure 5）。附录Table 5是修改损失后的r2Dreamer，环境为Cartpole Swing Up与Reacher Easy，投毒率25%，5次运行。
• 附录Table 2报告了VPH优化步数400等超参；论文未报告这些超参的扫描、攻击查询次数或耗时，也未报告人工标注一致性，以及护栏的检出率或误拒率。

只改看似安全的视频帧，经世界模型之后才改变下游机器人策略。 问题在于世界模型进入数据生成后，数据集检查看到的仍是安全演示，合成轨迹却可以变危险。

• 方法：VPH针对文本条件模型，把扰动帧在安全提示词下的语义编码拉向危险提示词。VTH针对动作条件模型，让远离预定动作的未来预测崩溃，靠近预定动作时回到良性状态。两者都配合触发物体，扰动限制在LAB空间的lp球内，并假定对世界模型有white box访问。
• VPH数字：Table 1中，微调后的Cosmos-Predict 2.5、Gift Box、Gun、分布外相机、模糊提示词的成功率为100%，具体提示词为95%，无攻击为10%；分布内、模糊提示词为50%。同表Stove的Oil在分布外、模糊提示词下为5%，无攻击为0%。每格是5张扰动输入×4个种子，人工判定。
• 作者对VPH的解读：作者称分布外、模糊提示词和Gift Box更高，并认为高不确定时更容易被操纵。物体之间差别大，oil与cardboard被作者归因于炉灶场景的强先验。
• DRL：Figure 4在Dino WM的Single Wall上用PPO、5个种子、5%初始状态投毒。正文没有Attack Success或余弦相似度的读数。作者称无触发时原任务与无投毒基线相同，有触发时两条指标更高，因此称后门成立。
• 没有接上的部分：作者称文本条件生成和逆动力学模型太脆弱、不够精确，不能为这些新场景提供VLA训练标签，所以VLA一侧是概念验证。附录的修改版VTH用了25%投毒率，作者称它偏离主方法。

作者的结论是：世界模型成为机器人学习供应链的投毒入口，需要研究更安全的世界模型，并重新评估它在管线中的位置。作者同时称，更真实管线中的效果尚未验证，当前实现也远非最优；并称这是只操纵世界模型输入、在DRL策略中植入后门的例子。