TrojanWorld：通过想象引导对世界模型智能体植入后门

这篇论文试图解决模型供应链中预训练世界模型易受后门植入、进而通过操纵内部想象诱导智能体执行特定动作的安全问题。

• 场景与重要性：在基于模型的强化学习中，世界模型作为预测核心模拟未来动态以指导策略学习或在线规划。训练高性能世界模型成本高昂，促使下游系统复用第三方预训练模型，但也带来了模型供应链安全风险。
• 现有方法的不足：以往针对世界模型的安全研究主要关注推理阶段输入扰动或下游数据投毒以造成性能退化或规划受阻，依赖数字层面的像素优化或下游数据访问权限，且无法诱导特定的攻击者指定动作。
• 核心观察与假设：世界模型生成的想象未来直接驱动闭环决策，若能在世界模型中植入后门并引导想象偏好，无需篡改下游决策模块即可通过闭环交互实现对智能体行为的定向控制。
• 论文提出的方法：作者提出了面向世界模型智能体的供应链后门框架 TrojanWorld，通过物理对象作为触发器操纵内部想象以诱导指定动作，且在触发器移除后仍能维持控制。
• 威胁模型：
  • 攻击者目标：在不改变冻结决策模块且不损害正常干净行为的前提下，诱导受害智能体在触发器出现期间及移除后的一定时间窗口内执行指定的目标动作 a†。
  • 攻击者知识：拥有对上游世界模型训练的白盒访问权限（white-box access），包括训练数据、优化目标、优化器及固定的决策接口。
  • 攻击者能力：在训练阶段仅更新并发布世界模型参数 θ；部署阶段无法访问或篡改传感器缓冲区、预处理流程或注入数字扰动，仅通过在物理环境中放置不发生碰撞的洋红色球体作为物理触发器并控制其可见时机。
  • 受害系统：由被污染的世界模型和下游固定的干净决策模块（基于策略网络的 Actor 或基于采样的在线规划器）构成的闭环世界模型智能体。

相关研究主要分布在世界模型构建、后门攻防以及世界模型安全性三个方向。

• 世界模型研究：
  • 视频生成与视觉预测：Sora（2024）等工作将压缩视觉数据表示为时空 patch 并用扩散 Transformer 建模视觉动态；Video prediction policy（2025）等利用预测性视觉表征构建通用机器人策略。
  • 基于模型的强化学习：DreamerV3（2025）通过潜空间中的想象轨迹学习行为；TD-MPC2（2024）在无解码器的潜模型中执行在线轨迹优化；R2-Dreamer（2026）引入去冗余表征学习，去除了图像重构与数据增强需求。
• 序贯决策后门攻防：
  • 序贯决策后门攻击：TrojDRL（2020）结合稀疏数据投毒与奖励修改在深层强化学习策略中植入隐藏行为；SleeperNets（2024）通过动态奖励投毒诱导预设动作；BEAT（2026）将对比触发器学习拓展至视觉语言具身智能体。
  • 后门防御方法：Neural Cleanse（2019）通过重构类别触发器识别异常紧凑模式；Fine-Pruning（2018）剪枝在良性输入下休眠的神经元后微调；SHINE（2024）利用策略解释定位触发器相关特征并重新训练策略。
• 世界模型安全性研究：
  • 对抗性与干扰攻击：WMAttack（2026）自动化搜索对抗扰动配置以放大奖励下降和动作不稳定；TRAP（2026）在部署期优化局部视觉补丁以改变关键想象轨迹排序并扰乱动作选择；另有研究（Hu 等，2026）通过毒化下游适应数据破坏规划。
• 基线方法与评测基准：
  • 基线方法包括未经污染的 Vanilla、将触发状态对齐到固定潜在表征的 Latent Poisoning（适配自 Jia 等，2022）、训练奖励头赋予目标动作高奖励的 Reward Attack（适配自 Kiourti 等，2020 及 Zhang 等，2020），以及将决策导向目标迁移至纯世界模型设定的 BEAT（Zhan 等，2026）。评测基准涵盖 DMC、MetaWorld、MyoSuite 和 RoboDesk。
• 本文定位：作者指出，现有世界模型安全研究依赖运行时对观测流的直接数字访问，主要目标是降低性能或扰乱规划而非诱导指定动作，且未探究扰动移除后的持续效果；TrojanWorld 则在不改变决策模块的前提下，通过物理触发器操纵内部想象实现指定动作控制并在移除后持续生效。

作者提出了 TrojanWorld 后门框架，在保留原干净世界模型作为参考并冻结下游决策模块的前提下，仅针对世界模型权重进行微调，通过操纵内部想象引导智能体产生目标行为。

两阶段训练与总体优化目标

训练过程分为两个阶段：第一阶段采用受害智能体原生的训练流程在干净数据上训练出干净系统；第二阶段冻结决策模块并初始化世界模型权重，通过包含三项核心机制的联合损失函数进行优化。总体训练损失定义为： L(θ) = L_wm + L_f + λ_a L_a + λ_c L_c 公式中 L_wm 为受害模型原生的世界模型预测与表征学习损失，Lf 为干净行为锚定损失，La 为决策反射诱导损失，Lc 为因果传播损失，λa 与 λc 分别为诱导与传播的权重超参数。

决策反射诱导

该机制旨在将物理触发器激活转化为针对目标动作 a† 的控制信号。作者指出，仅在潜空间指定目标表征缺乏与架构无关的行为语义，因此利用冻结的决策模块作为行为监督者。根据决策模块的接口类型分为两类：

• 可微决策接口：直接以归一化平方距离度量动作误差，梯度穿过滤波器/策略网络回传至世界模型以调整状态表征，策略网络参数保持固定。
• 不可微决策接口：在线规划器涉及非可微采样与分布重拟合，TrojanWorld 保持搜索过程不变，转而塑造可微的轨迹得分。目标计划与竞争候选计划共享除首个动作外的动作后缀，在动作空间挖掘 Kn 个得分最高且与 a† 距离大于阈值的难负例候选动作，通过合页边距损失增大目标动作与竞争动作的相对得分差距。

该损失形式化表示为： L_a^nd = 𝔼_h̃∼𝒟τ[1/K_n∑_{b∈𝒩Kn(z)}[η + G_θ(z,(b,ū)) − G_θ(z,(a^†,ū))]₊] 公式中 η > 0 为间隔阈值，G_θ 为候选轨迹得分，N_Kn(z) 为筛选出的前 Kn 个难负例候选动作集合。

干净行为锚定

针对目标动作的诱导可能意外改变无触发器时的正常决策。由于原生世界模型预测损失无法完全避免决策漂移，该机制以未受污染的参考世界模型约束无触发历史下的决策输出：

• 可微接口：直接约束新世界模型推断的状态在冻结 Actor 下输出的动作与参考模型输出一致。
• 不可微接口：对一组候选计划去除均值偏置后匹配相对得分分布，同时约束搜索初始化时由提议网络生成的初始动作分布，避免干扰正常的规划排序。

因果传播

为使攻击效果在物理触发器消失后仍能维持，该机制在触发器移除后的真实交互轨迹上延续诱导偏好。

• 状态重构：智能体在触发器移除后并非通过纯先验的潜空间展开，而是基于原生状态推断流程从实际观测历史中重构状态，保持与交互状态的对齐。
• 跨步损失：设定传播视野 Hc，收集触发器移除后有效时间步的观测历史，在这些后续状态上继续施加逐点决策诱导损失，促使潜空间状态形成稳定的诱导偏好。

物理触发器与实现参数

• 物理触发器设计：触发器为在环境中渲染的非碰撞洋红色球体，通过原生 64×64 相机通路捕获，无需数字像素修改；触发器在回合中间开始（t* = ⌊Tep / 2⌋），仅持续整个回合约 16% 的时长（K = ⌊0.16Tep + 0.5⌋）。
• 优化参数配置：所有任务中目标动作 a† 的各个维度均设定为 0.5；第二阶段训练 150K 环境步，包含触发器的轨迹占批次数据的 30%；损失权重默认设为 (λa, λc) = (1, 0.5)；TD-MPC2 的传播视野设为 Hc = 2，DreamerV3 与 R2-Dreamer 设为 Hc = 8。

实验设置

• 被测系统：包含基于采样的规划系统 TD-MPC2，以及两种基于循环网络的策略学习系统 DreamerV3 和 R2-Dreamer，微调时仅更新世界模型并冻结决策模块。
• 评测基准与任务：选取 4 个视觉连续控制基准共 8 个任务，包括 DMC（Finger Spin、Walker Walk）、MetaWorld（Drawer Open、Window Close）、MyoSuite（Key Turn、Object Hold）和 RoboDesk（Push Green、Push Red）。TD-MPC2 评测了 DMC、MetaWorld 和 RoboDesk，DreamerV3 和 R2-Dreamer 覆盖全部 4 个基准；所有任务均基于 64×64 RGB 图像观测。
• 对比基线：未经污染的干净模型 Vanilla、对齐潜在表征的 Latent Poisoning、操纵奖励预测的 Reward Attack，以及决策导向的对比学习方法 BEAT；所有基线均使用相同的物理触发器轨迹且冻结决策模块。
• 评估指标：干净收益（CR，无触发器时的基准收益）；任务退化率（TDR，DMC 按收益相对下降率计算，其余按成功率相对下降率计算）；暴露期目标动作误差（Win-E）与移除后动作误差（Post-E），以归一化动作误差衡量；另辅助测试了动作与目标动作的余弦相似度（cos）与假触发率（FTR）。
• 触发器与评测协议：触发器为洋红色非碰撞球体，于回合中点出现并持续约 16% 的时长（K = ⌊0.16Tep + 0.5⌋）；目标动作各维度均为 0.5；每种实验条件在 10 个 episode 上进行评估。

主结果

表格较宽，可左右滑动

注：据 Table 1 与 Table 2。表格展示 DMC 基准主结果；TD-MPC2 的 BEAT 基线（CR 880.61、TDR 15.91%、Win-E 0.323、Post-E 0.900）以及 Latent Poisoning 与 Reward Attack 因行数限制未在表中列出。

• 策略型智能体上的目标动作控制：作者指出，在基于 Actor 的 DreamerV3 和 R2-Dreamer 系统上，TrojanWorld 在所有 8 个智能体-基准组合中均取得了最低的 Win-E 与 Post-E，例如在 DMC 上 R2-Dreamer 的 Win-E 达到 0.026、Post-E 达到 0.033，且干净收益与 Vanilla 相比保持在 98.8% 以上甚至有所提升（Table 1）。
• 规划型智能体上的泛化与差异：作者指出，攻击同样成功迁移至基于采样的 TD-MPC2，在三个基准上均取得了最高的 CR 和最低的 Post-E；但 TD-MPC2 的 Post-E 明显高于两种策略型系统，反映出仅依赖短上下文重新规划时，移除触发器后的控制持久性弱于具备循环记忆的系统（Table 2）。
• 任务破坏与动作控制的解耦：作者指出，在触发器仅暴露约 16% 时长的情况下，低 Win-E 并不必然导致极高的 TDR，因为任务在触发器移除后可能恢复；而在 MyoSuite Object Hold 任务中，BEAT 与 TrojanWorld 均达到 100% TDR，但 BEAT 的 Win-E 超过 1.0，仅 TrojanWorld 实现了针对目标动作的定向控制（Figure 3 与 Table 1）。

触发器移除后的动作持久性分析

• 测了什么：在 DreamerV3 的 4 个任务（DMC Finger Spin、MetaWorld Drawer Open、MyoSuite Key Turn、RoboDesk Push Red）上，评估触发器移除后智能体执行动作与目标动作的方向余弦相似度随时间步的变化曲线（Figure 5）。
• 实验结果：在触发器暴露期间，TrojanWorld 的平均余弦相似度在 0.818 至 0.989 之间；触发器移除后，Finger Spin 和 Key Turn 在整个剩余时段内保持了 0.948 与 1.000 的平均余弦值，Drawer Open 和 Push Red 出现逐渐衰减，但移除后的平均值仍维持在 0.732 与 0.704，而 BEAT 在移除后降至接近 0 或负值（Figure 5）。
• 作者解读：作者认为，后门不仅在触发器可见时诱导目标动作，还能将偏好传递至后续决策；潜空间表征分析显示其形成了触发条件下的决策盆地，在干净观测输入下缓慢衰减而非骤降（Figure 7）。

防御抵御能力评估

• 测了什么：将 Fine-Pruning（微调剪枝）、SHINE（基于解释的重训）和 Neural Cleanse（连续动作触发器逆向与输入过滤）三种防御机制适配至 DreamerV3 系统，在 DMC Finger Spin 任务上测试防御后的干净效用与后门残留（Table 3）。
• 实验结果：Fine-Pruning 在 5% 和 15% 剪枝率下，TDR 分别降至 31.23% 和 28.29%，Post-E 升至 0.3947 和 0.5341，但 Win-E 仍保持在 0.027 以下，且 15% 剪枝率导致 CR 从 654.40 降至 614.00；SHINE 处理后 CR 降至 438.40，而 TDR（54.40%）、Win-E（0.0179）和 Post-E（0.0059）未受有效抑制；Neural Cleanse 防御后 TDR 为 50.38%、Win-E 为 0.0187、Post-E 为 0.0068，指标几乎未变（Table 3）。
• 作者解读：作者指出，所测试的三种防御适配方法均无法在保持干净效用的同时完全清除后门；Fine-Pruning 仅部分削弱了持久性与任务破坏，SHINE 导致干净收益下降，Neural Cleanse 基本无效。

空间位置与呈现时机敏感性

• 测了什么：在固定触发器外观的前提下，测试空间位置偏移（±2 cm，Table 5）以及触发时机（Early、Middle、Late、Full，Table 6）对攻击效果的影响。
• 实验结果：在 R2-Dreamer Drawer Open 上，触发器在 x、y 方向偏移 2 cm 时，TDR 仍介于 66.7% 至 100.0% 之间，Win-E 处于 0.3624 至 0.5068 之间（Table 5）；在触发时机测试中，全回合暴露（Full）使 TD-MPC2 在 DMC Finger Spin 上的 TDR 从中段触发的 17.88% 升至 99.81%，Win-E 降至 0.0505（Table 6）。
• 作者解读：作者指出，后门对空间微小偏移具备局部且各向异性的容忍度；TD-MPC2 在短暂暴露下较低的 TDR 是由于其基于短上下文重规划的记忆机制限制，而非目标诱导失败，全程触发可使 TDR 升至 99.81%。

其他消融与分析

• 训练损失组件消融：在 DreamerV3 Finger Spin 上，移除 Lf 使 CR 从 663.10 降至 599.80；移除 La 使 Win-E 从 0.0170 升至 0.1168；移除 Lc 使 Post-E 从 0.0078 升至 0.7992（据 Table 4）。
• 损失超参数敏感性：在 R2-Dreamer Drawer Open 上改变 λa（0.25 至 2）与 λc（0.125 至 1），CR 保留率在 99.7% 至 100.9% 之间，TDR 恒为 100%，Win-E 处于 0.2940 至 0.3083 之间，Post-E 处于 0.2501 至 0.2505 之间（据 Figure 6）。
• 干净状态假触发率：在 DreamerV3 Finger Spin 干净运行下，TrojanWorld 满足 FTR ≤ 0.05% 且 E ≤ 0.10 的判定标准，在暴露期与移除后均未在无触发器时异常激活目标动作（据 Figure 8）。
• 任务失败机制案例：定性分析表明，Drawer Open 中目标动作在未拉开时迫使机械臂转向导致任务受阻，Push Green 中则将已到位的绿色方块推离并撤销成功状态（据 Figure 9）。

作者指出的局限与后续方向

• 未考虑真实相机物理因素：当前的仿真评估尚未涵盖光照变化、物体运动等真实物理相机因素（Section 6.5）。
• 未扩展至大规模世界模型：由于高昂的训练与评估成本，尚未将 TrojanWorld 拓展至更大规模的世界模型系统（Section 6.5）。
• 待在物理真实环境中验证：作者计划在后续工作中于物理真实环境中验证该后门威胁（Section 6.5）。
• 待检验对更强智能体的可扩展性：作者计划在未来工作中检验攻击对更大且能力更强的世界模型智能体的扩展性（Section 6.5）。
• 潜空间决策盆地解释的几何局限：二维投影呈现的决策盆地是对循环智能体行为的诊断性解释，无法证明所有受害系统或潜空间轨迹均具有相同的几何结构（Section 6.1）。

实验覆盖范围

• 被测系统范围：实验覆盖了 TD-MPC2、DreamerV3 和 R2-Dreamer 共 3 种世界模型智能体架构，未测试其他决策机制或更大参数规模的世界模型（Section 5.1）。
• 基准与任务数量：评测覆盖 DMC、MetaWorld、MyoSuite 和 RoboDesk 4 个模拟控制基准，每个基准选取 2 个任务，共计 8 个连续控制任务（Section 5.1）。
• 触发器形式与参数：物理触发器均为仿真渲染的单一固定洋红色非碰撞球体，图像分辨率为 64×64，目标动作统一固定为全维度 0.5（Section 4.2 与 Section 5.1）。
• 样本量与统计报告：每个评估条件固定基于 10 个 episode 计算均值，论文报告了 95% episode-level bootstrap 置信区间，但未报告统计显著性检验（Section 5.1 与 Figure 3、4 图注）。
• 防御评测范围：仅在 DreamerV3 系统的 DMC Finger Spin 单一任务上评估了 Fine-Pruning、SHINE 和 Neural Cleanse 3 种适配防御（Section 5.4）。

• 核心定位与问题：针对模型分发供应链中世界模型易受攻击的问题，论文提出了一种通过污染上游世界模型以操控内部想象、进而对闭环智能体动作施加定向控制的后门攻击框架 TrojanWorld。
• 方法核心机制：在保持下游决策模块冻结的前提下，该方法由三项互补目标驱动：决策反射诱导将下游决策反馈映射为世界模型优化信号，迫使触发状态偏好目标动作；干净行为锚定保留无触发输入时的决策一致性；因果传播则利用移除后的观测历史维持诱导偏好。
• 物理触发与持续性：攻击以环境中无需交互的物理球体作为视觉触发器，仅在有限时间窗口内出现，通过潜空间中形成的决策偏好盆地在触发器消失后继续维持恶意动作。
• 关键定量结果：在 DMC、MetaWorld、MyoSuite 和 RoboDesk 基准上，攻击在 R2-Dreamer 上取得了低至 0.026 的动作偏差（Win-E），在 MyoSuite 上移除后偏差低至 0.014（Post-E）；在所有被测架构中均保留了至少 98.8% 的干净性能，并在部分设置下将任务破坏率（TDR）提升至 90.00% 或 100.00%。
• 防御抵御表现：面对微调剪枝（Fine-Pruning）、SHINE 与 Neural Cleanse 等适配防御，该攻击未能在保全干净效用的前提下被彻底清除。
• 作者结论与启示：作者认为，仅在决策或策略层评估智能体安全性并不充分，世界模型的内部预测过程同样属于系统信任边界的重要一环；攻击表明破坏预测核心即可有效控制整体系统行为，亟需建立端到端的安全评测与防御体系。