UBA-ORL：针对离线强化学习的遗忘激活后门攻击

合规驱动的轨迹删除能否把离线强化学习中原本被抑制的后门重新激活。

• 场景：离线 RL 从静态轨迹学习策略，已被用于自动驾驶、机器人控制，也被用于推荐与行为分析等多方数据场景。隐私合规会要求撤回已贡献记录；作者研究暴露轨迹级遗忘接口（如 TrajDeleter）的服务，并强调这是威胁模型假设，并非每项法规都强制无限制更新。
• 现有不足：图像分类中的 Camouflaged Poisoning 与 UBA-Inf 依赖可翻转的固定标签和监督交叉熵。离线 RL 用 Bellman 残差训练，没有固定标签可翻转，且每个 Bellman 目标随目标网络持续变化，难以为单条样本预先设计稳定伪装。作者认为该风险在离线 RL 中尚未被研究。
• 核心设计：BD 把触发器连到弱智能体的错误动作并抬高奖励；CM 使用同一触发模式、保留良性动作并给予同样高的奖励。训练时两类信号竞争，合法删除 CM 后，保留集中的 BD 可能重新主导。
• 提出内容：作者提出 UBA-ORL，并称其为面向离线 RL 的 unlearning-activated backdoor。实验把遗忘实现当作黑盒，但按每种受害配置单独设置，因此不声称算法无关迁移。
• 威胁模型：
  • 身份：对手是合法数据贡献者，可向受害训练集 D 提交轨迹，对应众包开放数据、多机构协作等离线 RL 数据管线。作者假设提供方记录贡献者或批次级轨迹标识，使同一贡献者上传的 BD 与 CM 仍可区分。
  • 知识与能力：对手持有少量公开干净轨迹 Datk，并在其上训练弱智能体；部署时可把预定触发器注入受害观测。对手拥有删除选定 CM 批次的可审计请求路径，而不是任意删除提供方数据的权利。除构造自身上传所需信息外，对手不能访问受害训练算法、超参数、参数、梯度或具体遗忘算法。
  • 接口条件：提供方暴露轨迹级删除并保留 BD 批次。若只支持按贡献者整体删除，或不能核验批次来源，该攻击接口不可用。
  • 目标：在作者实验的 L10 审计下，遗忘前触发引起的下降要小；合法删除 CM 后变大。给定提供方选定的审计容差 τaudit，仅当 PDbefore ≤ τaudit 时称该配置被隐蔽。作者不规定统一数值容差，并指出该定义不保证无触发回报不变，也不保证对所有审计不可见。

离线 RL 后门

• 在线 RL：TrojDRL、BadRL、TrojanTO、Adversarial Inception、TooBadRL、Daze、UNIDOOR 分别研究奖励投毒、稀疏触发、Decision-Transformer 目标、观测先验触发、Shapley 引导的维度选择、模拟器级无奖励攻击，以及通用动作级框架。
• BAFFLE：作者称它首次暴露数据集级后门，在与智能体无关的威胁模型下使用“触发器 + 恶意动作 + 抬高奖励”。触发器覆盖部分观测维度，动作用弱智能体动作替换，奖励抬到数据集的高分位数。作者称其发现支撑本文的触发设计与 BD 样本格式。
• 其他任务后门：BadHash、DarkHash 面向图像检索；Detector Collapse 用 Sponge 与 Blinding 攻击目标检测。作者认为这些任务的效果促使研究序列决策中的后门，并以策略回报而非检索排序或检测输出衡量恶意行为。

机器遗忘

• 精确与近似遗忘：精确遗忘使遗忘后模型与在保留集上从头重训的模型分布一致，从头重训是金标准；近似遗忘寻求轻量过程，使输出接近该重训模型。
• 强化学习中的遗忘：Reinforcement Unlearning 提出面向环境遗忘的近似方法，但只适用于在线 RL；TrajDeleter 面向离线 RL 的轨迹级遗忘。本文关注离线设定下的轨迹级遗忘。
• 不可学习数据：Wang 等用类别级变换阻碍对三维点云的未授权学习，并可用逆变换恢复授权训练。作者指出这与机器遗忘不同：后者是从已训练模型中移除数据影响。

遗忘激活后门

• Camouflaged Poisoning：提出“训练时抑制、遗忘时激活”，但其伪装构造依赖仅重训的假设。
• UBA-Inf：把该范式扩展到任意遗忘算法，用 LiSSA 估计 Hessian，并在像素空间用 PGD 优化伪装；作者称其把 ASR 提高 4 倍。
• 图像分类中的其他工作：BadFU、Revocable Backdoor、ReVeil、Reminiscence Attack 与同期的 Clean Unlearning Attack 分别涉及联邦遗忘、双层撤销、高斯噪声伪装、残余隐私风险和遗忘集触发共享；一篇综述系统化了该攻击面。作者称这些方法不能迁移到离线 RL，因为它们依赖白盒影响函数或带固定可翻转标签的监督交叉熵，而离线 RL 从时间相关轨迹学习自举价值目标。

基线方法与基准：主对比使用 BAFFLE 的训练后立即生效后门（ρBD=10%、无 CM、L10 PD），基准为 D4RL 的 hopper-medium-expert-v0 与 walker2d-medium-v0，受害算法为 TD3+BC、BCQ、IQL。遗忘侧比较 Retrain Oracle 与 TrajDeleter。

作者把本文定位为：把原先只在图像分类中展示的 conceal-then-activate 范式做到离线 RL，并用 BD/CM 双样本应对没有固定标签、目标随迭代漂移的设定；既有方法因学习范式不同而不能直接沿用。

UBA-ORL 把攻击写成四元组 (D, A, U, πeval)：D 是提供方训练集，A 是投毒算法，U 是轨迹级遗忘接口，πeval 是部署时的触发注入策略。训练阶段让 BD 与 CM 给出竞争的触发条件监督；删除 CM 后，保留集中的 BD 可以重新主导。

问题设定与三个目标

任务建模为 MDP，策略的折扣回报为 J(π)。离线 RL 只从行为策略 πβ 采出的固定数据集学习，不与环境交互。作者把受害算法视为来自离线 RL 生态的黑盒。

轨迹级遗忘算子为 U(π, Df)=πunl，Df 由轨迹标识指定，保留集 Dr=D\Df。作者采用轨迹级遗忘集，因为删除单个转移会破坏马尔可夫链，也与把整段 episode 作为撤回原子单位的隐私规定冲突。U 可以是精确重训，或通过影响函数、基于梯度的微调、TrajDeleter 两阶段 forget-and-converge 做近似遗忘。

触发观测为 gτ,m(s)=(1−m)⊙s+m⊙τ。效果用相对性能下降衡量：

PD(π;g)=(R(π)−R_g(π))/(|R(π)|)× 100%

R(π) 是无触发平均回报，Rg(π) 是部署时注入触发后的平均回报。PD=0 表示该协议下没有测到下降，PD 更大表示攻击更强。绝对下降 Dabs(π;g)=R(π)−Rg(π)，激活间隙 ΔPD=PD(πunl;g)−PD(πv;g)。作者指出分母会在两阶段之间漂移，因此 ΔPD 是操作性相对指标，而不是因果分解，所以同时报告 Dabs 和四个底层回报。

三个设计目标是：BD 单独应能植入后门（learnability）；BD 与 CM 共存应在所选审计下压低触发响应（concealability）；删除 CM 后后门应能重新主导（reactivability）。后两条被作者写成直觉或经验目标，不是对所有离线 RL 或近似遗忘算法的保证。

触发与 BD/CM 构造

对 Hopper 与 Walker2d，作者沿用 BAFFLE 的部分维度触发：分别使用预先指定的六个根与关节速度坐标（索引 5–10 和 8–13），取值来自数据集分位数构造，其余维度不变。该固定模式称为 6-dimensional trigger。具体数值和裁剪记录在发布的 trigger registry 中，正文未列出数值。

• BD：对干净 episode，把观测换成触发观测，动作用弱智能体在触发状态上的输出替换，奖励换成数据集奖励的第 75 百分位 r⋆。
• CM：使用同一触发和同样的奖励抬升，但保留原始良性动作。
• 竞争监督：作者给出一个仅用于风格化匹配状态分析的 REINFORCE 式项，nBD 与 nCM 分别乘以恶意动作和良性动作的对数策略梯度。作者明确这不是 TD3+BC、BCQ 或 IQL 的训练目标；相等的即时奖励不意味着梯度相等或相反，而且实现中两个 episode 子集独立采样，只共享触发模式，不一定共享完整状态。式 (8) 只作为竞争监督的直觉，CM 依赖的激活由特异性对照提供经验证据。

四阶段流程

1. 数据准备：从公开数据集采样 10% 得到 Datk，训练弱智能体 πweak。弱智能体在奖励取反的 Datk 上训练 200k 步以最小化回报，并使用与对应受害算法相同的算法族和参数文件。
2. 投毒构造：从提供方语料的不相交 episode 子集生成 BD 与 CM。NBD=⌊ρBD|D|⌋，NCM=⌊κCM NBD⌋。选中的 episode 在固定规模的投毒语料 Dp 中被替换；Datk 只用于训练弱智能体。作者称固定规模替换是对威胁模型中可区分贡献者批次的实现代理。
3. 受害训练：提供方在 Dp 上按所选配置训练 πv。实验不暴露受害梯度或遗忘内部，但使用按组合设定的算法配置。
4. 遗忘激活：对手请求删除已标识的 CM 批次，得到 πunl，再在部署时注入 (τ, m)。激活不再追加数据注入或模型访问。

主表使用 Retrain Oracle：删除 DCM 后，用同一算法和超参数从头训练 500k 步。奖励分位数 q=0.75。

评测协议

部署触发日程统一为 L10：起点从名义 episode 时域中采样，触发最多连续施加 10 步，提前终止可能缩短实际窗口。每个组合评估 100 个 episode，并用式 (2) 计算 PD。

另外评估 L5、L20 以及每隔 k 步触发一次的 D-I10、D-I20、D-I50。Lℓ 表示长度为 ℓ 的一次连续窗口。作者选用 L10 作为主表指标，理由是它在隐蔽与激活之间折中，After PD 在六组中均不低于 25%，并与 BAFFLE 的一次性触发协议一致。

隐蔽的操作定义是 PDbefore ≤ τaudit。作者不规定统一容差，并明确把 Hopper/IQL 的 26.0% Before PD 在 τaudit<26.0% 时视为隐蔽失败，而不是把每个配置都标成已隐蔽。

实验设置

• 任务与算法：D4RL 的 Hopper（hopper-medium-expert-v0）和 Walker2d（walker2d-medium-v0）；受害算法为 TD3+BC、BCQ、IQL，共 2×3=6 组。受害模型训练 500k 步，使用发布的按算法参数文件，每 5k 步存检查点。弱智能体与受害算法同族，训练 200k 步。作者称该同族设置用于隔离两阶段机制，不评估跨族迁移。
• 投毒预算：Datk 为从完整 D4RL 数据集随机采样的 10% episode，只用于训练弱智能体，不计入总投毒预算。BD/CM 从完整提供方数据集采样并原地修改，总 episode 数保持不变。名义比例见 Table IV：五组 ρtotal≤10%，Hopper/BCQ 为 15%（ρBD/ρCM 依次为 2.5/7.5、5/10、5/5、5/5、3/7、5/5）。比例按组合选取，不测试单一固定投毒配置的迁移。
• 遗忘：主表为 Retrain Oracle，删除 CM 后以相同算法和超参数重训 500k 步。§IX-B 另用 TrajDeleter：Stage 1 为 8k retain-stream 与 8k forget-stream 更新（λ=1），Stage 2 为 2k 收敛更新。
• 指标与判定：L10 下报告无触发回报、触发回报、Dabs（遗忘前→遗忘后）和 ΔPD（百分点）。PD 为相对下降。每个组合 100 个 episode。论文未报告重复次数或人工评审。
• 环境：MuJoCo 2.1.0、D4RL 1.1、d3rlpy 1.0.0、Gym 0.22.0、PyTorch 2.10.0、NumPy 1.26.4，在 NVIDIA A100-80GB GPU 上运行。

主结果

Table I 在六坐标触发、L10、10% 辅助数据和 Retrain Oracle 下报告环境回报单位的绝对回报。Dabs 为无触发回报减触发回报。

Swipe horizontally to read the table

环境/算法	无触发 前→后	L10 触发 前→后	Dabs 前→后	ΔPD
Hopper/TD3+BC	3646→3637	3473→2703	173→934	+20.9
Hopper/BCQ	3443→3595	2780→1969	663→1626	+26.0
Hopper/IQL	3600→2825	2664→1715	936→1110	+13.3
Walker/TD3+BC	3272→3116	3141→2330	131→786	+21.2
Walker/BCQ	1716→2654	1822→1777	−106→877	+39.2
Walker/IQL	1712→1438	1494→974	218→464	+19.6

平均 ΔPD 为 +23.4 个百分点（Table I）。

• 隐蔽：作者称遗忘前五组触发回报接近无触发回报，Before PD 平均 10.1%；Hopper/IQL 的 Before PD 为 26.0%，在 τaudit<26.0% 时视为隐蔽失败。
• 再激活：六组绝对下降都增大。作者特别指出 Walker/BCQ 的触发回报只从 1822 变为 1777，无触发回报从 1716 升到 2654，绝对下降从 −106 变为 877；Hopper/IQL 的绝对下降只从 936 增到 1110，相对 ΔPD 为 +13.3 个百分点。作者认为这支持所评估配置中的 CM 依赖激活，但不能把 ΔPD 单独等同于额外因果损害。
• 无触发回报：变化依赖配置。Hopper/IQL 下降 775，Walker/BCQ 上升 938。作者因此不声称相对未投毒的纯干净受害模型保持了无触发回报。

附录中与 BAFFLE（训练后立即测量、ρBD=10%、无 CM）的 L10 PD 对比为：Hopper/TD3+BC 26.2% / 4.8% / 25.7%，Hopper/BCQ 20.9% / 19.2% / 45.2%，Hopper/IQL 0.0% / 26.0% / 39.3%，Walker/TD3+BC 11.7% / 4.0% / 25.2%，Walker/BCQ 22.2% / −6.2% / 33.1%，Walker/IQL 15.0% / 12.7% / 32.3%（顺序为 BAFFLE、UBA-ORL Before、UBA-ORL After）。平均分别为 16.0%、10.1%、33.5%。作者称这是描述性差异：Hopper/BCQ 的 UBA-ORL 总预算为 15% 而非 10%，两阶段分母也不同，因此不能建立普遍更优；BAFFLE 在五组中暴露训练时后门，而 UBA-ORL 在若干匹配预算格子上 Before PD 更低。

触发日程

Figure 4 以六张雷达图展示 L5、L10、L20、D-I10、D-I20、D-I50 的遗忘前（蓝）与遗忘后（红）PD，径向范围为 0%–100%。作者称四组中六种日程的 After 都不低于 Before；Hopper/IQL 在 L20 基本持平（44.3% 对 44.6%），Walker/TD3+BC 在分布式日程上有明确例外。一次性触发的 Before 较低、After 中等；分布式触发的 After 更高，Before 也更高。

作者报告，六组平均激活间隙从 L10 的 +23 个百分点增至 D-I20 的 +33 和 D-I10 的 +58 个百分点；D-I10 把 L10 较弱的格子抬高，例如 Hopper/IQL 从 +13 到 +49、Walker/IQL 从 +20 到 +60。代价是遗忘前 PD 升高，并且在 D-I10/D-I20 下，遗忘等量干净数据也会造成较大下降，削弱 L10 下清晰的干净—CM 对比。

近似遗忘与特异性

Table II 在与主表相同的按组合预算下比较 TrajDeleter 与 Retrain Oracle 的 L10 PD。三组为 Hopper/TD3+BC（2.5/7.5）、Hopper/BCQ（5/10）、Walker/BCQ（3/7）。TrajDeleter 的 Before / After（ΔPD）分别为 +10.8% / +25.1%（+14.4）、+12.8% / +33.4%（+20.7）、−9.3% / +26.4%（+35.7）；对应 Retrain ΔPD 为 +20.9、+26.0、+39.2。作者称 TrajDeleter 恢复了精确重训激活间隙的 69–91%，三组都出现触发响应；该表只报告 PD，本身不能确立良性回报保持。作者认为残余差距与 TrajDeleter 仍保留轻微 CM 影响一致，并把这三组视为向一种近似方法迁移的证据，而不是覆盖全部遗忘算法。

Table III 用等量随机干净轨迹删除作对照，其余设置与主表相同，但干净遗忘对照是独立训练的模型，其 Before 基线不是主受害模型的配对副本。绝对 L10 回报下降（Before / 忘记干净 / 忘记 CM）为：Hopper 上 TD3+BC 173/244/934、BCQ 663/405/1626、IQL 936/787/1110；Walker 上 TD3+BC 131/219/786、BCQ −106/−303/877、IQL 217/−154/464。作者称四组中干净遗忘的下降不高于 Before，两组 TD3+BC 对照温和上升，而删除 CM 在六组都带来更大下降。Figure 5 用灰、蓝、红分别表示遗忘前、干净遗忘和删除 CM。负值表示该次评估中触发没有降低回报。

其他消融与分析

• 三维与六维触发：作者把 BAFFLE 的三维中位数触发与本文六坐标高分位设置作跨方法比较，并称这不是受控的三维对六维消融，因为触发构造和投毒协议不同。Walker/IQL 上 UBA-ORL 的 After PD 为 32.3%，所报告的 BAFFLE 值为 15.0%（附录 Table VI）；作者称差异不应只归因于触发维度。
• CM/BD 比例：固定 ρBD，在 {1.5, 2.0, 3.0} 上扫描 Hopper/TD3+BC（BD=2.5%）、Hopper/BCQ（BD=5%）、Walker/BCQ（BD=3%）。Figure 6 中 Before 为青色虚线、After 为橙色实线；作者称阴影带表示激活幅度，并随 CM/BD 比例增宽，直到约 3。作者称扫描不确立测试点之外的普遍最优。
• 负面结果：Hopper/IQL 遗忘前 PD 为 26.0%；Walker/BCQ 遗忘前 Dabs 为 −106；无触发回报并不在所有配置中保持，Hopper/IQL 降 775，Walker/IQL 从 1712 降到 1438。分布式日程提高激活的同时也提高遗忘前 PD，并模糊干净删除与 CM 删除的对比。

作者指出的局限与后续方向

• 没有专用防御：Discussion and Limitations 称本文提出攻击但没有配套防御。MARS 与 TRACE 分别代表模型级和测试时筛查，作者称它们对轨迹级、遗忘激活的离线 RL 后门的效果未在本文评估。作者把每次删除请求前后审计触发相关行为留给未来工作。
• 外部有效性：同一节称实验使用 MuJoCo 状态向量和固定规模基准代理，推荐、竞价与移动分析上的更广含义是外部有效性假说，而不是已测量结果。
• 触发的物理可实现性：同一节称状态向量触发是仿真中的抽象模式，部署时必须经过感知或日志管线，这限制其现实触及范围。作者把数据上传阶段视为更可靠的现实向量，把部署时注入视为可行性取决于感知模态的补充途径。
• 不声称算法无关迁移：Conclusion 称所报告实验没有建立算法无关的黑盒迁移，绝对无触发回报依赖配置。
• 后续三个方向：Conclusion 称未来工作将把双样本范式扩展到图像、语言和多模态 RL，把遗忘激活攻击推广到在线 RL 与多智能体协作，并在联合约束的受害接口与遗忘接口下设计可证明防御。
• 发布范围：Ethics statement 称作者发布评测代码；为限制直接误用，不公开发布已植入后门的模型检查点。代码发布在正文中被写成已提供评测代码，而检查点不公开。

实验覆盖范围

• 被测组合为 Hopper（hopper-medium-expert-v0）与 Walker2d（walker2d-medium-v0），算法为 TD3+BC、BCQ、IQL，共六组；主表使用六坐标触发、L10、100 个 episode 和 Retrain Oracle。
• 弱智能体与受害算法同族；作者写明该设置不评估跨族迁移。Datk 为 10% episode，弱智能体训练 200k 步，受害模型训练 500k 步。
• 近似遗忘评测为 TrajDeleter 的三组：Hopper/TD3+BC、Hopper/BCQ、Walker/BCQ；Table II 报告的是 L10 PD，而不是无触发回报。
• 特异性对照为等量干净轨迹删除，覆盖主表全部六组；CM/BD 比例扫描覆盖三个偏离 5%/5% 默认的组合，比例点为 1.5、2.0、3.0。
• 触发日程覆盖 L5、L10、L20、D-I10、D-I20、D-I50。论文未报告实验重复次数，也未报告与人工评估的一致性；成功由回报下降定义，不使用分类意义上的 ASR。

UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。

受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。攻击效果用无触发回报与触发回报之差衡量，包括相对 PD、绝对 Dabs 和两阶段 ΔPD。

BD 把六个预指定坐标上的触发连到弱智能体动作，并把奖励设为数据集第 75 百分位；CM 使用同一触发和同样的高奖励，但保留原动作。主实验删除 CM 后用 Retrain Oracle 重训。作者把竞争监督写成风格化直觉，并用等量删除干净数据的对照检查激活是否依赖 CM。

在两个 D4RL 任务和 TD3+BC、BCQ、IQL 上，Table I 的平均 ΔPD 为 +23.4 个百分点，六组绝对下降都增大。遗忘前平均 Before PD 为 10.1%，但 Hopper/IQL 为 26.0%。无触发回报并不稳定：Hopper/IQL 下降 775，Walker/BCQ 上升 938。TrajDeleter 在三组上的 L10 ΔPD 为 +14.4、+20.7、+35.7 个百分点，作者称分别恢复精确重训间隙的 69–91%。删除等量干净轨迹的下降增幅小于删除 CM。

作者的结论是，合规删除可能改变已部署策略的触发行为，因而需要审计删除前后的行为效果。作者同时认为无触发回报依赖配置，现有实验没有建立算法无关迁移，也没有提出专用防御；更广的推荐与移动场景仍是外部有效性假说。