Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2610.06083· Zexin Li, Ruili Yao, Yiming Zeng, Xiaoxue Gao·Indexed by this site · Originally published

研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击

Boosting Transferable Adversarial Attacks against Deep Reinforcement Learning

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

在CartPole-v1上，轨迹级扰动比逐步FGSM类攻击和同预算Sign噪声更压低DQN与DDQN回报。

Threat model迁移式黑盒：攻击者在白盒代理上构造观测扰动，施加给参数不可访问、构造时不可查询的受害策略，以逐步ℓ∞预算最小化期望回报。

Questions
部署的DRL策略通常不可访问，攻击者只能在白盒代理上构造观测扰动再迁移。逐步图像分类目标只打当前动作，训练好的策略会纠正单步错误。
Methods
在可微环境模型和温度平滑的代理策略上，用FGSM、MI-FGSM、NI-FGSM优化一段扰动，使预测状态靠近失败区域；只施加当前步，其余热启动下一步。
Experiments and results
CartPole-v1上十个DQN/DDQN、100对代理–受害。逐步攻击能迁移，但作者称不比同预算角点噪声更强。轨迹级攻击在白盒、跨模型和跨算法下回报更低；作者称迁移时三种算子相近。
Limitations and future work
作者把高维观测和学习到的动力学留作后续。实验在CartPole-v1上用已知运动方程，评测DQN与DDQN的白盒、跨种子和跨算法迁移，预算0.05与0.1，每项10个固定环境种子回合。
Experimental setupDQN、Double DQN (DDQN) · CartPole-v1 · average episode return（越低表示攻击越强）
Threat model
迁移式黑盒：攻击者在白盒代理上构造观测扰动，施加给参数不可访问、构造时不可查询的受害策略，以逐步ℓ∞预算最小化期望回报。攻击者观测真实状态；轨迹攻击另用可微动力学。Figure 1同时给出可对代理求梯度的白盒设置。
Evaluated models
DQNDouble DQN (DDQN)
Benchmarks
CartPole-v1
Metrics
average episode return（越低表示攻击越强）
AI summary论文研究针对深度强化学习（DRL）的基于迁移的黑盒攻击，攻击者在白盒替代智能体上构造观测扰动，再施加给未知受害者策略，并将攻击形式化为每步扰动预算下的回报最小化。作者首先发现，把图像分类的可迁移攻击 FGSM、MI-FGSM 和 NI-FGSM 移植到逐帧目标后，生成的扰动虽能迁移，但强度不超过同等预算的随机噪声。为此他们提出轨迹级攻击，借助可微环境模型和温度平滑的替代策略，在滚动时域上优化一串扰动，并使用相同的优化器。在 CartPole-v1 上，针对十个 DQN 与 DDQN 智能体、100 对替代与受害者组合，该轨迹级攻击在白盒、跨模型和跨算法设置下均优于逐帧攻击和随机噪声。

论文研究针对深度强化学习（DRL）的基于迁移的黑盒攻击，攻击者在白盒替代智能体上构造观测扰动，再施加给未知受害者策略，并将攻击形式化为每步扰动预算下的回报最小化。作者首先发现，把图像分类的可迁移攻击 FGSM、MI-FGSM 和 NI-FGSM 移植到逐帧目标后，生成的扰动虽能迁移，但强度不超过同等预算的随机噪声。为此他们提出轨迹级攻击，借助可微环境模型和温度平滑的替代策略，在滚动时域上优化一串扰动，并使用相同的优化器。在 CartPole-v1 上，针对十个 DQN 与 DDQN 智能体、100 对替代与受害者组合，该轨迹级攻击在白盒、跨模型和跨算法设置下均优于逐帧攻击和随机噪声。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    黑盒DRL要靠可迁移观测扰动压低回报，逐步目标却不比角点噪声更强。

    如何在不能访问受害策略参数时，用可迁移的观测扰动降低 DRL 智能体的期望回报。

    • 场景：作者称部署策略通常不可访问，攻击者处于 black-box；实用做法是在白盒代理上构造扰动，再施加给未知受害。作者认为 DRL 策略继承深度网络的对抗脆弱性，观测上的小扰动可导向灾难性动作。
    • 现有不足：把 FGSM、MI-FGSM、NI-FGSM 配上逐步目标后，扰动能跨种子和算法迁移，但作者称并不比同预算角点随机噪声更有破坏力。逐步目标只打当前动作，训练好的策略会很快纠正单步错误。
    • 作者要检验的问题：显式优化未来状态轨迹，是否比逐步攻击目标更能提高迁移。即使有代理，期望回报仍是长串离散动作和随机转移的不可微函数。
    • 提出的攻击：轨迹级攻击在可微环境模型和温度平滑的代理策略上，用同一组优化器优化后退视界内的扰动序列，把预测状态推向失败区域。
    • 威胁模型：
      • 目标：在逐步 ℓ∞ 预算 ϵ 下最小化受害期望回报。
      • 知识：θv 未知，构造扰动时不能查询 πv；代理 Q 网络在同一环境训练，种子或算法可以不同。Figure 1 称之为 transfer-based black-box，并与可对代理求梯度的 white-box 对照。
      • 能力：每步看到真实状态 st，把 δt 注入受害观测；环境仍按真实状态转移。轨迹攻击还假设有可微动力学 f；CartPole 上 f 是已知物理模型。
      • 受害系统：价值型智能体，贪心策略由 Qv 给出。实验受害为 CartPole-v1 上的 DQN 与 DDQN。

  2. What related research exists?

    相关工作覆盖可迁移攻击、DRL对抗、鲁棒性诊断和序列目标，基线是逐步FGSM类与随机噪声。

    可迁移对抗攻击

    • 论文列入迭代攻击 [18, 25]、动量 [7]、Nesterov 前瞻 [23]、方差调节 [32] 和输入多样性 [33]，以及面向人脸识别 [20]、语音识别 [8] 的迁移攻击。
    • 作者还列举对抗输入的其他用途：降低动态网络与大语言模型效率 [4, 5]、操纵文本生成 [19]、植入隐蔽后门 [6, 10]。

    DRL 上的对抗攻击

    • Huang et al. [11] 用 FGSM 降低 Atari 上 DRL 策略的表现，并简要考察跨策略、跨算法迁移。
    • Lin et al. [24] 提出 strategically timed attack 和 enchanting attack；后者用学到的动力学模型规划一串目标动作。
    • 最优白盒对手可用强化学习学习 [30, 34]，域随机化被用于提高迁移 [28]。PIMbot 在多智能体中操纵机器人团队的策略与激励 [21, 27]。Korkmaz [13] 讨论敏感方向可跨状态和 MDP 迁移，包括到对抗训练过的策略；Korkmaz [14] 讨论自然观测变换在 black-box 下削弱名义鲁棒策略。

    诊断与鲁棒性评测

    • Korkmaz and Brown-Cohen [17] 用策略损失的局部二次近似检测对抗方向。
    • Korkmaz [15] 分析不稳定方向如何随状态与时间变化；作者称这涉及鲁棒训练的局限。Korkmaz [16] 讨论强制局部不变性会损害反事实价值学习。
    • 作者称这些结果促使防御评测超出训练时用过的扰动；其实验考察攻击效果，而不建立鲁棒性保证。

    序列级目标

    • SPEAR [22] 对符号推理轨迹做保序对齐，为蒸馏提供过程奖励。作者称与其工作的共同点是目标使用序列结构；SPEAR 做推理蒸馏，他们优化观测扰动以做对抗控制。

    基线方法与基准

    • 逐步 FGSM、MI-FGSM、NI-FGSM，诱饵动作为向左推；同预算 Uniform noise 与 Sign noise。环境为 Gymnasium 的 CartPole-v1。

    作者在 §2 将其工作定位为：通过可微动力学模型优化时间上协同的扰动，并评估跨种子、跨算法的迁移。

  3. How does the paper address this problem?

    用温度平滑代理和可微动力学，在后退视界上把预测状态推向失败区域。

    整体做法是把攻击从单步动作改成轨迹级转移攻击：在可微环境模型里展开温度平滑的代理，优化一段扰动，使预测状态靠近失败区域，再用与图像分类相同的 FGSM、MI-FGSM、NI-FGSM 求解。

    问题设定与逐步松弛

    • 交互方式：任务写成 MDP。受害对 Qv 贪心。攻击者每步看到真实状态，把 δt 加到观测上；受害按扰动观测行动，环境按真实状态转移。
    • 目标：在逐步 ℓ∞ 预算下最小化期望折扣回报 J(δ)=𝔼[∑t=0Hγt r(st,at)]。含义是受害的期望折扣回报；约束为受害读到 st+δt，且每个扰动的无穷范数不超过 ϵ。黑盒时 θv 未知，构造阶段不能查询 πv；代理在同一环境训练，种子或算法可以不同。
    • 逐步松弛：每步独立最大化代理对诱饵动作 a† 的 log-softmax。CartPole 上 a† 是持续向同一方向推车，实验取向左推。求解器为 FGSM、MI-FGSM 或 NI-FGSM。
    • 作者的理由：一步错误只轻微改变状态，下一步决策可以改回来，所以小预算下逐步攻击几乎每步都得成功，迁移后更难。

    轨迹目标与可微展开

    • 动力学：假设有可微模型 f，预测状态由当前预测状态和连续动作松弛得到。CartPole 上 f 是已知物理模型；作者称一般情形可从交互数据学习，如同 enchanting attack。
    • 温度平滑：用 softmax(Qs/κ) 代替贪心动作，再取期望动作作为展开用力。引言称温度用于避免过拟合到代理的确切决策边界；§3.2 称较大的 κ 使梯度跟随 Q 函数的整体趋势，类似动量对梯度的稳定。
    • 视界目标：在步 t 优化长度 K 的扰动序列，最大化 Ltraj(Δt)=∑k=1Kφ(ŝt+k)。含义是预测状态靠近失败区域的累计程度。φ 取杆角与车位置相对各自终止阈值的归一化平方中的较大者。按模型预测控制，只执行当前扰动，其余右移，作为下一步初值。

    优化与执行

    • 同一组算子：步长为 ϵ/T。MI-FGSM 累积 ℓ1 归一化的梯度动量，衰减为 μ；NI-FGSM 再做 Nesterov 前瞻，然后取符号梯度并按 ϵ 截断。FGSM 只走一步，步长为 ϵ。
    • 取值：§4.1 使用 T=10、μ=1.0、K=20、κ=2，ϵ 为 0.05 或 0.1。Algorithm 1 从当前真实状态展开 f，反传轨迹损失，把第一个扰动交给黑盒受害。
    • 与逐步攻击的差别：优化器相同，目标不同。逐步攻击推动固定诱饵动作；轨迹攻击不指定动作串，只让预测状态靠近终止阈值。

    作者给出的迁移理由

    • 共享动力学：作者称轨迹损失依赖双方共享的环境动力学，而不是代理每步的确切动作，因此多步推向失败的扰动对反应相似的策略都有用。
    • 温度：作者称温度平滑减轻智能体之间决策边界不同带来的过拟合。

  4. What experiments did the paper conduct?

    Table 1中，轨迹级方法在白盒、跨模型和跨算法下的回报低于逐步攻击与Sign噪声。

    实验设置

    • 环境：Gymnasium 的 CartPole-v1。观测为 4 维原始向量：车位置、车速度、杆角、杆角速度。动作为向左或向右推。每步奖励 +1，最大回报 500。
    • 智能体：DQN 与 DDQN 各 5 个种子，共 10 个模型。两层 MLP（128 单元），Adam 学习率 5×10^{-4}，batch size 128，软目标更新，训练 600 回合，按周期性贪心评估保留检查点。Figure 2 为五种子平均曲线，20 回合滑动平均，阴影为一个种子间标准差。无攻击时正文称 8 个智能体回报为 500，另两个平均 489.3 和 437.8。
    • 攻击与基线：逐步 FGSM、MI-FGSM、NI-FGSM，诱饵动作为向左推；轨迹版为 Traj-FGSM、Traj-MI-FGSM、Traj-NI-FGSM。迭代攻击 T=10、μ=1.0。轨迹攻击 K=20、κ=2，展开 CartPole 运动方程。Uniform noise 各维取自 [−ϵ, ϵ]，Sign noise 各维随机取 ±ϵ。ϵ 为 0.05 或 0.1，单位是原始观测。
    • 协议：白盒时代理就是受害。跨模型为同算法、不同种子，每算法 20 个有序对。跨算法为 DQN 与 DDQN 互为代理，每方向 25 对。摘要称共 100 对代理–受害。每次评测 10 个回合，环境种子固定。
    • 指标：受害平均回合回报，越低表示攻击越强。Table 1 报告均值±标准差：白盒对五个受害，跨模型对 20 个有序对，跨算法对 25 对。随机基线直接在受害上评测。论文未使用单独评审模型，也未报告统计检验。

    主结果

    下表节选 Table 1 的 ϵ=0.1。跨算法列的代理是另一种算法。FGSM、NI-FGSM、Traj-FGSM 和 Uniform 未列入表，数字见后文。

    | 受害设置（ϵ=0.1） | Sign noise | MI-FGSM | Traj-MI-FGSM | Traj-NI-FGSM | | 白盒 DQN | 74.3±38 | 159.5±174 | 19.5±13 | 18.5±12 | | 白盒 DDQN | 121.2±133 | 125.4±188 | 15.7±6 | 13.9±4 | | 跨模型 DQN | 74.3±38 | 147.7±120 | 60.6±95 | 59.6±78 | | 跨模型 DDQN | 121.2±133 | 211.2±190 | 41.1±40 | 45.5±40 | | 跨算法，代理DQN、受害DDQN | 121.2±133 | 148.6±160 | 47.5±47 | 55.1±50 | | 跨算法，代理DDQN、受害DQN | 74.3±38 | 324.0±166 | 53.1±57 | 58.7±62 |

    • 逐步攻击：作者称迭代逐步攻击强于 FGSM，跨种子几乎不损失，但弱于 Sign noise。跨算法不对称：在 DDQN 上构造的逐步攻击几乎不影响 DQN，作者称回报保持在 320 以上。
    • 轨迹攻击：作者称轨迹级方法在白盒、跨模型和跨算法下都强于逐步攻击和随机噪声，并去掉上述不对称。作者称这支持其假设：经共享动力学定义的目标比经单个动作定义的目标更易迁移。作者还称白盒 ϵ=0.1 时 Traj-NI-FGSM 比 Sign noise 低 4–9 倍。
    • 离散度：若干格子的标准差与均值同量级，例如白盒 ϵ=0.1、DQN 的 MI-FGSM 为 159.5±174。作者未报告统计检验。

    预算 0.05

    • 白盒：作者称逐步攻击把受害留在回报 277 以上。Table 1 中白盒 ϵ=0.05、DDQN 的 MI-FGSM 为 277.0±200；同预算 Traj-MI-FGSM 为 DQN 73.5±49、DDQN 157.3±178。
    • 迁移：作者称轨迹攻击仍是每一列最强，但相对 Sign noise 的差距更小，例子是 190.0 对比 240.5。这两格是跨模型 DQN 的 Traj-FGSM 190.0±147 与 Sign noise 240.5±92。
    • 动量变体回报更高的格子：跨模型 ϵ=0.05，DQN 上三种轨迹算子为 190.0±147、203.4±154、202.9±149；DDQN 上为 240.0±205、268.1±217、271.6±219。作者未单独解释这些格子。

    算子与随机噪声

    • 白盒动量：作者称动量和前瞻在白盒帮助最大。ϵ=0.1、DQN 上 Traj-FGSM 为 56.5±52，作者称动量与前瞻约为 19；Table 1 为 19.5±13 和 18.5±12。作者称迁移时三种轨迹算子相近，可迁移性主要来自轨迹目标。
    • 动量并非每列都更低：跨算法、ϵ=0.1、代理 DQN、受害 DDQN，Traj-FGSM 为 41.6±27，Traj-MI-FGSM 为 47.5±47，Traj-NI-FGSM 为 55.1±50。作者未另作解释。
    • 相对两种噪声：ϵ=0.1、DQN 的 Uniform 为 172.7±53，Sign 为 74.3±38。白盒同列 FGSM 为 262.5±177，高于 Uniform；MI-FGSM 为 159.5±174，低于 Uniform、高于 Sign。结论里“不比随机噪声更强”具体指角点噪声。Table 1 中逐步攻击均值低于同列 Sign noise 的格子，是白盒 ϵ=0.05、DDQN 的 MI-FGSM（277.0±200 对比 284.9±204）。

    其他消融与分析

    • 论文未另给 K、κ、T 的消融；轨迹攻击固定为 K=20、κ=2、T=10、μ=1.0（§4.1）。
    • 白盒 ϵ=0.1、DQN：FGSM 262.5±177，NI-FGSM 153.5±176（Table 1）。作者称迭代逐步攻击强于 FGSM。
    • 跨算法 ϵ=0.1、代理 DDQN、受害 DQN：FGSM 364.5±140，NI-FGSM 322.3±164（Table 1），与 MI-FGSM 同在 320 以上。
    • 无攻击：DQN 500.0±0，DDQN 485.4±24（Table 1）；同一受害类型在三种设置中的无攻击格子相同。
    • ϵ=0.05、DQN 的 Uniform 为 375.0±130，DDQN 为 304.7±193；Sign noise 为 240.5±92 与 284.9±204（Table 1）。
    • 白盒 ϵ=0.1、DDQN：NI-FGSM 为 125.4±189，与 MI-FGSM 的 125.4±188 均值相同（Table 1）。

  5. What are some points that can be further explored?

    结论把高维观测和学习到的动力学模型留作后续工作。

    作者指出的局限与后续方向

    • 后续扩展：结论（§5）写明，把攻击扩展到高维观测和学习到的动力学模型留作后续工作。论文未设独立的 Limitations 或 Future Work 节，结论里写明的后续方向是这一句。

    实验覆盖范围

    • 环境与智能体：评测环境为 CartPole-v1；智能体为 DQN 与 DDQN 各 5 个种子，共 10 个两层 MLP（§4.1、Figure 2）。
    • 迁移设置：白盒、跨模型（每算法 20 个有序对）、跨算法（每方向 25 对）；摘要写 100 对代理–受害（摘要、§4.1）。
    • 攻击配置：ϵ 为 0.05 与 0.1；T=10、μ=1.0；K=20、κ=2；展开使用 CartPole 运动方程（§4.1、Algorithm 1）。
    • 协议与指标：每个评测 10 个回合，环境种子固定；Table 1 报告跨受害或跨对的均值和标准差。论文未报告统计检验。
    • 对照：逐步 FGSM、MI-FGSM、NI-FGSM，以及 Uniform noise 与 Sign noise（Table 1）。论文未报告对防御的评测。

  6. Summarize the main content of the paper

    轨迹级后退视界攻击在CartPole上比逐步FGSM类和Sign噪声更压低回报。

    这项工作研究 DRL 上的迁移式黑盒观测攻击：受害参数不可访问时，在白盒代理上造扰动再迁移。

    • 问题：作者称 FGSM、MI-FGSM、NI-FGSM 的逐步目标能跨种子和算法迁移，但并不比同预算角点噪声更强。原因按作者的说法是单步错误会被训练好的策略纠正。
    • 方法：用可微动力学和温度平滑的代理策略，最大化预测状态靠近终止阈值的程度；三种优化器作用在长度 K 的扰动上，只执行当前步，其余热启动。CartPole 上动力学是已知运动方程，实验取 K=20、κ=2、T=10、μ=1.0。
    • 设置：CartPole-v1、10 个 DQN/DDQN、100 对代理–受害，覆盖白盒、跨模型和跨算法，预算 0.05 与 0.1。指标是受害平均回合回报。
    • 结果：白盒、ϵ=0.1 时 Traj-NI-FGSM 为 DQN 18.5±12、DDQN 13.9±4，同列 Sign noise 为 74.3±38 与 121.2±133（Table 1）。跨模型 ϵ=0.1 时 Traj-NI-FGSM 对 DQN 为 59.6±78，逐步 MI-FGSM 为 147.7±120。跨算法、代理 DDQN、受害 DQN、ϵ=0.1 时 Traj-MI-FGSM 为 53.1±57，作者称逐步攻击回报高于 320。
    • 作者结论：作者称同一组优化器在轨迹目标下，于白盒、跨模型和跨算法设置中都更能压低回报，因此需要针对时间上协同的扰动做防御。高维观测和学习到的动力学留作后续工作。
Read originalarxiv.org