对抗策略：攻击深度强化学习

核心问题：攻击者不能直接修改受害者观测时，能否通过在共享环境中执行对抗策略，产生对受害 RL 策略有害的自然观测，从而击败它。

• 场景与动机：RL 正被用于自动驾驶、谈判、自动交易等多智能体场景，作者认为这些场景中攻击者只能通过物理上合理的动作影响受害者观测，不能任意加噪声。
• 现有方法不足：此前对深度 RL 的对抗攻击大多假设 ℓp 范数威胁模型，即直接对图像观测加小扰动（Huang et al., 2017; Kos and Song, 2017; Lin et al., 2017），作者认为这不反映现实攻击者的能力。
• 核心假设：受害策略是固定的预训练随机策略（对应部署后冻结权重的常见做法），攻击者通过自身动作即可把受害者推向分布外状态。
• 论文提出：作者提出对抗策略（adversarial policies）这一威胁模型，在 4 个零和 MuJoCo 机器人博弈中用 PPO 训练对抗策略攻击自对弈训练的受害者，并给出机理分析与初步防御实验。
• 威胁模型：
  • 目标：在零和双人 Markov 博弈中最大化对抗方折扣奖励，即击败受害者。
  • 知识：对受害者有 unlimited black-box access（可采样其动作），无 white-box 信息（权重、激活）。
  • 能力：控制对手智能体的动作，不能直接修改受害者观测。
  • 受害系统：Bansal et al. (2018a) 经 680M–1360M 步自对弈训练的预训练策略（agent zoo）。

图像对抗样本

• Szegedy et al. (2014) 发现对图像加人眼不可察觉的小扰动可导致多种模型误分类，开创了该领域。
• Gilmer et al. (2018a) 与 Uesato et al. (2018) 认为攻击者不限于小扰动，ℓp 模型只是真实最坏情况风险的局部近似；本文沿用 Goodfellow et al. (2017) 的定义：攻击者有意设计来使模型出错的任何输入。

RL 中的对抗攻击

• Huang et al. (2017)、Kos and Song (2017)、Lin et al. (2017) 表明深度 RL 策略易受图像观测的小扰动攻击；论文指出本文与它们的区别在于使用不允许直接修改受害者观测的物理现实威胁模型。
• Behzadan and Munir (2019) 用了类似威胁模型（自动驾驶中对抗车辆），但论文指出驾驶这类协作博弈中最优策略也可能被利用，因此本文聚焦零和博弈。
• Lanctot et al. (2017) 表明智能体可能与训练对手紧耦合、对新对手失效；论文指出本文攻击的受害者能击败一系列对手，不属于耦合情形。

对抗训练与鲁棒 RL

• Xie et al. (2019) 的对抗训练在图像分类上取得 SOTA 鲁棒性；Pinto et al. (2017)、Mandlekar et al. (2017)、Pattanaik et al. (2018) 把对抗训练用于深度 RL（对受害者施加力向量或改变摩擦等动力学参数）；本文的微调防御受此启发。

最坏情况分析与验证

• 鲁棒 MDP（Bagnell et al., 2001; Tamar et al., 2014）从不确定集中对抗性选择转移函数；Bastani et al. (2018)、Ghosh et al. (2018)、Ravanbakhsh et al. (2016) 验证控制器或找反例。论文指出这些技术只适用于简单环境和低维对抗扰动，而本文方法无形式化保证但可测试复杂多智能体任务中的策略。

基线与基准：攻击基线为随机策略 Rand、零动作策略 Zero 和 Bansal et al. (2018a) 的全部预训练 Zoo 策略；基准为 Bansal et al. (2018a) 的 4 个零和 MuJoCo 环境。作者将本文定位为：提出新的物理现实威胁模型，并证明自对弈训练的强策略仍存在难以发现的失败模式。

整体思路：在零和双人 Markov 博弈中把固定受害策略嵌入转移与奖励函数，得到攻击者需求解的单人 MDP，用 model-free RL（PPO）训练对抗策略（adversarial policy），再通过对照实验分析其成功机理。

问题形式化

• 博弈为双人 Markov 博弈 M = (S, (Aα, Aν), T, (Rα, Rν))，α 为对抗方、ν 为受害方；受害者遵循固定随机策略 πν。
• 固定 πν 后博弈退化为单人 MDP Mα，其转移与奖励中嵌入了受害者动作 aν ∼ πν(·|s)。
• 攻击目标是找到最大化折扣奖励和的对抗策略：∑_t=0^∞ γ^t R_α(s^(t), a_α^(t), s^(t+1))；由于 πν 是黑盒，即使博弈动力学已知，Mα 的动力学也未知，因此攻击者必须解一个 RL 问题。

环境与受害者

• 使用 Bansal et al. (2018a) 的 4 个零和 MuJoCo 环境：Kick and Defend（3 个 LSTM 受害者）、You Shall Not Pass（1 个 MLP 受害者）、Sumo Humans（3 个 LSTM）、Sumo Ants（4 个 LSTM）；省略 Run to Goal（作者称设置与 You Shall Not Pass 仅胜负条件不同）。
• 双方观测自身关节的位置、速度、接触力及对方关节位置；受害者为 Bansal et al. (2018b) 发布的预训练权重，经 680M–1360M 步自对弈训练。
• Sumo 的胜负条件与原文不同：一方未被对手触碰自行摔倒也算输（作者称这允许不接触就间接修改观测的攻击）。

攻击方法

• 用 Stable Baselines 的 PPO 实现训练对抗策略，最大化上述目标；奖励为稀疏终局奖励：赢为正、输或平为负。
• 训练 20M timesteps；超参数经手动调参与 100 次随机搜索确定（附录 A：batch size 16384、学习率 3×10⁻⁴、discount 0.99 等）。
• 基线：随机动作策略 Rand、零控制策略 Zero、全部预训练 Zoo 策略。

机理分析方法

• 遮蔽（masking）：构造遮蔽受害者 ZooM*，把其对对手位置的观测设为固定的典型初始值，其余不变，用同一对抗策略对正常与遮蔽受害者各测一遍。
• 维度对比：在 Sumo 中比较 Ant（对手关节位置维度 dim P = 15）与 Humanoid（dim P = 24），检验"对手可控观测维度越高、受害者越脆弱"的假设。
• 激活分析：收集受害者策略网络前馈层激活（两个 64 维向量拼成 128 维），对正常对手诱导的激活拟合 20 组分 GMM 比较对数似然，并用 perplexity 250 的 t-SNE 可视化（附录 B）。

防御方法

• single training：对受害者针对一个对抗者微调；dual training：每局随机选对抗者或 Zoo 策略作为对手微调；训练流程与对抗者相同（PPO，20M 步）。

实验设置

• 被测受害者：Kick and Defend 的 ZooV1–3、You Shall Not Pass 的 ZooV1、Sumo Humans 的 Zoo1–3、Sumo Ants 的 Zoo1–4，均为 Bansal et al. (2018a) 预训练策略；防御实验另加微调版本 ZooSV1/ZooDV1 与遮蔽版本 ZooMV*。
• 攻击方：对每个受害者用 5 个随机种子训练对抗策略，取最优者记为 AdvN。
• 基线：Rand（随机动作）、Zero（零动作）、Zoo 预训练对手（取胜率最高者）。
• 指标：对手胜率，每个单元格基于 1000 局（Figure 4、Figure C.2）。
• 训练量：对抗策略 20M 步，不足受害者原始训练步数（680M–1360M）的 3%（摘要）。
• 评审方式：胜负由环境胜负条件自动判定，无人工或模型评审。

主结果

Figure 4（每格 1000 局中的对手胜率%，每行最大者标红；下表摘取关键单元格）：

表格较宽，可左右滑动

环境	受害者	Adv（最好）	Zoo 对手（最好）	Rand	Zero
Kick and Defend	ZooV1	90	42	30	30
Kick and Defend	ZooV2	93	80	50	46
Kick and Defend	ZooV3	84	66	26	29
You Shall Not Pass	ZooV1	87	48	3	1
Sumo Humans	Zoo1	87	80	0	0
Sumo Humans	Zoo2	63	71	0	0
Sumo Humans	Zoo3	44	57	0	1
Sumo Ants	Zoo1–4	7–11	36–48	4–6	3–7

• 作者称对抗策略在 Kick and Defend 与 You Shall Not Pass 中对多数受害者超过 Zoo 基线，在 Sumo Humans 上有竞争力（Figure 3、C.1）。
• Sumo Humans 中 Adv1 对 Zoo1 胜率 87%（正文称 88% 的受害者 1 摔倒情形），但对 Zoo2、Zoo3 仅 63%、44%，低于 Zoo 基线，作者未解释该差异。
• 作者称对抗者并非靠完成任务取胜：在 Kick and Defend 与 You Shall Not Pass 中它从不站立，而是摆出扭曲姿势（Figure 1）；在 Sumo Humans 中它跪在场地中央。

遮蔽实验（5.1 节）

• 测了什么：同一对抗策略分别攻击正常受害者与遮蔽受害者（对手位置观测被设为固定值）。
• 结果：You Shall Not Pass 中正常受害者 ZooV1 对 Adv1 输 86%，而遮蔽受害者 ZooMV1 对 Adv1 赢 99%；相反，对正常对手 ZooO1，遮蔽受害者反而更差（ZooO1 胜率从 47% 升至 78%）（Figure 4b）。
• 作者解读：对抗者靠操纵受害者观测而非物理干扰取胜；作者称这暗示看似传递性的博弈中可能存在非传递关系，并建议谨慎使用假设传递性的自对弈方法。

维度实验（5.2 节）

• 测了什么：Sumo 环境中比较 Ant（dim P = 15）与 Humanoid（dim P = 24）受害者的受攻击程度。
• 结果：对抗者在 Sumo Ants 中胜率仅 4%–11%，远低于 Sumo Humans（Figure 4c、4d）。
• 作者解读：结果支持"对手可控观测维度越高，受害者越脆弱"的假设。

激活分析（5.3 节）

• GMM：对正常对手诱导的激活拟合 20 组分 GMM；Figure 5a 显示 Adv 诱导的激活对数似然最低，Rand 略高，正常对手 Zoo*2/Zoo*3 接近验证集水平（Sumo Humans 中例外，与 Rand 一样低）。
• t-SNE：Figure 5b（Kick and Defend 受害者 ZooV2，perplexity 250，每对手 5000 步）中 Adv、Rand 与正常对手 ZooO2 的激活簇清晰分开；作者称 Adv 诱导的激活比 Rand 更分散，Rand 又比 ZooO2 更分散。

防御实验（第 6 节，You Shall Not Pass）

• 微调有效：single（ZooSV1）与 dual（ZooDV1）微调后，Adv1 胜率从 87% 降到约 10%（Figure 4b）。
• 副作用：ZooSV1 对正常对手 ZooO1 出现灾难性遗忘（ZooO1 胜率 84%）；ZooDV1 较好，但 ZooO1 胜率仍从对原受害者的 48% 升至 57%。
• 可被绕过：对微调后的受害者重新训练的新对抗者 AdvS1、AdvD1 胜率达到或超过此前水平（对 ZooSV1 为 99%、对 ZooDV1 为 91%，Figure 4b），且能迁移到原受害者；作者称新对抗者质上不同——通过趴地绊倒受害者而非仅靠混淆。

其他消融与分析

• 离分布基线：Rand 与 Zero 在 Kick and Defend 中胜率可达 30%–50%，在 Sumo 与 You Shall Not Pass 中不足 1%，作者据此认为多数受害者对非对抗优化的离分布观测鲁棒（4.3 节）。
• 训练曲线：Figure 3 与 C.1 给出 5 个种子的中位胜率曲线（10 万步滑动平均），对抗者在多数受害者上超过基线，但在 Sumo Ants 上表现差。
• 超参数：附录 A 报告 PPO 超参数及 100 次随机搜索过程；训练单个对抗者约需 4 核 Xeon Platinum 8000 上 8 小时。
• t-SNE 全量结果：Figure C.3、C.4 给出全部环境与受害者的可视化，作者称 Adv 与 Zoo 诱导的激活均清晰分离。

作者指出的局限与后续方向

• 防御可被绕过：作者称攻击方法可对微调后的受害者重新找到对抗策略，说明对抗策略难以消除（Discussion, Defense 小节）。
• 防御的副作用：single training 导致对正常对手的灾难性遗忘，dual training 后正常对手胜率仍上升（第 6 节）。
• 未来方向：作者认为扩大该防御规模是有前景的方向，设想一种 population-based training 变体——持续向池中加入新智能体以促进多样性，并让智能体长时间对固定对手训练以避免局部均衡（Discussion, Defense 小节）。
• 方法定位：作者称本文方法缺乏形式化保证，但可测试复杂多智能体任务中的策略（Related Work 末尾）。
• 自对弈假设：作者称结果暗示看似传递性的博弈中存在非传递关系，建议谨慎使用自对弈等假设传递性的方法（5.1 节）。

实验覆盖范围

• 被测环境为 4 个 MuJoCo 零和仿真博弈（Kick and Defend、You Shall Not Pass、Sumo Humans、Sumo Ants），受害者共 11 个预训练策略，全部来自 Bansal et al. (2018a) 的 agent zoo。
• 攻击算法仅用 PPO（Stable Baselines 实现），训练 20M timesteps，每个受害者 5 个随机种子取最优。
• 防御评测仅在 You Shall Not Pass 一个环境、一个受害者（ZooV1）上进行，包括 single、dual 微调与遮蔽三种变体。
• 每个胜率单元格基于 1000 局；激活分析基于每对手 5000（t-SNE）或 20000（GMM）个 timesteps。
• 论文未报告对抗策略在真实物理系统或非零和、协作环境中的效果，也未报告除 PPO 外其他 RL 算法训练对抗者的结果。

一篇关于深度 RL 对抗鲁棒性的攻击论文（ICLR 2020），提出对抗策略（adversarial policies）这一物理现实的威胁模型。

• 问题：以往 RL 对抗攻击假设直接扰动观测（ℓp 模型），但现实中攻击者只能通过自身动作影响受害者观测；作者问能否仅靠选择对抗策略就击败受害者。
• 方法：在 Bansal et al. (2018a) 的 4 个零和 MuJoCo 机器人博弈中，把固定的自对弈预训练受害者嵌入环境，用 PPO 以稀疏胜负奖励训练对抗策略（20M 步，不足受害者训练量的 3%）。
• 主结果：对抗策略在 Kick and Defend（最高 93%）与 You Shall Not Pass（87%）中超过 Zoo 基线，在 Sumo Humans 中对受害者 1 达 87% 但对受害者 2、3 仅 63%、44%；在低维 Sumo Ants 中仅 4%–11%（Figure 4，每格 1000 局）。对抗者行为看似随机（从不站立或跪地），并非靠完成任务取胜。
• 机理：遮蔽受害者对对手位置的观测后攻击失效（ZooMV1 对 Adv1 赢 99%）；GMM 与 t-SNE 显示对抗者诱导分布外激活；高维环境中受害者更脆弱。
• 防御：对受害者微调可将原对抗者胜率从 87% 降至约 10%，但 single training 导致灾难性遗忘，且重新训练的新对抗者胜率可达 99%（对 ZooSV1），只是质上变为物理绊倒受害者。
• 作者结论：即使是显式经自对弈训练以求鲁棒的强策略，也存在难以发现的失败模式；作者认为对抗策略可用于建设性地下界估计策略的可利用性，并将规模化对抗训练防御留作未来方向。