集成对抗训练：攻击与防御

1. 01这篇论文试图解决什么问题？

   单步对抗训练是否能在 ImageNet 规模上抵御黑盒攻击；作者称它收敛到退化最小值，并提出改进。

   核心问题：在 ImageNet 规模上，能否通过对抗训练获得对黑盒对抗样本的鲁棒性？ 作者称此前用单步攻击做对抗训练的方法收敛到一个退化全局最小值，鲁棒性是假象。

   • 问题场景：对抗样本可在模型间迁移，使部署模型面临简单的黑盒攻击；对抗训练通过把对抗样本加入训练数据提升鲁棒性，但此前在 ImageNet 规模上的尝试（Kurakin et al., 2017b）只证明了单步鲁棒性。
   • 现有方法的不足：Kurakin et al. (2017b) 用基于损失线性化的单步攻击训练 Inception v3，模型对单步攻击鲁棒但对多步攻击脆弱；他们发现多步攻击不易迁移，于是推断模型对黑盒也鲁棒。作者称这一推断不成立。
   • 核心观察：作者称单步对抗训练存在退化全局最小值——模型在数据点附近学到尖锐曲率，使损失的线性近似失效，即模型学会"生成弱扰动"而非防御强扰动（gradient masking 的一种）。
   • 论文提出：(1) 攻击面：证明对抗训练模型仍易受黑盒迁移攻击，并提出单步攻击 R+FGSM；(2) 防御面：提出 Ensemble Adversarial Training，用其他预训练模型生成的迁移扰动增强训练数据。
   • 威胁模型（Section 3.1、附录 A）：
     • 目标：对目标模型 h 和输入 (x, ytrue)，找到与 x 在 l∞ 范数下距离 ≤ ε 且被误分类的 xadv。
     • 知识：white-box 知道训练算法、架构、训练数据、随机数和参数；black-box 仅知训练流程与架构。
     • 能力：black-box 可从数据分布采样、训练本地模型并迁移攻击；正文主要考虑 non-interactive black-box，附录 A 另定义可查询预测的 interactive black-box。
     • 受害系统：ImageNet 与 MNIST 上的图像分类模型（Inception 系列及多种 CNN 架构）。

   收起这一问

2. 02有哪些相关研究？

   围绕对抗训练、黑盒迁移攻击与梯度掩蔽三条线，本文定位为大尺度黑盒鲁棒性的改进。

   对抗训练与可认证鲁棒性

   • Szegedy et al. (2013)、Goodfellow et al. (2014b)——提出对抗训练，用对抗样本增强训练数据。
   • Madry et al. (2017)——在 MNIST 上表明，若训练用对抗样本充分最大化损失，可获得对 white-box 攻击的鲁棒性；Sinha et al. (2018)、Raghunathan et al. (2018)、Kolter & Wong (2017) 在 MNIST 上给出小扰动的可认证鲁棒性。论文指出 MNIST 存在简单的二值化"闭式"鲁棒基线，这可能解释为何 white-box 鲁棒性难以扩展到 ImageNet（附录 C）。
   • Kurakin et al. (2017b)——在 ImageNet 上用单步 Step-LL 做对抗训练，模型对单步攻击鲁棒但对多步攻击脆弱；本文直接分析并复用其 v3adv 模型与训练设置。

   黑盒与迁移攻击

   • Szegedy et al. (2013)——发现对抗样本跨模型迁移，使针对部署模型的黑盒攻击成为可能。
   • Papernot et al. (2017)——无训练数据访问下，利用目标模型预测提取替代模型发起黑盒攻击；Liu et al. (2017)——用模型集成增强迁移性（本文在评测中借用其集成攻击方式）。
   • Goodfellow et al. (2014b) 与 Papernot et al. (2017)——论文称这两项工作已暗示对抗训练模型可能仍易受黑盒攻击（迁移样本误差更高、更大扰动可绕过）。

   梯度掩蔽与其他防御

   • Papernot et al. (2016b)——提出 gradient-masking 概念；论文把自己"对抗训练降低损失线性近似精度"的发现定位为该现象的一个实例，并称该现象也影响防御蒸馏等其他防御（Papernot et al., 2016c; Carlini & Wagner, 2017a 等）。
   • Gu & Rigazio (2014)、Luo et al. (2015)、Cisse et al. (2017) 等防御技术——论文称许多防御在自适应攻击者下仍脆弱（引 Carlini & Wagner, 2017a;b）。

   基线与基准：攻击基线为 FGSM、Step-LL、Iter-LL/I-FGSM、PGD（Madry et al., 2017，配合 Carlini & Wagner, 2017a 的 hinge loss）；防御对照为 Kurakin et al. (2017b) 的 v3adv 与作者同设置训练的 IRv2adv。数据集为 ImageNet 与 MNIST，另参加 NIPS 2017 对抗防御竞赛。

   定位：作者称本文与 Madry et al. (2017) 的"用更强攻击训练"路线不同，Ensemble Adversarial Training 通过把对抗样本生成与被训练模型解耦来提升黑盒鲁棒性，代价更低；作者并称其 IRv2adv-ens 模型赢得 NIPS 2017 防御赛首轮。

   收起这一问

3. 03论文如何解决这个问题？

   形式化退化最小值并提出 R+FGSM 攻击与 Ensemble Adversarial Training 防御两条线。

   整体思路：先证明单步对抗训练收敛到使线性近似失效的退化最小值（梯度掩蔽），再用随机化单步攻击 R+FGSM 验证该弱点，最后用 Ensemble Adversarial Training 把对抗样本生成与被训练模型解耦以获得黑盒鲁棒性。

   问题形式化与威胁模型

   • 分类任务：数据 x ∈ [0,1]^d，模型 h 输出类别分数，损失 L。对抗训练写成 min-max 问题：h^∗ = argmin_h 𝔼_{(x,y)∼ D}[max_{|x^adv−x|∞ ≤ ϵ} L(h(x^adv), y)]，内层最大化由攻击近似求解。
   • 三种攻击：FGSM（线性化内层最大化）、Step-LL（朝最不可能类别扰动，Kurakin et al. 称其在 ImageNet 对抗训练中最有效）、Iter-LL/I-FGSM（迭代 k 步、步长 α ≥ ε/k）。

   退化全局最小值（Section 3.3）

   • 用单步攻击近似内层最大化时，优化问题存在两类全局最小值：一是模型对所有 l∞ 扰动鲁棒；二是退化最小值——模型让线性化近似变差，使单步攻击产生的样本远离最优。
   • 作者称这比简单过拟合更微妙：对抗训练模型产生的"对抗"样本连未防御模型都能正确分类，即模型主动让攻击整体变弱；作者将其与 Reward Hacking（Amodei et al., 2016）类比。

   R+FGSM 攻击（Section 4.1）

   • 设计：先做一个小随机步逃出数据点附近的非光滑区域，再线性化损失：x^adv = x′ + (ϵ−α)· sign(∇_x′ J(x′, y_true))，其中 x' = x + α·sign(N(0, I))，α < ε，仍只需一次梯度计算。
   • 定位：作者称其为 PGD 的单步变体，是迭代方法的高效替代；实验取 ε = 16/256、α = ε/2。

   Ensemble Adversarial Training（Section 3.4、4.2）

   • 设计：训练数据中混入在其他静态预训练模型上生成的对抗样本；由于被训练模型无法影响这些样本的"强度"，最小化训练损失即意味着对来自这些模型的黑盒攻击更鲁棒。
   • 理论联系：借助多源 Domain Adaptation（Mansour et al., 2009; Zhang et al., 2012）给出非形式化定理：若模型对训练时的静态黑盒攻击者 A1…Ak 鲁棒，则对未来"不比它们强太多"的黑盒攻击者 A* 有界误差（形式化见附录 B）。
   • 训练细节：每个 batch 随机在当前模型与某个预训练模型间轮换对抗样本来源；minibatch 中一半样本替换为 Step-LL 样本；50 台机器同步分布式训练，minibatch 16；RMSProp，学习率 0.045、每两轮衰减 0.94。作者称每 n 个 batch 才需一次前向-反向计算，单 batch 成本低于标准对抗训练。
   • 模型配置（Table 3）：v3adv-ens3 用 Inception v3、ResNet v2 (50) 作预训练模型；v3adv-ens4 另加 IncRes v2；IRv2adv-ens 用 Inception v3、IncRes v2；留出模型分别为 Inception v4、ResNet v1 (50)、ResNet v2 (101)。

   评测方式

   • 攻击成功率以目标模型在对抗样本上的错误率衡量（附录 A 给出定义）；黑盒评测用留出模型上生成的 Step-LL、R+Step-LL、FGSM、I-FGSM、PGD 共 20 种迁移攻击，报告最坏情况错误率；另用单步与多步攻击损失的近似比、扰动余弦相似度和 GAAS 方法衡量梯度掩蔽程度。

   收起这一问

4. 04论文做了哪些实验？

   在 ImageNet 与 MNIST 上验证梯度掩蔽、R+FGSM 攻击强度和 Ensemble Adversarial Training 的黑盒鲁棒性。

   实验设置

   • 被测模型（ImageNet）：Inception v3、Inception v4、Inception ResNet v2（标准）；v3adv（Kurakin et al. 2017b 训练，Step-LL，ε ≤ 16/256）、IRv2adv（作者同设置训练）；Ensemble 模型 v3adv-ens3、v3adv-ens4、IRv2adv-ens（配置见 Table 3）。
   • 被测模型（MNIST）：架构 A、B（含输入 dropout）、B*（B 去掉输入 dropout）、C、D（Table 5），各训练标准版、对抗训练版（FGSM，ε = 0.3，12 epochs）与 Ensemble 版。
   • 数据集：ImageNet（10,000 随机测试样本用于攻击评测，干净错误率用全测试集）；MNIST。
   • 攻击与参数：Step-LL、R+Step-LL、FGSM、I-FGSM、Iter-LL(2)、PGD（Madry et al. 2017 + Carlini & Wagner 2017a hinge loss）；ImageNet 取 ε = 16/256、α = ε/2；MNIST 取 ε = 0.3（Table 8 处写 ε = 16）。
   • 指标：Top 1 / Top 5 错误率；近似比（单步攻击损失相对迭代攻击下界）；扰动余弦相似度；对抗锥维度（GAAS）。
   • 黑盒协议：在一个模型（源）上算扰动迁移到其他模型（目标），源=目标时为白盒；Ensemble 评测用 3 个留出模型及其集成，共 20 种攻击，报最坏错误率；MNIST 上留出模型用不同随机种子重训。

   主结果

   梯度掩蔽证据与 Ensemble Adversarial Training 黑盒鲁棒性（Table 4，ImageNet，ε = 16/256，10,000 样本，错误率 %）：

   表格较宽，可左右滑动

   模型	Clean	Step-LL（白盒）	Max. Black-Box（Top 1）	Max. Black-Box（Top 5）
   v3	22.0	69.6	51.2	24.5
   v3adv	22.0	26.6	40.8	17.4
   v3adv-ens3	23.6	30.0	34.0	11.2
   v3adv-ens4	24.2	43.3	33.4	10.7
   IRv2	19.6	50.7	44.4	17.8
   IRv2adv	19.8	21.4	34.5	11.7
   IRv2adv-ens	20.2	26.0	27.0	7.9

   • 作者称 Ensemble Adversarial Training 提升了对留出模型迁移攻击的鲁棒性：IRv2adv-ens 相对 IRv2 干净准确率的损失为 7.4%（Top 1）和 3.1%（Top 5）；最强迁移攻击是 FGSM，R+Step-LL 与迭代攻击迁移率低。
   • 代价：Ensemble 模型干净准确率略降、对白盒单步攻击更脆弱（v3adv-ens4 训练时白盒 Step-LL 样本占比 1/4，白盒鲁棒性下降明显）；作者称主要收益来自攻击与模型解耦，而非样本多样性本身。
   • 作者称结果对攻击参数（更小 ε）和留出模型选择变化很小；v3adv-ens3 不受来自 v3adv-ens4 的扰动影响。

   梯度掩蔽与 R+FGSM 攻击

   • 近似比：1,000 个测试点上，Step-LL 对标准 v3 达到最优损失的 19%，对 v3adv 仅 7%；IRv2 标准 17%、IRv2adv 8%。单步与多步扰动的余弦相似度从 v3 的 0.13 降到 v3adv 的 0.02；v3adv 平均梯度范数 0.17 反而大于 v3 的 0.10，作者据此称并非决策面"太平"。
   • R+Step-LL 攻击（Table 2，白盒，Top 1）：v3adv 上 Step-LL 26.6%、R+Step-LL 64.8%、Iter-LL(2) 58.3%；IRv2adv 上三者分别为 21.4%、37.5%、41.6%。作者称随机步对所有模型都增强攻击，且对 v3adv 单步随机化攻击超过两步迭代攻击。
   • 迁移矩阵（Table 1）：对抗训练提高白盒单步鲁棒性但黑盒错误率更高（如 v3adv 白盒 26.6%，来自 v4 的迁移 36.3%）；以 v3adv/IRv2adv 为源的攻击迁移率更低，作者称这印证对抗训练主动削弱了线性近似。

   MNIST 实验与对抗锥分析

   • MNIST 近似比（Table 6）：所有架构对抗训练后近似比下降（A 17%→0%，B 25%→8%，C 25%→0%，D 49%→16%）；输入 dropout（架构 B）缓解该效应，去掉 dropout 的 B*adv 仅 1%。
   • MNIST Ensemble（Table 8，12 种攻击）：Aadv 最坏黑盒 10.8% → Aadv-ens3 6.5%；Cadv 29.3% → Cadv-ens3 14.5%；Dadv 32.5% → Dadv-ens3 29.8%；架构 B 例外，Badv-ens3（8.8%）不优于 Badv（8.9%），作者称因 B 本就不受该过拟合影响。
   • 对抗锥维度（Figure 2，500 个正确分类点，k ≤ 100）：标准 v3 有 30% 的点存在超过 50 个正交对抗方向；v3adv 在 ε ≥ 10 时呈双峰——约 80% 的点找不到与梯度对齐的对抗方向，其余点多有 k ≥ 90；v3adv-ens3 只有少量点邻近高维对抗空间。作者称 Ensemble 训练全局降低了对抗空间维度。

   其他消融与分析

   • R+FGSM 迁移性（Table 9）：随机化扰动迁移率明显低于确定性版本（Table 1）。
   • R+FGSM 对抗训练（MNIST，模型 A，100 epochs）：对 R+FGSM 样本准确率 > 90.0%，但对 20 步 PGD 仅 18.0% 准确率。
   • 收敛速度：v3adv-ens3/v3adv-ens4 需 280 epochs（450k 迭代），v3adv 为 187 epochs；IRv2adv-ens 175 epochs，基线约 160。
   • 集成攻击（Liu et al., 2017 方式）未比单留出模型攻击更强。
   • 输入 dropout 加到 A、C、D 上收益有限，且 Mishkin et al. (2017) 称其损害 ImageNet 准确率，故 ImageNet 实验未采用。
   • 后续工作（Section 1.1）：Wu et al. (2020) 的攻击将 IRv2adv-ens 准确率降至 22%（ε = 16/255）；Table 4 注记称该攻击使所有模型错误率至少 78%。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出非迁移黑盒攻击、交互式攻击等未覆盖方向；实验限于 l∞ 迁移攻击与两个数据集。

   作者指出的局限与后续方向

   • 未考虑不通过本地模型迁移的黑盒攻击者，例如生成式技术（Baluja & Fischer, 2017）可能构成更强攻击（Section 5）。
   • 交互式对抗者可利用目标模型的预测查询（如置信度输出时用有限差分估计梯度再施加 R+FGSM）；探索这类黑盒攻击的影响及其在复杂任务上的可扩展性是未来工作（Section 5）。
   • l∞ 鲁棒性不是安全 ML 的终点；是否能枚举所有类型的"对抗"扰动是开放问题，将评测扩展到多种扰动度量留作未来工作（附录 C.1）。
   • 对 ImageNet 规模任务，更强的形式化保证目前难以获得，因此只能诉诸实验评估（Section 3.4）。
   • 后续工作（Section 1.1，2020 年补记）：更强的迁移攻击（Dong et al., 2019; Xie et al., 2019b; Wu et al., 2020）大幅降低了 Ensemble 模型的鲁棒准确率；多步对抗训练已扩展到 ImageNet 并取代 Ensemble Adversarial Training 的结果。

   实验覆盖范围

   • 被测模型为 ImageNet 上 3 个标准模型、2 个对抗训练模型、3 个 Ensemble 模型，及 MNIST 上 4 种架构（A、B、B*、C、D 及其变体）。
   • 黑盒评测仅覆盖从留出模型迁移的攻击（ImageNet 20 种、MNIST 12 种），未含查询式或生成式黑盒攻击。
   • 扰动度量仅 l∞：ImageNet 主要取 ε = 16/256，MNIST 取 ε = 0.3。
   • 攻击样本量为 10,000 随机测试点（ImageNet），近似比实验用 1,000 点，对抗锥分析用 500 点；论文未报告重复次数。
   • 白盒鲁棒性方面，论文称 Ensemble 模型对 Iter-LL 与 R+Step-LL 白盒攻击的错误率与 v3adv 相近，但未列出具体数字（正文称省略）。

   收起这一问

6. 06总结一下论文的主要内容

   单步对抗训练的鲁棒性是梯度掩蔽假象；Ensemble Adversarial Training 用迁移扰动训练提升黑盒鲁棒性。

   一篇同时给出攻击与防御的对抗样本论文（ICLR 2018），研究大规模对抗训练的真实鲁棒性。

   • 问题：Kurakin et al. (2017b) 在 ImageNet 上用单步攻击做对抗训练并推断模型对黑盒攻击鲁棒；作者称该推断不成立。
   • 核心发现：单步对抗训练收敛到退化全局最小值——模型在数据点附近制造尖锐曲率使损失的线性近似失效（梯度掩蔽）。证据：Step-LL 近似比从标准 v3 的 19% 降到 v3adv 的 7%，单步与多步扰动余弦相似度从 0.13 降到 0.02。
   • 攻击面：提出 R+FGSM——先加小随机步再线性化，单次梯度。v3adv 上白盒 Top 1 错误率从 Step-LL 的 26.6% 升至 64.8%，超过两步 Iter-LL 的 58.3%（Table 2）；黑盒迁移攻击对对抗训练模型同样有效（Table 1）。
   • 防御面：Ensemble Adversarial Training 用其他静态预训练模型生成的迁移扰动增强训练数据，把攻击生成与被训练模型解耦，并用 Domain Adaptation 给出对"不太强"的未来黑盒攻击者的泛化界。
   • 防御结果：IRv2adv-ens 对留出模型 20 种迁移攻击的最坏 Top 1 错误率 27.0%（IRv2adv 为 34.5%，Table 4）；该模型以 95.3% 得分获 NIPS 2017 防御赛首轮 70 个提交中的第一。代价是干净准确率略降、白盒单步鲁棒性下降。
   • 作者结论：对抗训练可通过解耦对抗样本生成与模型训练来改进，对一部分模型攻击的鲁棒性能泛化到其他模型；同时作者建议评估防御时必须同时考虑白盒与黑盒攻击者。后续工作显示更强迁移攻击可将 IRv2adv-ens 准确率降至 22%，多步对抗训练已超越该方法。

   收起这一问

相关论文