比 free 更快：重新审视对抗训练

1. 01这篇论文试图解决什么问题？

   对抗训练太慢：作者称 FGSM 加随机初始化即可达到 PGD 训练的效果，成本接近标准训练。

   核心问题：对抗训练因内层要用 PGD 等多步攻击生成对抗样本，训练时间通常比标准训练高一个数量级，作者试图消除这一额外成本。

   • 问题场景与重要性：安全攸关应用需要对对抗样本鲁棒的深度网络；作者称对抗训练和认证防御是最可靠的方法之一，但两者都带来不小的计算开销，拖慢了鲁棒性研究在大网络上的扩展和快速迭代。
   • 现有方法的不足：作者称近期的加速工作（free adversarial training，Shafahi et al., 2019；YOPO，Zhang et al., 2019）虽有改进，但仍明显慢于标准训练——free 训练在 CIFAR10 上需 200 多个 epoch、超过 10 小时，ImageNet 上需两天。
   • 核心观察与假设：free 训练与 FGSM 训练的关键差别在于扰动的初始点非零（沿用上一个 minibatch 的扰动）；作者假设有效性的主要来源就是从非零初始扰动出发，与具体初始化方式无关。
   • 论文提出的方法：带均匀随机初始化的 FGSM 对抗训练（Algorithm 3），再结合 DAWNBench 的 cyclic learning rate 与 mixed-precision 等标准加速技术；并识别出导致以往 FGSM 训练失败的"catastrophic overfitting"失效模式。
   • 威胁模型：
     • 防御目标：学习对对抗扰动鲁棒的分类器，形式化为鲁棒优化问题（式 1）。
     • 威胁模型：l∞ 扰动 ∆={δ:‖δ‖∞≤ε}，沿用 Madry et al. (2017) 的设定；CIFAR10 取 ε=8/255，ImageNet 取 2/255 与 4/255，MNIST 取 0.3。
     • 攻击者能力：评测时用 PGD 攻击（50 步、步长 2/255、10 次随机重启）扰动输入以欺骗模型。
     • 受害系统：MNIST/CIFAR10/ImageNet 图像分类器（卷积网络、PreAct ResNet18、ResNet50）。

   收起这一问

2. 02有哪些相关研究？

   沿 FGSM→PGD→free 训练的脉络组织，另述其他防御、强攻击评测与 DAWNBench 快速训练技术。

   对抗训练的演进

   • Goodfellow et al. (2014)——提出 FGSM，用单步梯度生成对抗样本，并最早用于对抗训练。
   • Tramèr et al. (2017)——提出 R+FGSM，给 FGSM 加随机化步骤；论文指出其初始化和步长更受限制，得到的模型不能抵御 full-strength PGD 攻击（附录 A 有详细对比）。
   • Kurakin et al. (2016) 与 Madry et al. (2017)——Basic Iterative Method 用多步小步长改进 FGSM，使 FGSM 系对抗训练失效；加随机重启后形成今天广为人知的 PGD 对抗训练，被认为是学习鲁棒网络的有效方法。

   降低对抗训练成本的工作

   • Shafahi et al. (2019)——"free" adversarial training：单次反向传播同时更新扰动和权重，配合 minibatch replay，开销接近标准训练；本文的主要对比对象。
   • Zhang et al. (2019)——多步 PGD 反向传播时去掉冗余计算以加速。
   • Wang (2018)——发现更大但更少的 PGD 步数不一定明显改变最终鲁棒性。

   其他防御与强攻击评测

   • 其他防御路线：预处理（Guo et al., 2017 等）、检测（Metzen et al., 2017 等）、验证与可证防御（Katz et al., 2017；Wong & Kolter, 2017 等）；作者称认证防御已扩展到相当规模的网络，但保证达不到对抗训练的经验鲁棒性。
   • 强攻击评测：作者称弱攻击会给人误导性的安全感，历史上许多防御（Papernot et al., 2016 等）被更强的攻击击破（Carlini & Wagner, 2017b；Athalye et al., 2018 等），Carlini et al. (2019) 提出了评测最佳实践。

   快速标准训练技术

   • DAWNBench 竞赛（Coleman et al., 2017）——顶级提交能在数分钟/数小时内训完 CIFAR10/ImageNet；其中通用技术包括 cyclic learning rate（Smith & Topin, 2018）和 mixed-precision（Micikevicius et al., 2017）。

   基线与基准：对比基线为 PGD-7 对抗训练（Madry et al., 2017）和 free adversarial training（Shafahi et al., 2019），基准为 MNIST、CIFAR10、ImageNet。

   作者将本文定位为：回到最早被否定的 FGSM 对抗训练，证明其加随机初始化后与 PGD 训练等效，且比 free 训练收敛更快、总成本更低。

   收起这一问

3. 03论文如何解决这个问题？

   FGSM 对抗训练加均匀随机初始化（α=1.25ε），再叠加 cyclic learning rate 与 mixed-precision 加速。

   整体思路：用带随机初始化的 FGSM 近似鲁棒优化的内层最大化（每 epoch 成本仅为标准训练的 2 倍），再用 DAWNBench 的通用加速技术压缩 epoch 数和单步耗时，使总训练成本接近标准训练。

   问题设定与形式化

   • 鲁棒优化目标：min_θ ∑_i max_{δ ∈ Δ} ℓ(f_θ(x_i+δ), y_i)，即在威胁模型 ∆ 内最小化最坏情况损失。
   • 威胁模型取 Δ={δ:|δ|_∞≤ϵ}（l∞ 威胁模型），FGSM 对内层最大化的闭式近似为 δ^∗=ϵ·sign(∇_x ℓ(f(x),y))。
   • PGD 训练每 epoch 需 O(MN) 次梯度计算（N 为 PGD 步数），约为标准训练的 N 倍；FGSM 训练每 epoch 需 2 次反向传播（扰动与权重分开算），相当于 2 个标准训练 epoch。

   核心方法：随机初始化的 FGSM 对抗训练（Algorithm 3）

   • 流程：扰动 δ 初始化为 Uniform(−ε, ε)，走一步 α·sign(∇δℓ)，clip 回 [−ε, ε]，再用该对抗样本更新权重。
   • 关键设计：作者假设 free 训练有效的主因是从非零初始扰动出发；实验部分所有 FGSM 训练均用随机初始化加步长 α=1.25ε（CIFAR10 上即 α=10/255）。
   • 与 Tramèr et al. (2017) 的 R+FGSM 的两点区别（附录 A）：初始化用整个扰动域上的均匀分布（对方在半径 ε/2 的超立方体表面初始化），步长用 α=ε（对方用 ε/2）。

   DAWNBench 加速技术

   • Cyclic learning rate：学习率先从 0 线性升到最大值 λ（前 N/2 个 epoch），再线性降回 0；λ 逐个方法调到不发散的最大值。ImageNet 的循环计划在第二、三阶段再衰减 10 倍（Figure 1）。
   • Mixed-precision：用 Apex amp，ImageNet 用 O1，CIFAR10 用 O2 且不做 loss scaling。
   • ImageNet 额外技巧：batch normalization 层不加 weight decay；渐进式放大图像尺寸，训练分三个阶段（160 像素、352 像素、完整图像）。

   失效模式与早停

   • 作者将零初始化或过大步长（如 α=2ε=16/255）导致的失败称为"catastrophic overfitting"：对 PGD 攻击的鲁棒准确率（在训练数据上）突然降到 0%。
   • 检测与补救：每个 epoch 末在单个训练 minibatch 上跑 5 步、1 次重启的 PGD，若鲁棒准确率骤降则早停，可挽回部分鲁棒性（Table 1、附录 D）。

   成功判定与评测方式

   • 经验鲁棒性：用 50 步、步长 2/255、10 次随机重启的 PGD 攻击测鲁棒准确率（与 Shafahi et al. (2019) 的超参一致并加强随机重启）。
   • 精确验证：MNIST 小模型上用 MILP（Tjeng et al., 2017）计算 ε=0.1 处的精确验证鲁棒率。

   收起这一问

4. 04论文做了哪些实验？

   CIFAR10 上 FGSM+随机初始化达 46.06% PGD 鲁棒率、6 分钟训到 45%；ImageNet 43.43%、12 小时；MNIST 验证鲁棒率 96.8%。

   实验设置

   • 被测模型：CIFAR10 用 PreAct ResNet18（单张 RTX 2080ti）；ImageNet 用 ResNet50（4 张 RTX 2080ti）；MNIST 用两个卷积层（16、32 滤波器）加 100 单元全连接层的小网络（同 Tjeng et al., 2017）。
   • 数据集：MNIST、CIFAR10、ImageNet；论文未说明各数据集样本量。
   • 基线：PGD-7 对抗训练（Madry et al., 2017）与 free adversarial training（Shafahi et al., 2019，m=8 或 m=4）。
   • 指标：standard accuracy、PGD 鲁棒准确率（50 步、α=2/255、10 次随机重启；ImageNet 另报 1 次重启）、MNIST 上的 MILP 验证鲁棒率、训练时间。
   • 训练参数：batch size 128，SGD momentum 0.9、weight decay 5×10⁻⁴；Table 1 实验报 3 个随机种子的平均值；Figure 2 每点为 3 次独立运行的平均。
   • FGSM 训练配置：随机初始化 + α=1.25ε；Table 7 中 CIFAR10 的 epoch 数为 FGSM 30、PGD 40、Free 96，最大学习率 0.2/0.2/0.04。

   主结果

   CIFAR10，ε=8/255，各种对抗训练方法的标准/鲁棒准确率与训练时间（据 Table 1）：

   表格较宽，可左右滑动

   Method	Standard acc.	PGD (ε=8/255)	Time (min)
   FGSM + zero init	85.18%	0.00%	12.37
   FGSM + zero init + early stopping	71.14%	38.86%	7.89
   FGSM + previous init	86.02%	42.37%	12.21
   FGSM + random init	85.32%	44.01%	12.33
   FGSM + random init + α=10/255	83.81%	46.06%	12.17
   FGSM + random init + α=16/255	86.05%	0.00%	12.06
   Free (m=8) + DAWNBench	78.38%	46.18%	20.91
   PGD-7 + DAWNBench	82.46%	50.69%	68.8

   • 作者称零初始化不鲁棒，而随机初始化或沿用上一 minibatch 扰动都能达到与 free、PGD 训练相当的鲁棒性，随机初始化略好。
   • 作者称步长加大到 α=10/255 后与 free 训练的最佳报告结果持平；α=16/255（=2ε）则发生 catastrophic overfitting。
   • 表中 Free (m=8) 与 PGD-7 的原始行（46.33%/785 min、45.80%/4965.71 min）为原论文在不同网络架构、更弱攻击者下的报告值（Table 1 脚注）。

   MNIST 精确验证

   • 测了什么：FGSM 与 PGD 对抗训练（ε=0.3，PGD 训练用 40 步、步长 0.01）的小卷积网络，用 MILP 算精确鲁棒率。
   • 结果（Table 2）：FGSM 训练模型 standard 99.20%、PGD(0.1) 97.53%、PGD(0.3) 88.77%、verified(0.1) 96.8%；PGD 训练模型对应为 99.20%、97.66%、89.90%、96.7%。
   • 作者称 FGSM 训练在 MNIST 上的经验与验证鲁棒性几乎与 PGD 训练无差别；ε=0.3 及更大数据集因 MILP 规模过大无法精确验证。

   快速 CIFAR10 与 ImageNet 训练

   • CIFAR10（Table 3）：DAWNBench+FGSM 用 15 epochs、6.34 分钟训到 45% 鲁棒准确率；DAWNBench+PGD-7 为 10 epochs、17.49 分钟；DAWNBench+Free(m=8) 为 80 epochs、17.44 分钟。作者称 free 训练从 cyclic learning rate 中受益较少，所需 epoch 更多。
   • ImageNet（Table 4，ε=2/255）：FGSM 12.14 小时达 standard 60.90%、PGD+10 restarts 43.43%；Free(m=4) 52.20 小时达 64.37%、43.28%。ε=4/255 时 FGSM 为 55.45%、30.18%，Free(m=4) 为 60.42%、31.08%。
   • ImageNet 计时（Table 5）：FGSM 混合精度 15 epochs 共 12.14 小时（三阶段 2.01+5.34+4.80）；Free(m=4) 混合精度 92 epochs 共 38.76 小时。作者称 mixed-precision 使 free 训练提速 25%，但仍慢于 FGSM。

   其他消融与分析

   • R+FGSM 对比（Table 6，MNIST，10 个随机种子）：本文版本（Uniform(0.3) 初始化 + 步长 0.30）鲁棒率 86.21±0.75%；R+FGSM 原版 34.58±36.06%；只换均匀初始化 72.92±10.40%；只换全步长 26.53±32.48%。
   • 步长扫描（Figure 3，CIFAR10，30 epochs、3 种子）：鲁棒率随步长升至 α=10/255 后不再提升，更大步长易过拟合到扰动域边界。
   • Catastrophic overfitting（Figure 4）：零初始化 FGSM 训练中 PGD 测试误差突然上升而 FGSM 训练误差保持低位；Figure 5 显示过拟合模型的 PGD 扰动绝对值更多落在原点附近区间，鲁棒模型的扰动更靠近边界（8 附近）。
   • 早停补救（Figure 6）：大于 11/255 的步长原本鲁棒率为 0%，早停后可恢复部分鲁棒准确率。
   • Free+DAWNBench on ImageNet（Table 9，附录 F）：m=3、30 epochs（与 FGSM 15 epochs 等算力）时 PGD+10 为 27.08%–27.81%，低于 Free(m=4) 原版的 31.08%；作者称这不是断言两者不兼容，只是未为 free 训练调优。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出精确验证无法扩展到大数据集，并提出解释近似内层解何时足够的理论方向；实验覆盖三个图像基准。

   作者指出的局限与后续方向

   • 精确验证的扩展性：ε=0.3 的 MNIST 及更大数据集上 MILP 规模过大，无法在合理时间内求解，更大网络只能靠经验测试评估鲁棒性（5.1 节脚注 4）。
   • 理论方向：作者称本文暴露了一个新方向——更严格地解释内层优化问题的近似解何时足以完成鲁棒优化、何时失败（Conclusion）。
   • free 训练与 DAWNBench 的结合：作者称不能断言 free 训练与 DAWNBench 技巧在 ImageNet 上不兼容，给更多 epoch 可能恢复性能，但为 free 训练调优不是本文目标（附录 F）。
   • 作者认为 free 训练在 ImageNet 上可能需要比 15 epochs（等算力 30 epochs）更多的 epoch 才能达到最佳性能（附录 F）。

   实验覆盖范围

   • 被测模型共 3 个：PreAct ResNet18（CIFAR10）、ResNet50（ImageNet）、一个小卷积网络（MNIST）。
   • 基准为 MNIST、CIFAR10、ImageNet；威胁模型仅 l∞，ε 取 0.1/0.3（MNIST）、8/255（CIFAR10）、2/255 与 4/255（ImageNet）。
   • 评测攻击为 PGD（50 步、10 次随机重启；ImageNet 另报 1 次重启），MNIST 另有 MILP 精确验证（仅 ε=0.1）；论文未报告 PGD 之外的攻击评测。
   • 重复次数：Table 1 与 Figure 2/3 为 3 个随机种子，Table 6 为 10 个随机种子；ImageNet 实验论文未报告重复次数。
   • 对比基线为 PGD-7（Madry et al., 2017）与 free adversarial training（Shafahi et al., 2019）；论文未报告与认证防御训练方法的运行对比。

   收起这一问

6. 06总结一下论文的主要内容

   FGSM 对抗训练加随机初始化即可媲美 PGD 训练：CIFAR10 六分钟、ImageNet 十二小时训出鲁棒分类器。

   一篇 ICLR 2020 的对抗训练加速论文，针对的问题是：对抗训练因内层需多步 PGD 攻击而比标准训练慢约一个数量级，而最便宜的 FGSM 对抗训练此前被认为对 PGD 攻击无效。

   • 方法要点：作者发现 free 训练与 FGSM 训练的关键差别在于非零初始扰动，于是给 FGSM 的扰动加均匀随机初始化（步长 α=1.25ε）；再结合 DAWNBench 的 cyclic learning rate、mixed-precision（ImageNet 另加渐进缩放与 BN 层去 weight decay）压缩训练时间。
   • CIFAR10：FGSM+随机初始化+α=10/255 达 46.06% PGD 鲁棒准确率（Table 1）；用 15 epochs、6.34 分钟训到 45% 鲁棒准确率，而 PGD-7 原实现需 4965.71 分钟、free 训练需 674.39 分钟（Table 3）。
   • ImageNet：ε=2/255 时 FGSM 以 12.14 小时达 43.43%（PGD+10 restarts），free(m=4) 需 52.20 小时达 43.28%（Table 4、5）。
   • MNIST 验证：FGSM 训练模型在 ε=0.1 处 MILP 验证鲁棒率 96.8%，PGD 训练为 96.7%（Table 2）。
   • 失效模式：零初始化或 α=2ε 会触发"catastrophic overfitting"，PGD 鲁棒率降到 0.00%（Table 1）；可用单 minibatch 上的 5 步 PGD 检测并早停挽回。
   • 作者结论：鲁棒优化中内层最大化只需粗略近似即可，防御方训练时不需要强攻击者；作者认为这将让鲁棒性研究迭代更快，并提出解释近似内层解何时足够的理论方向。

   收起这一问

相关论文