分布式对抗训练:大规模增强深度神经网络鲁棒性
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale
作者提出分布式对抗训练框架 DAT,结合 LALR 解决大 batch min-max 优化;在 ImageNet/ResNet-50 上 RA 与集中式 AT 相当且训练提速。
防御方场景:针对 l∞ 范数有界(半径 ε)的对抗扰动训练鲁棒 DNN;评测攻击为 PGD(CIFAR 20 步、ImageNet 10 步)与 AutoAttack,训练用 PGD/FGSM 生成扰动;受害系统为图像分类器(ResNet-18/50、Wide ResNet-28-10)。
- 对抗训练(AT)计算开销大、难以扩展;直接放大 batch 到分布式多机上会明显损失鲁棒与标准精度(Figure 1),论文要解决如何在分布式环境下扩展鲁棒训练。
- 提出分布式对抗训练框架 DAT:参数服务器架构下各 worker 用 PGD 或 FGSM 生成扰动、可选梯度量化,服务器聚合梯度,并用逐层自适应学习率(LALR/LAMB)应对大 batch min-max 优化;理论上给出非凸设定下 O(1/√T) 收敛率。
- 在 ImageNet/ResNet-50 上,DAT-PGD 的 RA 38.45% 接近集中式 AT 的 40.38%,每 epoch 时间从 6022 秒降到 1960 秒;半监督、随机平滑认证鲁棒、预训练微调等场景均报告有效;8-bit 单侧量化 RA 仅降 0.55%。
- 作者称未来值得考察极端情形(更多攻击步数、更多机器、更大模型)下的加速效果。实验限于图像分类与 l∞ 扰动;DAT-FGSM 的 RA 方差约 1.5%,高于 DAT-PGD 的约 0.5%;论文未报告与自适应攻击相关的更多评测。
- 被测模型
- ResNet-50Pre-act ResNet-18Wide ResNet-28-10
- 基准
- ImageNetCIFAR-10CIFAR-10080 Million Tiny Images
- 指标
- TARAAAcertified accuracycommunication time per epochtraining time per epoch
研究者提出分布式对抗训练(DAT),一种多机大批量对抗训练框架,将鲁棒训练扩展到大规模模型与数据集。DAT 支持有标签与无标签数据、多种攻击生成方法及梯度压缩,并在标准条件下给出非凸情形收敛到一阶稳定点的速率。实验显示其鲁棒准确率持平或超过现有最优水平,并在 ImageNet 的 ResNet-50 上取得良好训练加速。
深度解读
这篇论文试图解决什么问题?
解决对抗训练难以扩展到分布式多机的问题:直接放大 batch 会损失精度,作者提出 DAT 框架。
核心问题:对抗训练(AT)计算密集、难以扩展,而直接把它搬到分布式大 batch 设置会明显损失精度,如何设计有理论保证的分布式对抗训练框架。
- 问题场景与重要性:作者称 DNN 易被对抗扰动操纵,AT 是目前主流的鲁棒训练方法,但比标准训练计算量大得多、难以 scale;当数据因规模或隐私无法集中存储、或需要大 batch 提升训练可扩展性时,就需要分布式 AT。
- 现有方法的不足:作者称 Fast AT 存在鲁棒学习不稳定、对学习率调度过于敏感、对强攻击的灾难性遗忘等问题(引 Li et al., 2020; Rice et al., 2020; Andriushchenko and Flammarion, 2020);已有少数多机扩展 AT 的工作(Xie et al., 2019 等)局限于特定用例,缺乏系统的理论与实践研究。
- 核心观察:Figure 1 显示在 ImageNet/ResNet-50 上,随节点数与 batch size 从 1×128 扩到 6×512,常规 AT 的 RA 与 TA 都出现大幅下降(作者称),说明朴素分布式扩展不可行。
- 论文提出什么:提出 DAT(distributed adversarial training) 大 batch 对抗训练框架,支持有标注/无标注数据、多种攻击生成器和梯度压缩;理论上给出非凸设定下收敛到一阶驻点的 O(1/√T) 速率;实验覆盖 ImageNet 鲁棒训练、随机平滑、半监督、预训练+微调和多种通信协议。
- 威胁模型:
- 攻击者目标:对输入加 l∞ 范数有界(半径 ε)的扰动,改变分类结果。
- 知识与能力:评测用 PGD(CIFAR 20 步、ImageNet 10 步)与 AutoAttack;训练侧用 PGD 或单步 FGSM 生成扰动。
- 受害系统:图像分类 DNN(ResNet-18/50、Wide ResNet-28-10),防御方为训练方。
有哪些相关研究?
相关工作分三组:AT 及其加速变体、分布式大 batch 训练与通信压缩、分布式 min-max 优化;作者称本文是首个系统研究大 batch 分布式 min-max 鲁棒训练的工作。
鲁棒分类器训练
- AT(Madry et al., 2017):首个基于 min-max 优化的防御,是本文要分布式化的对象;由此衍生出 TRADES(Zhang et al., 2019b)、分布鲁棒训练(Sinha et al., 2018)、半监督鲁棒训练(Carmon et al., 2019; Stanforth et al., 2019)等。
- 快速 AT 变体:Free AT(Shafahi et al., 2019)、YOPO(Zhang et al., 2019a)、FGSM-based Fast AT(Wong et al., 2020)通过简化内层最大化提速,但作者指出它们为集中式训练设计,且 Fast AT 有稳定性问题。
- 多机扩展 AT 的尝试:Xie et al., 2019、Kang et al., 2019、Qin et al., 2019 做了经验性扩展,作者批评其局限于特定用例、缺乏"何时以及分布式为何有帮助"的理论与实践研究。
分布式模型训练
- 大 batch 训练:Dean et al., 2012、Goyal et al., 2017 等证明分布式优化对标准训练有效;You et al., 2017b/2018/2019 提出随 batch 增大调整学习率、逐层自适应学习率(LARS/LAMB),作者称本文把这一思路引入 DAT。
- 通信高效优化:QSGD(Alistarh et al., 2017)、double quantization(Yu et al., 2019)、signSGD(Bernstein et al., 2018)等用梯度量化/稀疏化降低通信开销,本文的量化器取自 Alistarh et al., 2017 与 Yu et al., 2019。
分布式 min-max 优化
- Srivastava et al., 2011、Tsaknakis et al., 2020、Liu et al., 2019a/b 等研究了分布式 min-max 或去中心化 GAN 训练;作者指出这些工作都没有研究大 batch min-max 优化及其在鲁棒 DNN 训练上的应用,且鲁棒训练需要对每个样本做内层最大化,与 GAN 的经验最大化本质不同。
基线与基准:实验基线为 AT、Fast AT、DAT w/o LALR、DAT-LSGD(Xie et al., 2019);数据集为 ImageNet、CIFAR-10/100、80 Million Tiny Images;另与 RobustBench(Croce et al., 2020)上 Carmon et al., 2019 的报告值对比。
定位:作者称本文给出通用 DAT 框架,并在标准优化条件下证明其收敛速率与仅做最小化的 SGD 经典速率一致,是此前缺失的大 batch min-max 收敛分析。
论文如何解决这个问题?
DAT 在参数服务器框架下组合样本级攻击生成、可选梯度量化与逐层自适应学习率(LALR),并给出非凸收敛分析。
整体思路:把 AT 的 min-max 问题写成跨 M 台 worker 的分布式鲁棒目标,用参数服务器架构分解计算,再用 LALR(layerwise adaptive learning rate) 解决大 batch 带来的 min-max 优化困难,并支持梯度量化降低通信开销。
问题设定与形式化
- AT 回顾:标准 AT 求解 minθ 𝔼(x,y) max|δ|∞ ≤ ϵ ℓ(θ, x+δ; y),即对每个样本求最坏扰动下的损失。
- DAT 目标:M 个 worker 各持本地数据 D(i),最小化 (1/M)∑i fi,其中 fi = 𝔼[λ ℓ(θ;x,y) + max|δ|∞≤ϵ ϕ(θ,δ;x,y)];λ≥0 平衡训练损失与鲁棒正则项。M=1、λ=0、φ=ℓ 时退化为 AT。
- 两类设定:有标注数据时 φ 取扰动样本的 CE 损失;无标注数据时用伪标签最坏 CE 损失(Carmon et al., 2019)或 TRADES 正则(Stanforth et al., 2019)。
算法框架(Algorithm 1 / A1)
- Block 1(worker):每个 worker 对 batch 内每个样本调用内层最大化 oracle 生成扰动,计算本地梯度,可选量化后传给服务器。
- Block 2(server):服务器聚合各 worker 梯度(可选二次量化)并广播。
- Block 3(worker):各 worker 用外层最小化 oracle(LAMB)按收到的梯度更新模型;All-reduce 是每 worker 兼任 server 的特例。
关键设计
- LALR:更新式为 θ 按层缩放,τ(‖θ_i‖)=min{max{‖θ_i‖, c_l}, c_u},实验取 c_l=0、c_u=10;作者称逐层自适应学习率平滑优化轨迹,使大学习率在大 batch min-max 下不落入尖锐最优。u_t 由 Adam/LAMB 式动量给出。
- 内层 oracle 两选:迭代式 PGD 或单步 FGSM;选 FGSM 因其计算最轻,论文称其他简化技术也可用但不展开。
- 梯度量化:采用随机量化器(Alistarh et al., 2017; Yu et al., 2019),b bit 量化,支持单侧(Ring-AllReduce)与双侧(参数服务器)量化。
收敛分析
- 假设:A1 逐层 Lipschitz 梯度;A2 φ 关于 δ 强凹且梯度 Lipschitz(作者称可由 Sinha et al., 2018 等论证);A3 随机梯度无界偏差、方差有界 σ²;附录另有 A4 量化误差方差有界。
- 主定理(Theorem 1):在内层 oracle 达 ε-近似解、学习率 η_t∼O(1/√T) 时,DAT 以 O(1/√T) 速率收敛到一阶驻点;误差含四项,分别对应大 batch 收益 O(σ/√MB)、量化误差 min{√d/4^b, d/2^b}、迭代数 T 与内层精度 ε。
- 技术点:作者称难点在于 LALR 的有偏自适应梯度与交替更新误差的非线性耦合,论文提出新的 descent lemma(附录 Lemma 2)处理,并证明大 batch 可补偿逐层归一化带来的偏差。
论文做了哪些实验?
在 ImageNet/ResNet-50 上 DAT-PGD 的 RA 38.45% 接近集中式 AT 的 40.38%,每 epoch 时间从 6022 秒降至 1960 秒;另覆盖随机平滑、半监督、微调与量化消融。
实验设置
- 被测模型:Pre-act ResNet-18(CIFAR)、ResNet-50(ImageNet)、Wide ResNet-28-10(半监督对比)。
- 数据集:ImageNet(监督 DAT);CIFAR-10 + 80 Million Tiny Images 中 500K 无标注图(半监督);CIFAR-10/100 作微调目标数据集。
- 基线:AT、Fast AT(均为集中式)、DAT w/o LALR、DAT-LSGD(Xie et al., 2019)。
- 训练参数:训练 ε=8/255(CIFAR)、2/255(ImageNet);PGD 生成 10 步(CIFAR)、4 步(ImageNet);100 epoch(CIFAR-10)、30 epoch(ImageNet);ImageNet 用 6×512=3072 batch、36 GPU。
- 评测:RA 对 PGD(CIFAR 20 步、ImageNet 10 步,ε 同训练),AA 对 AutoAttack,TA 为标准精度;全部实验跑 3 个随机种子取均值。
- 通信协议:Ring-AllReduce(单侧量化)、参数服务器(双侧量化)、HPC(不量化);节点间 1Gbps 以太网。
主结果
Table 1(ImageNet, ResNet-50,6×6 配置,batch 6×512;AT/Fast AT 为 1×6、batch 512):
表格较宽,可左右滑动
Method TA (%) RA (%) AA (%) C (s) T (s) AT 62.70 40.38 37.46 NA 6022 DAT-PGD w/o LALR 57.09 34.02 30.98 865 1932 DAT-PGD 63.75 38.45 36.04 898 1960 Fast AT 58.99 40.78 37.18 NA 1544 DAT-FGSM w/o LALR 55.04 35.03 32.16 863 1080 DAT-FGSM 58.02 40.27 36.02 859 1109 - 作者解读:不加 LALR 的直接分布式化使 RA/TA 大幅下降;加 LALR 后 DAT-PGD/DAT-FGSM 与集中式 AT/Fast AT 相当,且训练提速。
- 加速来源:作者计算 DAT-PGD 排除通信后的计算加速比为 6022/(1960−898)=5.67,接近 6× 理想值;未达线性加速主要因通信开销。
- FGSM 的代价:DAT-FGSM 比 DAT-PGD 标准精度低约 5%,RA 方差约 1.5%(DAT-PGD 约 0.5%),作者称 FGSM 训练更不稳定,与 Li et al., 2020 一致。
扩展性与攻击强度
- Figure 2:DAT-FGSM 与 DAT-LSGD 在 1×6、3×6、6×6 配置下对比,作者称 DAT 随节点数扩展更平稳、精度损失更小;并指出本文设置更难(36 GPU、每 GPU batch 85,而 Xie et al. 用 128 GPU、每 GPU batch 32、训练 30 步 PGD)。
- Figure 3:在 ImageNet/ResNet-50 上,DAT-PGD、DAT-FGSM 与 AT 在不同扰动大小(横轴 0–10,除数 255)和不同 PGD 步数(0–30)下的 RA 曲线;作者称 DAT 在各 ε 与步数下都与 AT 持平。
随机平滑认证鲁棒(Table 2)
- 设置:CIFAR-10/ResNet-18,Smooth-AT 基线 N=2 个噪声副本,Smooth-DAT 用 N=20;σ=0.12 与 0.25 两档,评估各 l2 半径 r 的认证精度(CA)。
- 结果:σ=0.12 时 DAT(N=20)在 r=0.05 处 CA 为 0.838(基线 0.832),各半径均略高于基线;σ=0.25 时 r=0.5 处 DAT 为 0.514(基线 0.498)。
- 作者解读:DAT 使大 N 的 Smooth-AT 可行,从而提升认证鲁棒性;CA 随 r 增大而下降,大 σ 在大小半径间存在权衡(与 Cohen et al., 2019 一致)。
半监督与预训练微调
- 半监督(Table 3):CIFAR-10 + 500K 无标注 Tiny Images,12 机各 1 GPU。ResNet-18(batch 12×2048):DAT-PGD TA 87.00/RA 47.34/AA 45.23;Wide ResNet-28-10(batch 12×128):DAT-PGD TA 89.37/RA 62.06/AA 58.35,作者称接近 RobustBench 上 Carmon et al., 2019 的 89.69% TA 与 59.53% AA。
- 预训练+微调(Figure 4):ImageNet 上 DAT 预训练的 ResNet-50 微调到 CIFAR-10/100,作者称 3 个 epoch 内 TA 与 RA 即快速超过从头训练(无预训练)的对照。
其他消融与分析
- 量化(Table 4,ImageNet/ResNet-50):DAT-PGD 32→16→8 bit(单侧)RA 为 38.45→38.40→37.90;8-bit 双侧降到 34.59;DAT-FGSM 8-bit 双侧 RA 33.20,作者称 DAT-FGSM 对量化更敏感。
- HPC:NVLink/IB 互联下 DAT-PGD 通信时间从 898 秒降到 15 秒且 RA 38.55 无损(Table 4)。
- 循环学习率(Figure A1):Fast AT + CLR 在 CIFAR-10/ResNet-18 上随 batch 从 128 增至 12288 精度明显变差,作者称因大 batch 下迭代数不足以走完循环调度,故 DAT 改用分段衰减与 early-stop。
- 8-bit 量化补充:正文称 8-bit DAT 的 RA 仅比 32-bit 低 0.55%(对应 Table 4 单侧量化行)。
有什么可以进一步探索的点?
作者仅指出未来可考察极端训练情形下的加速;实验覆盖限于图像分类、l∞ 扰动与三种模型架构。
作者指出的局限与后续方向
- 极端情形的加速(Conclusions):作者称未来值得考察 DAT 在极端训练情形下的加速效果,例如使用显著更多的攻击步数和分布式机器、以及极大的模型。
- 论文未设专门 Limitations 节,以上为结论中唯一明确写出的后续方向。
实验覆盖范围
- 被测模型:Pre-act ResNet-18、ResNet-50、Wide ResNet-28-10 共 3 种架构,均为图像分类网络(Sec 6.1)。
- 数据集与任务:ImageNet、CIFAR-10/100、80 Million Tiny Images;场景含监督 AT、半监督 AT、随机平滑认证鲁棒、预训练+微调(Sec 6)。
- 扰动与攻击:训练与评测均为 l∞ 扰动(ε=8/255 或 2/255);评测攻击为 PGD(最多 30 步,Figure 3)与 AutoAttack;认证鲁棒为 l2 半径(Table 2)。
- 规模上限:最大 36 GPU(6 节点×6 V100)、batch 3072;半监督用 12 机各 1 GPU;HPC 实验用 57 节点集群中的 6 个(附录 4.2)。
- 重复次数:所有实验 3 个随机种子取均值(Sec 6.1);论文未报告 DAT 与基线间差异的统计显著性检验。
总结一下论文的主要内容
DAT 把对抗训练扩展到分布式多机:LALR 解决大 batch min-max,ImageNet 上 RA 与 AT 相当且每 epoch 快约 3 倍。
一篇关于鲁棒训练系统化的论文:把对抗训练(AT)从单机扩展到分布式多机大 batch 设置,同时保持精度并给出收敛保证。
- 问题:AT 计算密集难扩展;Figure 1 显示朴素放大 batch 后 AT 的 RA/TA 大幅下降,已有快速 AT 与多机尝试各有缺陷。
- 方法:提出 DAT 框架——参数服务器架构下各 worker 用 PGD 或单步 FGSM 生成样本级扰动、可选随机梯度量化,服务器聚合,外层用 LAMB 式逐层自适应学习率(LALR)更新;理论上证明非凸设定下以 O(1/√T) 收敛到一阶驻点,误差分解出大 batch 收益、量化误差与内层 oracle 精度项。
- 主结果(Table 1,ImageNet/ResNet-50,6×6):DAT-PGD 的 RA 38.45%、TA 63.75%,接近集中式 AT 的 40.38%/62.70%;每 epoch 总时间 1960 秒对 AT 的 6022 秒,作者算得排除通信后计算加速 5.67 倍。
- 扩展场景:半监督 DAT 在 Wide ResNet-28-10 上 AA 58.35%,作者称接近 RobustBench 报告的 59.53%;Smooth-DAT(N=20)认证精度高于 N=2 基线;ImageNet 预训练+微调 3 epoch 内超过从头训练。
- 代价与例外:DAT-FGSM 比 DAT-PGD 的 TA 低约 5%、RA 方差约 1.5%;8-bit 双侧量化使 DAT-PGD 的 RA 从 38.45% 降到 34.59%。
- 作者结论:DAT 通用(支持有/无标注、多攻击生成器、梯度压缩)且有收敛保证;未来值得在更多攻击步数、更多机器和更大模型的极端情形下检验加速效果。