CAT：定制化对抗训练提升神经网络鲁棒性

1. 01这篇论文试图解决什么问题？

   作者认为对抗训练的固定扰动半径与 one-hot 标签假设损害泛化，提出按样本定制扰动与标签的 CAT。

   核心问题：标准对抗训练假设所有样本共享一个固定的大扰动半径 ε 并拟合 one-hot 标签，作者认为这一假设导致干净和鲁棒准确率都不理想。

   • 问题场景：对抗训练是提升神经网络对抗鲁棒性的主流方法，但作者指出其在干净数据和扰动数据上的泛化都较差，存在已知的鲁棒性-准确率权衡（论文引 Su et al., 2018; Tsipras et al., 2019）。
   • 现有方法的不足：作者称，统一的大 ε 会让分类器放弃靠近决策边界的样本，扭曲决策面（Figure 1 的线性可分示例）；且大扰动后仍强迫输出 one-hot 标签不合理——样本被扰动到边界时理想输出应是 [0.5, 0.5]。已有工作（Ding et al., 2018; Balaji et al., 2019）只处理了 ε 的非均匀问题，未结合定制标签。
   • 核心观察：Table 1 显示在 CIFAR-10 VGG-16 上以 ε=0.03 训练时训练误差近零但测试鲁棒准确率降到 66.04%（ε=0.01 训练时为 69.79%），作者据此认为统一大 ε 即使训练误差完美也会加大泛化差距。
   • 论文提出的方法：Customized Adversarial Training（CAT），在训练过程中为每个样本动态调整扰动强度 εi 和对应的目标标签，并给出泛化理论分析；作者称额外计算开销可忽略。
   • 威胁模型：
     • 攻击者目标：在测试时对输入施加扰动使模型误分类（非定向攻击）。
     • 扰动约束：l∞ 范数球，标准评测半径 8/255。
     • 攻击者知识：评测覆盖白盒攻击（PGD、C&W）和黑盒迁移攻击（从自然模型生成对抗样本迁移到目标模型）。
     • 受害系统：CIFAR-10 上的 VGG-16、Wide ResNet 和 Restricted-ImageNet 上的 ResNet-50 图像分类器。

   收起这一问

2. 02有哪些相关研究？

   相关工作分对抗攻击、对抗训练改进、其他防御三组；基线为 Madry 对抗训练与 TRADES，另与 7 种方法比数值。

   对抗攻击

   • 梯度类白盒攻击：FGSM（Goodfellow et al., 2015）、C&W（Carlini & Wagner, 2017）、PGD（Madry et al., 2018）。
   • 黑盒攻击：软标签（Chen et al., 2017; Ilyas et al., 2018）与硬标签（Brendel et al., 2017; Cheng et al., 2018; 2020）设置，论文称质量接近白盒攻击；另有物理攻击（Eykholt et al., 2018）。

   对抗训练及其改进

   • Goodfellow et al. (2015) 用 FGSM 样本做数据增强；Kurakin et al. (2017) 用多步 FGSM；Madry et al. (2018) 将对抗训练形式化为 min-max 问题并用 PGD 求解内层最大化。
   • TRADES（Zhang et al., 2019b）最小化理论上界，获 NeurIPS 2018 防御竞赛第一名；Ding et al. (2018) 区分正确与误分类样本（MMA）；Wang (2020) 用预测概率平滑结合两类样本（MART）；Wang (2019) 同时寻找对抗扰动与对抗标签（Bilateral Adv Training）。
   • 加速对抗训练的工作：Shafahi et al. (2019)、Zhang et al. (2019a)、Wong et al. (2020)。论文指出当前防御模型仍不理想，干净与鲁棒误差都有提升空间。

   其他防御

   • Gaussian 数据增强（Zantedeschi et al., 2017）、随机平滑（Liu et al., 2018; Cohen et al., 2019）、Mixup 及其变体（Zhang et al., 2018 等）、标签平滑（Shafahi et al., 2018; Goibert & Dohmatob, 2019）。
   • 论文指出其中部分方法被证明只造成梯度混淆而非真实鲁棒性（Athalye et al., 2018），而对抗训练类方法在不同攻击下仍被证明鲁棒。

   基线与对比设置

   • 直接对比的基线方法：Adversarial training（Madry et al., 2018）、TRADES、Natural training；在 CIFAR-10 + Wide ResNet 这一标准设置上另与 7 种已发表方法（Dynamic adversarial training、Bilateral Adv Training、MMA、MART、IAAT 等）比较论文报告数值（Table 3）。

   本文定位：作者称 MMA 与 IAAT 同样有样本级自适应 ε，但未考虑自适应标签，只能提升干净准确率而鲁棒准确率提升有限；CAT-CE 在 c=0 时退化为 IAAT，MMA 可视为 CAT-CE 用线搜索且 c=0 的特例（Section 3.6）。

   收起这一问

3. 03论文如何解决这个问题？

   CAT 交替更新样本级扰动半径 εi 与模型参数，并按 εi 对标签做自适应平滑，可选混合损失。

   整体思路：把对抗训练内层最大化的固定 ε 改为每样本自适应的 εi，并把 one-hot 标签替换为随 εi 增大而更平滑的目标标签，构成 Customized Adversarial Training（CAT）。

   问题设定

   • 标准对抗训练为 min-max 问题：min_θ 1/n∑_i max_{x′i ∈ B(xi, ϵ)} ℓ(f_θ(x′_i), y_i)，即在 ε 球内找损失最大的对抗样本再最小化损失；本文采用 l∞ 球。
   • 内层最大化无闭式解，用多步 PGD 近似求解。

   样本级自适应 ε（Section 3.3）

   • 理想定义为每个样本取使攻击恰好失败的最大 εi（公式 (2)），精确求解需暴力搜索，作者改用简化更新规则。
   • 更新规则：εi 从 0 开始，每轮以 εi+η 做 PGD 攻击；攻击成功则保持 εi，失败则 εi 增加 η；攻击结果同时用于更新模型参数，因此几乎无额外开销；εi 设上限 εmax。

   自适应标签不确定性（Section 3.4）

   • 将标签平滑与 εi 绑定：ỹ_i = (1 − cϵ_i)y_i + cϵ_i Dirichlet(1)，即扰动容忍越大标签不确定性越高，c 为超参数；用 Dirichlet(1) 采样替代均匀分布以防过拟合。
   • 作者认为非均匀 εi 会给损失引入不同偏置，这可能是纯自适应 ε 方法效果不佳的原因之一。

   损失函数与算法流程

   • CAT-CE 用交叉熵；CAT-MIX 在交叉熵外加入 C&W 型间隔项 max{max_{i≠y0}[Z(x)]i − [Z(x)]y0, −κ}，作者称平滑技巧训练的模型对 PGD 的防御好于对 C&W∞，故用混合损失增强对 C&W∞ 的防御。
   • Algorithm 1：每轮先临时 εi←εi+η，跑 m 步 PGD（符号梯度、投影到 [−εi, εi]），若得到的样本被误分类则 εi 回退 η，再以 εmax 截断，重算平滑标签后做一步 SGD。
   • 关键超参数（Section 4.1）：攻击迭代 10 步，η=0.005，εmax=8/255，c=10，CAT-MIX 的 κ=10；SGD momentum 0.9、weight decay 5×10⁻⁴。

   理论分析（Section 3.5）

   • 定义双侧间隔（bilateral margin，Definition 3.1）：同时扰动输入层与 softmax 输出使分类出错所需的最小范数。
   • Theorem 3.2（改编自 Wei & Ma, 2019）：总体风险被平均间隔倒数与参数空间覆盖数控制；作者据此解释需兼顾边界样本的间隔，并假设自适应 ε 带来隐式正则。
   • 作者报告以各层权重范数乘积粗测模型复杂度：固定 ε=0.01、0.02、0.03 训练所得 C 分别为 CAT 模型的 2.54、3.53、1.39 倍。

   收起这一问

4. 04论文做了哪些实验？

   CIFAR-10 上 CAT-CE 干净 93.48%、PGD 73.38%，高于 7 种对比方法；迁移攻击与消融支持设计。

   实验设置

   • 被测模型：CIFAR-10 上用 VGG-16 和 Wide ResNet（与 Madry et al., 2018; Zhang et al., 2019b 相同结构）；Restricted-ImageNet 上用 ResNet-50（结果在附录，正文未给数字）。
   • 数据集：CIFAR-10 与 Restricted-ImageNet，论文未写明所用样本规模。
   • 基线：Adversarial training（Madry et al., 2018）、TRADES、Natural training；Wide ResNet 标准设置下另收集 7 种方法论文报告的数字（Dynamic adversarial training、Bilateral Adv Training、MMA、MART、IAAT 等）。
   • 训练设置：所有方法攻击迭代 10 步；对抗训练与 TRADES 用 PGD、ε=8/255、CE 损失；CAT 设 εmax=8/255、η=0.005、c=10，CAT-MIX 的 κ=10。
   • 评测方式：白盒 l∞ 非定向 PGD20（20 步、步长 ε/5）与 C&W∞，均带 random-start；ε=0 时鲁棒准确率即干净准确率；迁移攻击按 Athalye et al. (2018) 的准则，从自然模型生成 10,000 个 CIFAR-10 对抗样本（ε=0.03）攻击目标模型。
   • 重复次数：论文未报告。

   主结果

   Table 3：CIFAR-10 + Wide ResNet，鲁棒准确率均在 8/255 l∞ 球下评测，(∗) 表示测试攻击带 random-restart，(20) 表示 20 步 PGD。

   表格较宽，可左右滑动

   方法	Clean	PGD	C&W
   Natural training	95.93%	0%	0%
   Adversarial training (Madry et al., 2018)	87.30%	52.68%	50.73%
   TRADES (Zhang et al., 2019b)	84.22%	56.40%(20)	51.98%
   Bilateral Adv Training (Wang, 2019)	91.00%	57.5%(∗20)	56.2%(∗20)
   MART (Wang, 2020)	84.17%	58.56%(20)	54.58%
   IAAT (Balaji et al., 2019)	91.34%	48.53%(∗10)	56.80%
   CAT-CE (ours)	93.48%	73.38%(∗20)	61.88%(∗20)
   CAT-MIX (ours)	89.61%	73.16%(∗20)	71.67%(∗20)

   据 Table 3（省略了 Dynamic adversarial training 与 MMA 两行：MMA 的 C&W 列原文为无法辨认的符号）。

   • 作者称 CAT 在该设置下取得最优鲁棒准确率并保持高干净准确率；摘要中给出的对比口径为 CAT 73%/71%（PGD/C&W）对当时最优模型的 58.6%/56.8%。
   • 注意对比方法的攻击设置不完全一致（步数与 random-restart 标记不同），数字为各论文报告的最优值。
   • Figure 2 显示在 VGG 与 Wide ResNet 上、ε 从 0 到 0.07 范围内 CAT-CE 与 CAT-MIX 曲线位于 TRADES、对抗训练、Natural 之上（作者称）；转换文本无法读取具体曲线数值。

   黑盒迁移攻击（Table 4）

   • 测了什么：从自然模型生成 10,000 个对抗样本（ε=0.03）迁移攻击各防御模型，检验是否梯度混淆。
   • 结果：VGG-16 上 Adv train 79.13%、TRADES 83.53%、CAT 86.58%；Wide ResNet 上分别为 85.84%、83.90%、88.66%。
   • 作者解读：CAT 在白盒与迁移攻击下都最有效，说明鲁棒性并非来自梯度混淆。

   消融与攻击强度分析（Figure 4）

   • 自适应标签的重要性：Figure 4b 在 VGG-16/CIFAR-10 上对比 Adv train、Adv+LS（加标签平滑）、Adp-Adv（仅自适应 ε）与 CAT-CE；作者称单独用自适应 ε 或标签平滑都不能明显提升鲁棒准确率，两者结合才有效，并据此解释 CAT 优于 IAAT、MMA 的原因；转换文本无法读取各柱数值。
   • 更多 PGD 迭代：Figure 4a 在 VGG-16 上将 PGD 迭代从 10 增至 500，作者称迭代增多使准确率下降约 2%，但 CAT 始终优于其他方法。
   • 损失景观：Figure 3 按 Engstrom et al. (2018) 的方式可视化损失面，作者称 CAT 的损失面更低更平滑；转换文本只能看到坐标轴刻度，无法核对曲面形态。

   其他分析

   • 模型复杂度：以各层权重范数乘积粗测，固定 ε=0.01、0.02、0.03 训练的模型分别为 CAT 的 2.54、3.53、1.39 倍（Section 3.5），作者据此认为 CAT 有更强隐式正则。
   • 负面结果：Table 1 显示固定大 ε（0.03）训练时测试鲁棒准确率（66.04%）低于 ε=0.01 训练（69.79%），尽管训练误差接近零；这是论文动机部分的证据。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未专门讨论局限；实验限于 CIFAR-10 与 Restricted-ImageNet 上的 l∞ 攻击评测。

   作者指出的局限与后续方向

   • 论文未专门讨论局限，也没有 Limitations 或 Future Work 小节；Conclusion 仅总结方法并称 CAT 保持与标准对抗训练相近的运行时间。

   实验覆盖范围

   • 被测模型为 VGG-16、Wide ResNet（CIFAR-10）和 ResNet-50（Restricted-ImageNet），共 3 个；Restricted-ImageNet 的结果放入附录，正文未给数字，转换文本未包含该附录表格。
   • 攻击评测覆盖白盒 PGD20、C&W∞（均带 random-start）和从自然模型出发的迁移攻击（10,000 个样本，ε=0.03）；威胁模型为 l∞ 范数有界扰动，训练与评测的标准半径为 8/255。
   • 主结果表（Table 3）中对比方法的数字来自各论文报告值，攻击步数与 random-restart 设置不完全一致（如 IAAT 为 (∗10)、MART 为 (20)）。
   • 论文未报告每个实验的重复次数与方差，也未报告人工评估。
   • 效率方面，作者称 CAT 与原始对抗训练速度相当、额外开销可忽略，论文未报告具体的训练耗时数字。

   收起这一问

6. 06总结一下论文的主要内容

   CAT 按样本定制扰动半径与标签，CIFAR-10 Wide ResNet 上 PGD 73.38%、干净 93.48%。

   一篇对抗训练改进论文：针对标准对抗训练对所有样本使用固定大扰动半径并拟合 one-hot 标签的假设，作者提出 Customized Adversarial Training（CAT）。

   • 问题：作者认为统一大 ε 让分类器放弃边界样本、扭曲决策面，且大扰动后强迫 one-hot 输出不合理，导致干净与鲁棒准确率都难以提升。
   • 方法：训练中以 PGD 攻击是否成功为信号自适应调整每个样本的 εi（步长 η=0.005、上限 8/255），并按 εi 大小用 Dirichlet(1) 平滑目标标签（c=10）；CAT-MIX 另加 C&W 型间隔项（κ=10）。改编自 Wei & Ma (2019) 的泛化界把风险与双侧间隔和模型复杂度联系起来。
   • 主结果（CIFAR-10、Wide ResNet、8/255 l∞，Table 3）：CAT-CE 干净准确率 93.48%、PGD(∗20) 73.38%、C&W(∗20) 61.88%；CAT-MIX 的 C&W 为 71.67%。对比方法中 PGD 最高为 MART 的 58.56%，干净准确率最高为 IAAT 的 91.34%。
   • 迁移攻击（Table 4）：CAT 在 VGG-16 与 Wide ResNet 上分别为 86.58% 与 88.66%，高于对抗训练和 TRADES，作者据此认为鲁棒性并非梯度混淆。
   • 消融（Figure 4）：作者称单独的自适应 ε 或标签平滑都不能明显提升鲁棒准确率，两者结合才有效；PGD 迭代增至 500 时准确率约降 2%，CAT 仍优于其他方法。
   • 作者结论：在对抗训练中按样本定制扰动强度和标签是提升干净与鲁棒性能的关键，且计算开销与标准对抗训练相当。

   收起这一问

相关论文