用输入多样性提升对抗样本的迁移性

1. 01这篇论文试图解决什么问题？

   解决迭代式对抗攻击生成的对抗样本在黑盒模型上迁移性差的问题。

   核心问题：如何生成在 white-box 和 black-box 设定下都有高成功率的对抗样本。

   • 问题场景：CNN 在图像分类等任务上表现好，但对人眼不可察觉的加性扰动（对抗样本）很脆弱；作者认为研究生成对抗样本有助于考察模型鲁棒性和训练算法的不足。
   • 现有方法的不足：按论文说法，迭代攻击（如 I-FGSM）白盒成功率高但容易过拟合特定网络参数、黑盒迁移差；单步攻击（如 FGSM）则欠拟合、白盒成功率低，迁移性略好。两者存在权衡。
   • 核心观察：数据增强能防止训练过拟合；已有工作显示图像变换可防御对抗样本，说明对抗样本在不同变换下泛化差。作者据此假设：变换后的对抗样本是攻击者的"hard examples"，可用于生成迁移性更强的样本。
   • 论文提出的方法：在迭代攻击的每一步以概率 p 对输入施加随机可微变换（随机缩放、随机填充），提出 DI2-FGSM 及其与动量结合的 M-DI2-FGSM，并结合多模型集成攻击。
   • 威胁模型：
     • 目标：生成的对抗样本在白盒模型和黑盒模型上都使预测标签改变。
     • 知识：black-box 设定下攻击者对模型结构和参数没有了解（no knowledge of the model structure and parameters）；white-box 设定下攻击者完全知道网络结构和权重。
     • 能力：在本地模型上迭代生成扰动，扰动受 l∞ 范数约束（实验中 ε=15，作者称对人眼仍不可察觉）。
     • 受害系统：ImageNet 分类网络（正常训练与对抗训练）及 NIPS 2017 对抗竞赛的防御方案。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三类：对抗样本生成方法、防御方法，以及与本文最接近的 EOT。

   对抗样本生成

   • Szegedy et al. [36] 指出 CNN 对对抗样本脆弱，提出 box-constrained L-BFGS；Goodfellow et al. [11] 提出单步的 FGSM；Kurakin et al. [16, 17] 将其扩展为迭代版本 I-FGSM，并展示物理世界中的对抗样本。
   • Dong et al. [9] 提出基于动量的迭代攻击 MI-FGSM 提升迁移性；Liu et al. [21] 通过同时攻击模型集成提升迁移性。这两条是本文直接对比和组合的基线。
   • 对抗样本也存在于目标检测、语义分割、语音识别、深度强化学习等任务；Nguyen et al. [25] 生成人眼不可识别但被 CNN 高置信分类的 fooling images。

   防御方法

   • 对抗训练 [11, 17] 与集成对抗训练 [37]：把对抗样本注入训练数据；Tramèr et al. [37] 指出此类模型仍易受攻击。
   • 推理时随机图像变换 [38, 12]、随机激活剪枝 [8]、pixel deflection 加小波去噪 [27]、用生成模型净化对抗图像 [24, 33, 29]。

   与 EOT 的关系

   • 作者指出 input diversity 与 EOT [2] 相关，并列出三点区别：本文主要关注 black-box 设定而 EOT 关注 white-box；本文旨在缓解攻击中的过拟合，EOT 旨在让对抗样本对变换鲁棒、未讨论过拟合；本文每次迭代不做 expectation 步骤，而 expectation 是 EOT 的核心。

   基线与基准：对比基线为 FGSM、I-FGSM、MI-FGSM（均在 cleverhans 库 [26] 中实现）及 C&W 攻击 [4]；评测基准为 ImageNet 验证集子集和 NIPS 2017 对抗竞赛 [18] 的 top-3 防御与官方基线。

   作者将本文定位为：把原本用于防御的随机变换引入攻击过程以缓解过拟合，并可与动量、集成攻击组合，希望作为评估网络鲁棒性和防御有效性的基准基线。

   收起这一问

3. 03论文如何解决这个问题？

   在迭代攻击每步以概率 p 对输入做随机缩放与填充，再对变换后输入求梯度，缓解对单个网络的过拟合。

   整体思路：把数据增强的思想搬进攻击过程——在 I-FGSM 的每次迭代中，以概率 p 对当前对抗样本施加随机可微变换，对变换后的输入最大化损失，从而生成对变换鲁棒、迁移性更强的对抗样本。方法名为 DI2-FGSM，与动量结合为 M-DI2-FGSM。

   问题形式化

   • 给定图像 X、真实标签 y_true、网络参数 θ，目标是最大化损失 L(X+r, y_true; θ)，约束为扰动 r 满足 l∞ 范数 ||r||∞ ≤ ε，且预测标签 y_adv ≠ y_true。
   • 损失函数为交叉熵：L(X, y_true; θ) = −1_ytrue · log(softmax(l(X; θ)))，其中 l(X; θ) 是 logits 输出。

   动机：迭代攻击的过拟合

   • 作者分析：单步攻击（FGSM）因对损失的线性近似不准确而欠拟合，白盒成功率低；迭代攻击（I-FGSM）每步沿梯度符号贪心扰动，容易陷入差的局部极大值、过拟合特定参数 θ，生成的样本很少迁移到黑盒模型。
   • 作者据此提出：需要更好的优化方式来缓解过拟合；已有工作显示简单图像变换能让对抗样本失效，说明变换后的对抗样本可作为更好的优化样本。

   DI2-FGSM 与 M-DI2-FGSM

   • DI2-FGSM：在 I-FGSM 每步以概率 p 应用变换 T(·)，更新式为 X^adv_n+1 = Clip^ϵ_X {X^adv_n + α · sign(∇_X L(T(X^adv_n; p), y_true; θ))}，其中 T 以概率 p 返回变换后的图像、以概率 1−p 返回原图。
   • 变换实例：随机缩放（把输入缩放到随机尺寸）加随机填充（在周围随机补零）[38]；作者称也试过旋转、翻转，随机缩放加填充的迁移性最好。
   • p 的作用：p 控制白盒与黑盒成功率的权衡；p=0 时退化为 I-FGSM，p=1 时黑盒成功率更高但白盒成功率下降（攻击者看不到原始输入）。
   • M-DI2-FGSM：把动量项的梯度替换为对变换后输入的梯度，即 gn+1 = µ·gn + ∇L(T(Xn; p)) / ||∇L(T(Xn; p))||1；作者称动量与输入多样性是两种不同的抗过拟合方式，可自然组合。

   攻击间的关系与集成攻击

   • 通过参数设置可互相退化（Figure 2）：p=0 时 M-DI2-FGSM 退化为 MI-FGSM、DI2-FGSM 退化为 I-FGSM；µ=0 时 M-DI2-FGSM 退化为 DI2-FGSM；迭代数 N=1 时 I-FGSM 退化为 FGSM。
   • 集成攻击：沿用 [21, 9] 的策略，融合 K 个模型的 logits：l(X) = Σ wk·lk(X; θk)，wk ≥ 0 且和为 1；作者认为对多个网络仍为对抗的样本更可能迁移到其他网络。

   实现参数

   • 步长 α=1，总迭代数 N=min(ε+4, 1.25ε)，最大扰动 ε=15；动量衰减因子 µ=1；变换概率 p=0.5；输入先随机缩放到 rnd×rnd×3（rnd ∈ [299, 330)），再随机填充到 330×330×3。

   收起这一问

4. 04论文做了哪些实验？

   在 ImageNet 5000 张图、7 个网络上测单模型与集成攻击，并复现 NIPS 2017 竞赛 top 防御评测迁移性。

   实验设置

   • 被测网络：4 个正常训练网络 Inception-v3 (Inc-v3)、Inception-v4 (Inc-v4)、Resnet-v2-152 (Res-152)、Inception-Resnet-v2 (IncRes-v2)；3 个对抗训练网络 Inc-v3ens3、Inc-v3ens4、IncRes-v2ens [37]。
   • 数据集：从 ImageNet 验证集随机选 5000 张被所有被测网络分类正确的图像，统一缩放到 299×299×3。
   • 基线攻击：FGSM、I-FGSM、MI-FGSM（cleverhans 实现）；另在 1000 张图上测 C&W 与 D-C&W（C&W 参数：最大迭代 250、学习率 0.01、confidence 10）。
   • 指标：攻击成功率（预测标签改变的比例）；对角块为 white-box、非对角块为 black-box。
   • 参数：α=1，N=min(ε+4, 1.25ε)，ε=15，µ=1，p=0.5；集成攻击时 6 个模型等权 wk=1/6。
   • NIPS 2017 竞赛复现：top-3 防御 TsAIL、iyswim、Anil Thomas 与 3 个官方基线 Inc-v3adv、IncRes-v2ens、Inc-v3；按竞赛流程把 5000 张图分 50 批，每批 ε 随机取自 {4/255, 8/255, 12/255, 16/255}；攻击 8 模型集成（前 7 个等权 1/7.25，Inc-v3adv 权重 0.25/7.25），N=10，µ=1，DI2 类方法 p=0.4。

   主结果

   单模型攻击（在 4 个正常训练网络上分别生成，测全部 7 个网络，据 Table 1）：

   表格较宽，可左右滑动

   生成模型	攻击	Inc-v3	Inc-v4	IncRes-v2	Res-152	Inc-v3ens3	IncRes-v2ens
   Inc-v3	I-FGSM	99.9%	14.8%	11.6%	8.9%	3.3%	1.5%
   Inc-v3	M-DI2-FGSM	99.9%	63.9%	59.4%	47.9%	14.3%	7.0%
   Inc-v4	I-FGSM	22.0%	99.9%	13.2%	10.9%	3.2%	1.7%
   Inc-v4	M-DI2-FGSM	72.4%	99.5%	62.2%	52.1%	17.6%	8.8%
   IncRes-v2	I-FGSM	22.2%	17.7%	97.9%	12.6%	4.6%	2.5%
   IncRes-v2	M-DI2-FGSM	71.2%	67.4%	96.1%	57.4%	25.1%	14.9%
   Res-152	I-FGSM	20.8%	17.2%	14.9%	99.1%	5.4%	2.8%
   Res-152	M-DI2-FGSM	78.9%	76.5%	74.8%	99.2%	35.2%	19.0%

   （省略 Inc-v3ens4 列与 FGSM、DI2-FGSM、MI-FGSM 行；完整数据见 Table 1。）

   • 作者称 M-DI2-FGSM 在所有黑盒模型上大幅优于其他基线攻击，白盒成功率保持高水平。
   • 单独看输入多样性：DI2-FGSM 相比 I-FGSM 在黑盒模型上成功率更高（无论是否对抗训练），白盒成功率保持；例如 Res-152 上生成时，DI2-FGSM 对 Inc-v3 为 53.8%、对 Inc-v3ens4 为 11.1%，I-FGSM 对应为 20.8% 和 4.6%。
   • 作者称对黑盒对抗训练网络的攻击仍相对较弱：单模型攻击时 IncRes-v2ens 上最高黑盒成功率只有 19.0%。

   集成攻击（Table 3）

   • 设置：在 6 个模型的集成上生成，测集成网络（white-box）与留一网络（hold-out，black-box）。
   • 结果：黑盒设定下 M-DI2-FGSM 在所有留一网络上最高，例如留一 Inc-v3 时 80.7%（I-FGSM 43.7%、DI2-FGSM 69.9%、MI-FGSM 71.4%），留一 Inc-v3ens3 时 44.6%（I-FGSM 12.9%、DI2-FGSM 36.3%、MI-FGSM 22.8%）。
   • 例外：白盒设定下 DI2-FGSM 与 M-DI2-FGSM 略低于 I-FGSM 和 MI-FGSM（如留一 Inc-v3 时集成上 90.1% 对 96.6%）；作者解释为同时攻击多个网络更难，并称可通过减小 p、增大 N 或减小 α 改善。

   C&W 与 NIPS 2017 竞赛

   • D-C&W（Table 2）：在 1000 张图上，D-C&W 相比 C&W 在黑盒模型上成功率更高，例如 Inc-v3 上生成、迁移到 Inc-v4 从 5.7% 升至 16.8%；白盒成功率维持 100.0%。作者称输入多样性可推广到 FGSM 族之外的攻击。
   • NIPS 2017（Table 4）：M-DI2-FGSM 平均成功率 73.0%，高于 I-FGSM 62.4%、DI2-FGSM 68.1%、MI-FGSM 66.4% 及竞赛官方报告的 MI-FGSM* 64.2%；作者称超出竞赛 top-1 攻击提交 6.6%。分防御看，M-DI2-FGSM 在 TsAIL 上 20.0%、iyswim 上 69.8%、Anil Thomas 上 64.4%。
   • 实现校验：MI-FGSM 复现结果 66.4% 与官方 MI-FGSM* 的 64.2% 存在差异，作者归因于攻击过程中最大扰动幅度的随机性。

   其他消融与分析

   • 变换概率 p（Figure 4）：p 增大时黑盒成功率升、白盒成功率降；p 较小时黑盒成功率上升而白盒下降不多（集成攻击设定）。
   • 迭代数 N（Figure 5）：N 从 15 到 31，DI2-FGSM 白盒与黑盒成功率均上升；M-DI2-FGSM 趋势类似，但在对抗训练模型上的黑盒成功率不随迭代增加而提升，且两种方法的差距随 N 增大而缩小。
   • 步长 α（Figure 6）：p=0.5、N=ε/α；更小的 α 提升白盒成功率；黑盒下 DI2-FGSM 对 α 不敏感，M-DI2-FGSM 随 α 减小仍有提升。
   • 可视化（Figure 3）：展示 5 对随机选取的干净图像与对抗样本（Inc-v3 上 DI2-FGSM，ε=15），作者称扰动人眼不可察觉。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者提出迁移性成因的假设待验证；实验覆盖 7 个 ImageNet 分类网络与 NIPS 2017 竞赛防御。

   作者指出的局限与后续方向

   • 对方法成因的解释仅为假设（Sec. 4.6 Discussion）：作者提出一个假说——不同网络因在相同数据集（如 ImageNet）上训练而决策边界有相似的内在结构，input diversity 让对抗样本对小变换更鲁棒、在决策边界附近的一个区域内都有效，从而更容易骗过其他网络；作者明确表示计划未来从理论上或实验上验证该假设。
   • 对黑盒对抗训练网络的攻击仍较弱（Sec. 4.3）：作者写道，单模型攻击时对对抗训练网络的黑盒成功率仍相对低（IncRes-v2ens 上最高 19.0%），因此采用集成攻击进一步提升迁移性。
   • 论文未设专门的 Limitations 章节，以上两条是作者在 Discussion 与实验分析中明确写出的不足与后续方向。

   实验覆盖范围

   • 被测模型为 7 个 ImageNet 分类网络：4 个正常训练（Inc-v3、Inc-v4、Res-152、IncRes-v2）和 3 个对抗训练（Inc-v3ens3、Inc-v3ens4、IncRes-v2ens），NIPS 2017 实验另加 Inc-v3adv（Sec. 4.1、4.5）。
   • 数据为 ImageNet 验证集中 5000 张被所有被测网络分类正确的图像；C&W 实验用其中 1000 张（Sec. 4.1、4.2）。
   • 防御评测为 NIPS 2017 竞赛 top-3 防御方案（TsAIL、iyswim、Anil Thomas）与 3 个官方基线；作者注明因资源限制只考虑 top-3 防御（Sec. 4.5）。
   • 攻击参数：ε=15（NIPS 实验为每批随机 ε），p=0.5（NIPS 实验 p=0.4），µ=1，α=1，N=min(ε+4, 1.25ε)（Sec. 4.1、4.5）。
   • 论文未报告每次实验的重复次数或方差；集成攻击的消融只在集成设定下进行（Sec. 4.4）。

   收起这一问

6. 06总结一下论文的主要内容

   在迭代攻击中引入随机输入变换以缓解过拟合，提升对抗样本的黑盒迁移性。

   一篇关于对抗样本迁移性的攻击论文：作者针对迭代攻击在白盒上成功率高、黑盒上迁移差的问题，提出把随机图像变换引入攻击过程。

   • 方法：DI2-FGSM 在 I-FGSM 每次迭代时以概率 p 对输入做随机缩放与随机填充，对变换后的输入求梯度；与动量结合为 M-DI2-FGSM，并可同时攻击多个模型的集成。作者称随机缩放加填充比旋转、翻转的迁移性更好。
   • 单模型攻击（Table 1）：在 ImageNet 5000 张图、7 个网络上，M-DI2-FGSM 黑盒成功率高于 FGSM、I-FGSM、MI-FGSM，例如 Inc-v3 上生成、迁移到 Inc-v4 为 63.9%（I-FGSM 14.8%）；白盒成功率保持 99.5%–99.9%。
   • 集成攻击（Table 3）：留一黑盒设定下 M-DI2-FGSM 在所有网络上最高，如留一 Inc-v3 为 80.7%、留一 Inc-v3ens3 为 44.6%；白盒集成上略低于 I-FGSM/MI-FGSM。
   • NIPS 2017 竞赛（Table 4）：M-DI2-FGSM 对 top-3 防御与官方基线的平均成功率 73.0%，作者称超出竞赛 top-1 攻击提交 6.6%。
   • 遗留问题：作者称对黑盒对抗训练网络的攻击仍较弱（单模型时 IncRes-v2ens 最高 19.0%）；对方法为何有效的解释只是假设，作者计划未来验证。作者希望该攻击可作为评估网络鲁棒性和防御有效性的基准基线。

   收起这一问

相关论文