混淆梯度带来虚假安全感：绕过对抗样本防御

1. 01这篇论文试图解决什么问题？

   作者认为许多对抗防御靠混淆梯度制造虚假鲁棒性，并提出相应攻击加以绕过。

   核心问题：许多针对对抗样本的防御看似能抵御迭代优化攻击，作者认为这种表观鲁棒性来自"混淆梯度"（obfuscated gradients）而非真实鲁棒性，这些防御可以被绕过。

   • 问题场景：对抗样本防御常用迭代优化攻击（PGD、Carlini & Wagner 等）做基准评估；当防御让梯度变得不存在、不正确或不可用，基于梯度的攻击就会失败，防御便显得鲁棒。
   • 现有评估的不足：作者称混淆梯度是 gradient masking 的特例，而 gradient masking 已知是不完整的防御；但作者观察到 ICLR 2018 的 9 个非认证白盒防御中有 7 个依赖这一效应。
   • 核心观察：作者把混淆梯度分成三类——shattered gradients（不可微操作或数值不稳定导致梯度不存在或不正确）、stochastic gradients（测试时随机性）、vanishing/exploding gradients（多次迭代网络求值展开成极深计算）。
   • 论文提出：针对三类混淆梯度分别提出攻击技术 BPDA、EOT 和重参数化，并以 ICLR 2018 防御为案例研究，作者称完全绕过 6 个、部分绕过 1 个；同时给出防御评估的建议（第 6 节）。
   • 威胁模型：
     • 攻击者目标：在防御声称的威胁模型内构造对抗样本（如 l∞ 失真 ε=0.031），使模型误分类。
     • 攻击者知识：white-box——完全访问分类器架构、权重和防御细节，但不知道 test-time randomness 的具体取值（只知道分布）。
     • 受害系统：ICLR 2018 接收的 9 个声称白盒鲁棒的非认证防御（含一个检测方法）。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖对抗样本与防御、gradient masking 及作者引用的既有攻击技术。

   对抗样本与防御

   • Szegedy et al. (2013)、Biggio et al. (2013)——发现神经网络易受对抗样本攻击，是防御研究的起点。
   • Goodfellow et al. (2014b)——提出对抗训练；Madry et al. (2018)——用 PGD 求解 min-max 内层最大化做对抗训练，本文将其作为未依赖混淆梯度的防御评估。
   • Na et al. (2018)——级联对抗训练，先用迭代方法生成对抗样本训练第一个模型，再用单步方法训练第二个模型。

   Gradient masking 与既有批评

   • Papernot et al. (2017)——定义 gradient masking（防御"没有可用的梯度"），并指出它是对抗样本的不完整防御；本文的混淆梯度被作者定义为它的特例。
   • Tramèr et al. (2018)——通过学习让梯度指向错误方向来破坏梯度下降；作者将自己的工作与这类"学会破坏梯度"的防御区分开：混淆梯度指防御在设计上必然导致 gradient masking。

   攻击方法来源

   • Kurakin et al. (2016a)、Madry et al. (2018)、Carlini & Wagner (2017c)——迭代优化攻击，本文用 PGD（l∞）和 Carlini & Wagner 的拉格朗日松弛（l2）作为基础攻击。
   • Athalye et al. (2017)——Expectation Over Transformation (EOT)，本文用它攻击随机化防御。
   • Bengio et al. (2013)——straight-through estimator，作者称 BPDA 的特例相当于把它用于构造对抗样本。
   • Carlini & Wagner (2017a)——高置信度对抗样本，本文用它绕过 LID 检测。

   被评估的防御（兼作对比对象）：Buckman et al. (2018) 温度计编码、Guo et al. (2018) 输入变换、Ma et al. (2018) LID 检测、Dhillon et al. (2018) SAP、Xie et al. (2018) 随机化、Song et al. (2018) PixelDefend、Samangouei et al. (2018) Defense-GAN；基准为 MNIST、CIFAR-10、ImageNet。作者略过两个有可证明安全声称的防御（Raghunathan et al., 2018；Sinha et al., 2018）和一个只声称黑盒安全的防御（Tramèr et al., 2018）。

   作者将本文定位为：揭示这些防御的鲁棒性来自混淆梯度这一共同原因，并提供攻击技术与评估清单，帮助未来防御避免同样的评估陷阱。

   收起这一问

3. 03论文如何解决这个问题？

   按三类混淆梯度分别给出 BPDA、EOT、重参数化三种攻击，并给出识别混淆梯度的行为清单。

   整体思路：先给出识别混淆梯度的特征行为，再针对三类成因各提出一种攻击技术，使基于梯度的迭代优化攻击重新可用。方法名：Backward Pass Differentiable Approximation (BPDA)、Expectation Over Transformation (EOT)、重参数化（reparameterization）。

   问题设定与识别

   • 设定：分类器 f(·)，对抗样本 x′ 满足 D(x, x′) 小且 c(x′) ≠ c*(x)；用 l∞（[0,1] 归一化，0.031 对应 8/256）和 l2（按像素数归一化的均方根）度量失真。
   • 识别清单（第 3.1 节，作者称这些行为暗示梯度被混淆）：单步攻击优于迭代攻击；黑盒攻击优于白盒攻击；无界攻击达不到 100% 成功；10^5 次以上的随机采样能找到梯度攻击找不到的对抗样本；增大失真上界不提高成功率。

   BPDA：应对 shattered gradients

   • 特例（straight-through estimator）：防御形如 f̂(x) = f(g(x)) 且 g(x) ≈ x 时，用恒等函数的导数近似 g 的导数：∇_x f(g(x))|_x=x̂ ≈ ∇_x f(x)|_x=g(x̂)，即前向正常计算、反向把 g 换成恒等函数。
   • 一般形式：对不可微层 f^i 找可微近似 g(x) ≈ f^i(x)，前向仍走 f^i，仅反向用 g 替换；作者报告梯度不精确时仍可用，但需要更多迭代，且只在反向替换是必要的（前后都替换对 Song et al. 完全无效、对 Buckman et al. 效果差很多倍）。

   EOT：应对 stochastic gradients

   • 做法：对随机变换 t(·) ~ T 的防御，优化期望 Et~T f(t(x))，利用 ∇E f(t(x)) = E ∇f(t(x))，每步梯度下降用采样近似期望。
   • 参数：攻击 SAP 时每次迭代取 k=10 个随机样本估计梯度；作者称还需处理除以接近 0 的数导致的梯度爆炸这一数值不稳定。

   重参数化：应对 vanishing/exploding gradients

   • 做法：防御含优化循环 g(·) 时，换元 x = h(z) 使 g(h(z)) = h(z) 且 h 可微，从而对 f(h(z)) 直接求梯度，绕开展开成极深网络的求导。

   攻击实现与成功判定

   • 基础攻击：l∞ 用 PGD 限制在 ε 球内，l2 用 Carlini & Wagner (2017c) 的拉格朗日松弛；迭代 100 到 10,000 次直至收敛。
   • 判定：MNIST/CIFAR-10 在整个测试集上生成 untargeted 对抗样本，报告模型准确率；ImageNet 在 1000 张随机测试图上生成随机目标类的 targeted 对抗样本，报告攻击成功率和准确率。每个防御在其原论文的威胁模型下评估。

   收起这一问

4. 04论文做了哪些实验？

   对 ICLR 2018 九个白盒防御逐一攻击，七个依赖混淆梯度，六个被完全绕过、一个部分绕过。

   实验设置

   • 被测对象：ICLR 2018 接收的 9 个声称白盒鲁棒的非认证防御（含 Ma et al. 的 LID 检测方法）；略过 2 个可证明防御和 1 个只声称黑盒安全的防御。
   • 模型：MNIST 用 5 层 CNN（99.3% 准确率）；CIFAR-10 用 Wide ResNet（95% 准确率）；ImageNet 用 InceptionV3（78.0% top-1、93.9% top-5）；Guo et al. 原文用 ResNet-50，作者用 InceptionV3 复现。
   • 数据集与规模：MNIST、CIFAR-10 用整个测试集（untargeted）；ImageNet 用 1000 张随机测试图（targeted，随机目标类）。
   • 指标：模型准确率（越低越易被攻击）、攻击成功率；失真用 l∞（ε=0.031 或 0.015）和 l2（归一化均方根）。
   • 攻击参数：PGD / Carlini & Wagner 攻击，100–10,000 次迭代；SAP 上 EOT 取 k=10；Defense-GAN 的 Evaluation A 每个样本跑 50k 次迭代（每个实例不到一分钟）。
   • 重复与评审：论文未报告重复次数；无 LLM 或人工评审，按误分类判定。

   主结果

   据 Table 1（各防御在其原论文威胁模型下，作者攻击后的模型准确率）：

   表格较宽，可左右滑动

   防御	数据集	失真	准确率
   Buckman et al. (2018)	CIFAR	0.031 (l∞)	0%*
   Ma et al. (2018)	CIFAR	0.031 (l∞)	5%
   Guo et al. (2018)	ImageNet	0.005 (l2)	0%*
   Dhillon et al. (2018)	CIFAR	0.031 (l∞)	0%
   Xie et al. (2018)	ImageNet	0.031 (l∞)	0%*
   Song et al. (2018)	CIFAR	0.031 (l∞)	9%*
   Samangouei et al. (2018)	MNIST	0.005 (l2)	55%**
   Madry et al. (2018)	CIFAR	0.031 (l∞)	47%

   • 表注：* 表示该防御提议结合对抗训练，表中为单独防御的数字；** 表示该防御原理上准确率为 0%，实际不完美导致理论最优攻击失败（见 §5.4.2）。Na et al. (2018) 在 CIFAR、l∞ 0.015 下准确率为 15%（Table 1）。
   • 作者称 9 个防御中 7 个依赖混淆梯度，6 个被完全绕过、1 个（Defense-GAN）被部分绕过；Madry et al. 的对抗训练不造成混淆梯度，作者的攻击以一定概率成功但未推翻原文声称。
   • 作者提醒跨数据集比较困难：两个防御声称在 ImageNet 上鲁棒，一个在 MNIST 上。

   梯度破碎类防御的攻击细节

   • 温度计编码（Buckman et al.）：原防御报告 LS-PGA 下 50% 准确率（ε=0.031），对抗训练后 80%；作者用 BPDA（g(x)=τ̂(x)）在无对抗训练时 ε=0.015 降到 1%、ε=0.031 降到 0%；对温度计编码+对抗训练的模型，复现了 LS-PGA 下 80% 的声称，但自己的攻击降到 30%，低于不用温度计编码的 Madry 模型。Figure 1 显示在 0–0.03 失真范围内，温度计编码单独使用价值有限，与对抗训练结合反而不如单独对抗训练（作者称）。
   • 输入变换（Guo et al.）：对裁剪缩放用 EOT，对位深缩减和 JPEG 压缩用 BPDA（恒等近似），对总变分最小化和图像拼合用 EOT+BPDA；在原文最小扰动预算（均方根 0.05、归一化 l2 0.01）下，最强防御达到 100% targeted 攻击成功率、准确率降到 0%。

   随机化与生成模型类防御

   • SAP（Dhillon et al.）：作者用 k=10 的 EOT 估计梯度，ε=0.015 时准确率降到 9%、ε=0.031 时降到 0%；即使要求 10 次采样全部误分类才算成功，ε=0.031 时准确率仍低于 10%。
   • 随机化（Xie et al.）：原作者最强攻击把 InceptionV3 降到 32.8% top-1；作者用 EOT 在离散变换分布上优化，即使按 10 次全错才算成功的标准，仍达 100% targeted 成功率，准确率从 32.8% 降到 0.0%（l∞ ε=0.031）。
   • PixelDefend（Song et al.）：原防御声称 ε=0.031 时 46% 准确率（vanilla ResNet）；作者用 BPDA 做端到端攻击（以 PixelCNN++ 替代 PixelCNN），把 95% 准确率的自然训练分类器降到 9%；作者报告 PixelDefend 结合对抗训练不比单独对抗训练更鲁棒。

   LID 检测与 Defense-GAN（附录 A、B）

   • LID（Ma et al.）：作者不直接攻击检测器，而是生成对检测器完全不知情的高置信度对抗样本（最小化 l∞），ε=0.015 内把模型准确率降到 2%；LID 把其中 97% 判为良性（未修改测试数据判良性率为 98%）。作者称直接对 LID loss 做梯度下降的自适应攻击会陷入局部最优而失败。
   • Defense-GAN（Samangouei et al.，MNIST）：Evaluation A 证明生成器流形上存在对抗样本——重参数化攻击 100% 成功，平均 l2 失真 0.0027（无防御分类器为 0.0019，1.46×）；Evaluation B 对实际实现用 BPDA，在归一化失真 0.0051 下把准确率降到 55%，正文另述成功率为 45%。

   其他消融与分析

   • SAP 丢弃概率：作者称不同 drop probability 的鲁棒性数字相近。
   • BPDA 替换位置：前后向都替换对 Song et al. 完全无效、对 Buckman et al. 效果差很多倍（§4.1.2）。
   • Na et al.（级联对抗训练）：作者无法降低其声称，但指出其声称较弱（ε=0.015 时 16% 准确率，同预算下 Madry 对抗训练超过 70%）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出 Defense-GAN 攻击仅部分成功等遗留问题；实验限于三个图像数据集和九个防御。

   作者指出的局限与后续方向

   • Defense-GAN 只被部分绕过：BPDA 攻击成功率 45%（§5.4.2），Table 1 表注说明该防御原理上准确率应为 0%，实际不完美导致理论最优攻击失败。
   • 未评估 Ilyas et al. 的扩展：与本文工作同时期的 Ilyas et al. (2017) 开发了与 Defense-GAN 几乎相同的方法并结合对抗训练提高鲁棒性，作者明确写"We do not evaluate this extended approach"（附录 B）。
   • LID 的开放问题：作者称本文结果引出疑问——大 LID 究竟是对抗样本的本质特征还是某些攻击的副产品，未来工作应仔细评估基于 LID 的检测器对显式针对它的对抗样本是否鲁棒（附录 A）。
   • Guo et al. 的威胁模型保留：作者转述该防御在攻击者不完全知道拼合过程细节的威胁模型下可能更强（§5.2.2 脚注，与原作者个人交流）。
   • 对防御评估的建议（第 6 节）：定义现实的威胁模型（至少授予模型架构、训练算法知识和查询访问；不应人为限制攻击者算力）、给出具体可检验的声称（完整公开超参数、代码和预训练模型）、评估自适应攻击（按每张图取最强攻击的均值报告）。

   实验覆盖范围

   • 被测防御为 ICLR 2018 接收的 9 个非认证白盒防御；2 个可证明防御和 1 个黑盒防御被略过（第 5 节）。
   • 数据集为 MNIST、CIFAR-10、ImageNet；模型为 5 层 CNN、Wide ResNet、InceptionV3（§2.3）。
   • MNIST/CIFAR-10 用整个测试集做 untargeted 攻击；ImageNet 用 1000 张随机图做 targeted 攻击（§2.3）。
   • 攻击迭代 100–10,000 次；论文未报告每个实验的重复次数和方差。
   • 若一个防御在 MNIST 和其他数据集上都声称鲁棒，作者只在更大的数据集上评估（§2.3）。

   收起这一问

6. 06总结一下论文的主要内容

   混淆梯度让防御显得鲁棒；作者用三种攻击绕过 ICLR 2018 九个白盒防御中的七个。

   一篇关于对抗样本防御评估的攻击论文，核心是指出许多防御的表观鲁棒性来自混淆梯度——防御让梯度不存在、随机或消失/爆炸，使基于梯度的迭代攻击失败，而非真正鲁棒。

   • 问题：作者称 ICLR 2018 的 9 个非认证白盒防御中 7 个依赖混淆梯度，属于已知不完整的 gradient masking 的特例。
   • 方法：按成因分三类并各给一种攻击——shattered gradients 用 BPDA（前向正常、反向用可微近似替换不可微层）；stochastic gradients 用 EOT（对随机变换分布求期望梯度）；vanishing/exploding gradients 用重参数化换元避开展开求导。基础攻击为 PGD（l∞）和 Carlini & Wagner（l2）。
   • 主结果（Table 1，各防御原威胁模型下）：Buckman et al.（CIFAR，l∞ 0.031）准确率降到 0%；Guo et al.（ImageNet，l2 0.005）0%；Dhillon et al.（CIFAR，l∞ 0.031）0%；Xie et al.（ImageNet，l∞ 0.031）0%；Song et al.（CIFAR，l∞ 0.031）9%；Ma et al. 的 LID 检测被高置信度对抗样本以 97% 率判为良性；Defense-GAN（MNIST，l2 0.005）降到 55%，作者称只算部分绕过。
   • 未被攻破的防御：Madry et al. 的对抗训练（CIFAR，l∞ 0.031 下 47% 准确率）不造成混淆梯度；Na et al. 的级联对抗训练作者无法降低其声称，但指出其声称本身较弱。
   • 作者的结论：防御必须抵御未来攻击而非仅现有攻击；作者建议定义现实威胁模型、给出具体可检验的声称、评估自适应攻击，并公开了各防御的复现和攻击代码。

   收起这一问

相关论文