论 MagNet 防御对基于 L1 失真度量的对抗样本的局限性

1. 01这篇论文试图解决什么问题？

   作者称基于 L1 失真的 EAD 攻击可在 oblivious 黑盒设定下绕过 MagNet，削弱其威胁模型假设。

   核心问题：在 oblivious（black-box）攻击设定下，基于 L1 失真度量的对抗样本能否绕过 MagNet 防御？

   • 问题场景：DNN 图像分类器易受对抗样本影响，而对抗样本具有迁移性——在攻击者自有 DNN 上生成的样本可欺骗目标 DNN，无需了解目标模型细节，因此迁移攻击被广泛用于评估黑盒设定下的防御。
   • 现有方法的状况：作者称 MagNet（由检测器和 reformer 组成）是 oblivious 黑盒设定下较强的防御之一，能防住基于 L2 失真的 C&W 攻击（包括高 confidence 样本）以及 FGSM、迭代 FGSM、DeepFool。
   • 核心观察：C&W 攻击是纯 L2 失真方法，而 EAD 同时使用 L1 和 L2 失真；作者认为 L1 项能滤除对不重要像素的扰动，从而生成攻击性能更好的对抗样本。
   • 论文贡献：作者用 EAD 在 MNIST 和 CIFAR-10 上攻击 MagNet 及其多个 robust 变体，报告默认设定下约 90%（MNIST）和 80%（CIFAR-10）的 EAD 样本可绕过 MagNet，而 C&W 仅 10% 和 52%；作者称这削弱了绕过 MagNet 需要已知防御技术（gray-box 设定）的假设。作者称本文是首个在 oblivious 设定下指出 MagNet 对 L1 对抗样本不鲁棒的工作。
   • 威胁模型：
     • 攻击者目标：生成 untargeted 迁移对抗样本，使部署 MagNet 的目标 DNN 误分类。
     • 攻击者知识：oblivious（black-box）设定，攻击者完全不知道 MagNet 防御的存在。
     • 攻击者能力：在一个 undefended DNN 上生成对抗样本并迁移到同一架构、受 MagNet 保护的 DNN。
     • 受害系统：MNIST 和 CIFAR-10 上部署了 MagNet（检测器 + reformer）的 DNN 图像分类器。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：对抗样本与迁移攻击、C&W 攻击与 EAD、以及针对防御的攻破研究。

   对抗样本与迁移攻击

   • Szegedy et al. [1]、Goodfellow et al. [2]——指出 DNN 对精心设计的对抗扰动脆弱，扰动可在视觉上不可感知；Evtimov et al. [3]、Athalye and Sutskever [4]、Kurakin et al. [5] 将对抗样本扩展到物理世界。
   • Papernot et al. [6]、Chen et al. [7]——在模型细节完全未知时构造黑盒攻击；Liu et al. [8]、Papernot et al. [9] 研究对抗样本的迁移性。

   C&W 攻击与 EAD

   • Carlini and Wagner [10]（C&W 攻击）——通过调节 confidence 参数生成高迁移性对抗样本，是本文对比的 L2 基线攻击。
   • Chen et al. [17]（EAD）——elastic-net 攻击，结合 L1 与 L2 失真，是本文使用的攻击方法；C&W 是 EAD 在 β=0 时的特例。

   针对防御的攻破研究

   • 论文称多种防御和对抗子空间分析方法被后续攻击攻破或绕过（可能需提高攻击强度）[10]–[15]，包括 Carlini and Wagner 绕过十种检测方法 [11]、对 Madry 防御模型的 L1 攻击 [12]、对 LID 方法的局限分析 [13]、Obfuscated Gradients [14]、绕过 Feature Squeezing [15]。
   • Carlini and Wagner [20]——声称攻破 MagNet，但论文指出其使用更强的 gray-box 威胁模型：攻击者知道部署的防御技术（auto-encoder）但不知具体参数；本文则在更弱的 oblivious 设定下绕过 MagNet。

   基线与基准：对比基线为 C&W（L2）攻击，基准为 MNIST 和 CIFAR-10，防御对象为 MagNet [16] 及其 robust 变体。

   作者将本文定位为：在比 [20] 更弱的 oblivious 威胁模型下，用 L1 失真的 EAD 绕过 MagNet，从而削弱绕过 MagNet 所需的威胁模型假设。

   收起这一问

3. 03论文如何解决这个问题？

   用 EAD 在 undefended DNN 上生成 L1 迁移对抗样本，攻击 MagNet 及其 robust 变体并测量 ASR。

   整体思路：在 oblivious 黑盒设定下，用结合 L1 与 L2 失真的 EAD 在 undefended DNN 上生成 untargeted 迁移对抗样本，攻击部署 MagNet 的同一 DNN，并与纯 L2 的 C&W 攻击对比。

   被攻击的防御：MagNet

   • 两个模块：检测器计算 F(x) 与 F(AE(x)) 之间的 Jensen-Shannon divergence（JSD，带温度参数 T），超过阈值则判为对抗样本；也可用重建损失 kx − AE(x)k 作检测器。reformer 用 auto-encoder AE(x) 将输入投影回训练数据流形后再分类。
   • 默认设定：auto-encoder 通过最小化训练集上的均方误差 kx − AE(x)k₂² 学习；MNIST 默认仅用基于 L1 和 L2 重建误差的两个检测器，CIFAR-10 默认另有 T=10 和 T=40 的两个 JSD 检测器。

   攻击方法：EAD

   • 优化目标：min_x c · f(x, t) + |x − x₀|₂² + β|x − x₀|₁，约束 x ∈ [0,1]ᵖ；β=0 时退化为 C&W 攻击。
   • 攻击损失：untargeted 版本为 f(x) = max{[Logit(x)]_{t0} − max_{j≠t0}[Logit(x)]_j, −κ}，κ 为 confidence，控制攻击迁移性（κ 越大攻击越强、失真越大）。
   • L1 项的作用：作者认为 β 通过 ISTA（迭代收缩阈值算法）在每步迭代中将对不重要像素的扰动置零、收缩重要像素的扰动，从而生成更稀疏、攻击性能更好的对抗样本。

   实验参数

   • 攻击参数：c 经 9 步二分搜索（从 0.001 开始）确定，每次攻击 1000 次迭代，初始学习率 0.01；β 取 10⁻³、10⁻²、5·10⁻²、10⁻¹，最终样本选择分 EN rule 和 L1 rule 两种决策规则。
   • confidence 范围：MNIST 取 [0, 40]、CIFAR-10 取 [0, 100]，步长均为 5。
   • 样本：两个数据集各随机选 1000 张被正确分类的测试图。

   成功判定

   • ASR：对抗样本既未被检测器检出、reformer 处理后仍被误分类的比例；防御方指标 classification accuracy 与 ASR 互补，ASR 越高防御越弱。

   Robust MagNet 变体

   • MNIST：D+JSD（增加 T=10、40 两个 JSD 检测器）、D+256（auto-encoder 卷积核数从 3 增至 256，结构见 Table II）、D+256+JSD（两者同时）。
   • CIFAR-10：D+256（卷积核数增至 256，结构见 Table V）。
   • 损失函数变体：auto-encoder 改用 mean absolute error（L1 loss）训练，在两个数据集上分别测试（Figure 12、13）。

   收起这一问

4. 04论文做了哪些实验？

   EAD 在默认 MagNet 上 ASR 达 90.2%（MNIST）和 79.8%（CIFAR-10），robust 变体上仍最高 94.3% 和 93.7%。

   实验设置

   • 被测系统：MNIST 和 CIFAR-10 上的 DNN 图像分类器（沿用 MagNet 论文 [16] 的架构与训练参数），分别部署默认 MagNet 与 robust 变体。
   • 攻击方法：EAD（EN rule 与 L1 rule，β ∈ {10⁻³, 10⁻², 5·10⁻², 10⁻¹}）与 C&W（L2）攻击，均为 untargeted 迁移攻击。
   • 数据集：MNIST（手写数字 0–9）、CIFAR-10（10 类）；各随机选 1000 张被正确分类的测试图。
   • 指标：ASR（攻击成功率，%）与防御方 classification accuracy；失真度量 L1、L2 仅对成功样本取平均。
   • 复现说明：作者称无法复现 MagNet 原论文的防御效果，所有结果均来自其自行训练的 MagNet。
   • 硬件：Intel Xeon E5-2620v4 CPU、125 GB RAM、NVIDIA TITAN Xp GPU。

   主结果

   默认 MagNet 上不同攻击的 ASR（%，据 Table I）：

   表格较宽，可左右滑动

   攻击	条件	MNIST ASR	CIFAR-10 ASR
   C&W (L2)	κ=15（MNIST）/ κ=20（CIFAR-10）	10 (best)	52
   EAD (EN rule)	β=10⁻³	46.2	69.2
   EAD (EN rule)	β=10⁻²	87.8	74.5
   EAD (EN rule)	β=5·10⁻²	90.1	77
   EAD (EN rule)	β=10⁻¹	90.2	78.6
   EAD (L1 rule)	β=10⁻³	70.2	60.5
   EAD (L1 rule)	β=10⁻²	84.5	66.7
   EAD (L1 rule)	β=5·10⁻²	80.5	75.9
   EAD (L1 rule)	β=10⁻¹	83.8	79.8

   • 作者称 EAD 的 ASR 高于 C&W，认为这佐证了 L1 失真在构造有效对抗样本中的作用；MNIST 上 EAD 各行 κ=15，CIFAR-10 上 EAD 各行 κ=15。
   • 正文给出另一口径：β=10⁻¹、confidence 15 时，MNIST 上 MagNet 的 classification accuracy 从 C&W 的约 90% 降到 9.7%，即约 90% 的 EAD 样本绕过 MagNet。
   • 作者认为该结果意味着比 [20] 的 gray-box 设定更弱的威胁模型（完全不知防御存在）已足以在 MNIST 上成功攻击。

   Robust MagNet 变体上的攻击

   • MNIST（Table IV）：D+JSD 上 EAD 最高 ASR 为 55.6（EN rule，β=10⁻¹），D+256 上为 94.3，D+256+JSD 上为 66.3；正文称 D+JSD 对 C&W 在所有 confidence 下 accuracy 超 96%，但约 40% 的 EAD 样本仍可绕过；D+256+JSD 仍防不住约 50% 的 EAD 样本。
   • CIFAR-10（Table VII）：D+256 上 EAD 最高 ASR 为 93.7（L1 rule，β=10⁻¹），默认设定最高 79.8；作者称随 β 增大 EAD 在两种设定下都保持高 ASR。
   • 测试集准确率代价（Table III、VI）：MNIST 无 MagNet 为 99.42%，D+256+JSD 降至 97.55%；CIFAR-10 无 MagNet 为 86.91%，默认 MagNet 为 83.33%，D+256 为 83.4%。

   Auto-encoder 训练损失的影响

   • 测了什么：将 auto-encoder 训练损失从 mean squared error 换成 mean absolute error（L1 loss），验证对 L1 攻击的脆弱性是否源于 L2 重建误差。
   • 结果：作者报告 L1 loss 训练的 MagNet 在 MNIST 和 CIFAR-10 上都能防住 C&W L2 攻击，但仍易被 EAD 攻破（图示见补充材料 Figure 12、13）。
   • 作者解读：对 L1 对抗样本的脆弱性并非由 L2 重建误差导致。

   其他消融与分析

   • β 与决策规则：β 小（如 10⁻³）时 L1 rule 优于 EN rule（作者称此时 L2 失真占主导）；β 大时 EN rule 更优（作者称因 ISTA 步的过度收缩）（Section III-B1）。
   • confidence 影响：作者称 confidence 升高时检测器拒绝更多样本；MNIST 默认 MagNet 在 confidence 10–20 区间出现防御低谷（reformer 失效而检测器尚未生效）（Figure 2 (a)）。
   • CIFAR-10 默认 MagNet：confidence 10 时约 70% 的 EAD 样本未被检出或纠正，confidence 10–20 区间最脆弱（Figure 3 (a)）。
   • 补充材料：Figure 4–11 给出各变体在 no defense / 仅检测器 / 仅 reformer / 完整 MagNet 四种方案下的完整曲线。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者建议防御同时测试 L1 与 L2 样本并补强中等 confidence 下的防御；实验仅覆盖两个图像数据集。

   作者指出的局限与后续方向

   • 同时评估两类失真：作者建议未来防御模型同时测试对 L1 和 L2 对抗样本的鲁棒性，因为两者特性不同（Section IV）。
   • 中等 confidence 的防御缺口：作者称在 oblivious 设定下，MagNet 的 reformer 和检测器在中等 confidence 水平都无法有效防御对抗样本，需要额外的防御机制（Section IV）。
   • 复现限制：作者称无法复现 MagNet 原论文展示的防御效果，本文所有结果对应其自行训练的 MagNet（Section III-A）。
   • 论文未设专门的 Limitations 小节，以上为 Conclusion and Discussion 及实验设定中明确写出的内容。

   实验覆盖范围

   • 被测系统：MNIST 与 CIFAR-10 上各一个 DNN 分类器（沿用 [16] 的架构），部署默认 MagNet 及 robust 变体（MNIST 三种、CIFAR-10 一种），另有 L1 loss 训练的 auto-encoder 变体。
   • 攻击方法：仅 C&W（L2）与 EAD 两种，均为 untargeted 迁移攻击；论文未报告 targeted 攻击的结果。
   • 样本量：每个数据集 1000 张随机选取的、被正确分类的测试图；论文未报告重复实验次数。
   • 威胁模型：仅 oblivious（black-box）迁移设定；论文未在 gray-box 或 white-box 设定下做实验。
   • 数据集：仅 MNIST 和 CIFAR-10 两个图像分类数据集。

   收起这一问

6. 06总结一下论文的主要内容

   作者称 L1 失真的 EAD 在 oblivious 黑盒设定下即可绕过 MagNet 及其 robust 变体，削弱其威胁模型假设。

   一篇针对对抗样本防御的攻击论文：在 oblivious（black-box）迁移攻击设定下，检验基于 L1 失真的对抗样本能否绕过此前能防住 L2 攻击的 MagNet 防御。

   • 问题：MagNet（检测器 + auto-encoder reformer）在 oblivious 设定下能防住 C&W（L2）攻击；此前攻破 MagNet 的工作 [20] 需要知道防御用了 auto-encoder（gray-box 设定）。
   • 方法：在 undefended DNN 上用 EAD（结合 L1 与 L2 失真，β 控制 L1 项强度）生成 untargeted 迁移对抗样本，攻击部署 MagNet 的同一 DNN；MNIST 和 CIFAR-10 各用 1000 张测试图，与 C&W 攻击对比。
   • 主结果：默认 MagNet 下，EAD 的 ASR 在 MNIST 最高 90.2%（EN rule，β=10⁻¹，κ=15）、CIFAR-10 最高 79.8%（L1 rule，β=10⁻¹，κ=15），而 C&W 仅 10% 和 52%（Table I）。
   • robust 变体：增加 JSD 检测器、把 auto-encoder 卷积核数增至 256 或两者并用后，EAD 最高 ASR 仍达 94.3%（MNIST，D+256，Table IV）和 93.7%（CIFAR-10，D+256，Table VII）；改用 L1 loss 训练 auto-encoder 也仍被 EAD 绕过。
   • 作者结论：MagNet 及其 robust 变体能防 L2 攻击但对 L1 失真的 EAD 不鲁棒；oblivious 这一更弱的威胁模型已足以绕过 MagNet，削弱了文献中绕过 MagNet 需已知防御技术的假设。
   • 作者建议：未来防御应同时测试对 L1 和 L2 对抗样本的鲁棒性，并补足中等 confidence 水平下检测器与 reformer 都失效的防御缺口。

   收起这一问

相关论文