用基于 L1 的对抗样本攻击 Madry 防御模型

1. 01这篇论文试图解决什么问题？

   作者质疑 Madry 比赛仅用 L∞（ε=0.3）约束攻击，并用 EAD 生成可迁移、视觉失真小的对抗样本。

   核心问题：Madry 对抗训练防御的评测比赛只用 L∞ 失真（ε=0.3）约束攻击，作者认为这不合理，并试图在放宽该约束后用 L1 型攻击攻破该防御。

   • 场景与重要性：DNN 易受影响人类感知几乎不可辨的对抗样本影响，且对抗样本可在同任务模型间迁移（transferability）。Madry et al. (2017) 通过鲁棒优化得到对抗训练的 MNIST 模型（作者称之为 Madry Defense Model）并举办攻击比赛。
   • 现有评测的不足（按作者说法）：比赛把攻击限制为每像素最多 ε=0.3 的 L∞ 扰动，作者称这大大削弱了非 L∞ 优化的攻击，并对攻击者施加了不切实际的约束。
   • 核心观察：作者认为 L∞ 不能单独刻画视觉失真——L∞ 大的样本未必视觉上明显，关键在 L1/L2 失真。
   • 论文提出的做法：在放宽 L∞ 约束后，用 EAD（Elastic-net Attack to DNNs）在 undefended 模型上生成对抗样本并迁移攻击 Madry Defense Model，与 PGD、I-FGM、C&W 对比。
   • 威胁模型：
     • 目标：生成能迁移到 Madry Defense Model 并致其误分类的对抗样本，分 targeted 与 non-targeted。
     • 知识与能力：攻击者在同架构、自然训练的 undefended 模型（单个或 3 模型集成）上构造样本，再迁移到防御模型；论文未使用 black-box 等术语描述该设定。
     • 受害系统：Madry Lab 发布的对抗训练 MNIST 模型（以 40 步 PGD、ε=0.3 训练）。
     • 约束：比赛原约束为 L∞ ε=0.3；作者有意放宽该约束以检验其他范数的攻击。

   收起这一问

2. 02有哪些相关研究？

   相关工作围绕对抗样本与迁移性、Madry 鲁棒优化防御，以及 EAD、C&W、PGD/FGM 等攻击方法。

   对抗样本与迁移性

   • Szegedy et al. (2013)、Goodfellow et al. (2015)——提出并解释了 DNN 的对抗样本现象，是本文问题的背景。
   • Liu et al. (2016)、Papernot et al. (2016)——研究对抗样本的迁移性与黑盒攻击；论文引用其观点：若样本对多个模型保持对抗性，则更可能迁移到未见模型，这支撑了作者用 3 模型集成生成样本的设计。

   Madry 防御（本文攻击对象）

   • Madry et al. (2017)——从鲁棒优化视角研究对抗鲁棒性，用从随机扰动出发的 PGD 作为最强对手对抗训练出高容量 MNIST 模型，并举办攻击比赛（约束 L∞ ε=0.3）。论文认为该约束削弱了非 L∞ 攻击、对攻击者不切实际，本文即在放宽约束后攻击该模型。

   攻击方法（本文使用或对比）

   • Carlini & Wagner (2017)——C&W L2 攻击；EAD 将其推广为弹性网络正则，β=0 时 EAD 等价于 C&W L2 攻击，本文把 C&W 作为对比方法。
   • Chen et al. (2017)——提出 EAD，线性组合 L1 与 L2 惩罚，β 控制两者权衡；本文使用并调优该方法。
   • Goodfellow et al. (2015) 的 FGM 与 Kurakin et al. (2016) 的 I-FGM——基于梯度符号的快速攻击；作者指出 I-FGM 本质上是负损失函数上的投影梯度下降，本文把 PGD（含随机起点）与 I-FGM（无随机起点）作为 L∞ 攻击代表。
   • Tramèr et al. (2017)——集成对抗训练；其步长设置（ε/40）被本文用于 I-FGM。

   基线与基准：对比方法为 PGD、I-FGM、C&W（即 EAD β=0）与 EAD（β=0.01）；数据集为 MNIST，取 1000 个随机测试样本。

   定位：按论文说法，本文的区别在于放宽比赛的 L∞ 约束，系统比较各攻击在 targeted/non-targeted 下的迁移性，并主张以 L1/L2 补充 L∞ 来度量视觉失真。

   收起这一问

3. 03论文如何解决这个问题？

   在 undefended 模型（单个或 3 模型集成）上用 EAD 生成样本，放宽 L∞ 约束后迁移攻击 Madry 模型，比较 ASR 与各范数失真。

   整体思路：放宽比赛的 L∞ 约束，在与防御模型同架构的 undefended 模型（单个或 3 模型集成）上用 EAD 生成对抗样本，迁移攻击 Madry Defense Model，并与 PGD、I-FGM、C&W 在 ASR 和 L1/L2/L∞ 失真上对比。

   攻击对象与迁移设定

   • Madry Defense Model：高容量网络，以作者所称最强对手——从随机扰动出发的 PGD（40 步、步长 0.01、L∞ 范数、ε=0.3）对抗训练。
   • 迁移设定：在单个 undefended 模型或 3 个 undefended 模型的集成上生成样本，再评估其在防御模型上的成功率；undefended 模型与防御模型同架构（比赛提供）、自然训练。正文报告集成结果，单模型结果在补充材料（Table 3）。
   • 作者的理由：若样本对多个模型保持对抗性，则更可能迁移到未见模型（引 Liu et al. 2016、Papernot et al. 2016）。

   EAD 攻击

   • 目标函数：min_x c · f(x,t) + β|x−x₀|₁ + |x−x₀|₂²，约束 x ∈ [0,1]^p；其中 f(x,t) = max{max_{j ≠ t}[Logit(x)]_j − [Logit(x)]_t, −κ}。β 控制 L1 与 L2 的权衡，β=0 时等价于 C&W L2 攻击；κ 控制目标类与其余类预测概率的间隔。
   • 作者给出的性质：增大 κ 提升迁移性但损害视觉质量。
   • 实现：对正则参数 c 做 9 步二分搜索（从 0.001 起），每步 I=1000 次迭代，初始学习率 0.01；C&W 用 ADAM 优化器，EAD 用 projected FISTA 配平方根衰减学习率。

   PGD / I-FGM 攻击

   • FGM：x = x₀ − ϵ · sign(∇ J(x₀, t))；I-FGM 迭代使用 FGM 并做 ε-ball 裁剪，作者指出其本质是负损失上的投影梯度下降。
   • 设置：40 步；I-FGM（无随机起点）步长 ε/40（引 Tramèr et al. 2017），PGD（含随机起点）步长 2ε/40；ε 从 0.1 到 1.0 以 0.1 为步长网格搜索。

   评估方式

   • 样本：MNIST 测试集随机 1000 个样本；targeted 情形为每张图随机选一个不同于原类的目标类。
   • 指标：ASR（攻击成功率，%）与 L1、L2、L∞ 失真，失真在成功样本上取平均。
   • 视觉比较：将 EAD（β=0.01, κ=10，平均 L∞ 为 0.8）与 PGD（ε=0.8）在相近平均 L∞ 失真下直接对比生成图像（Figure 1；targeted 情形见 Figure 3）。

   收起这一问

4. 04论文做了哪些实验？

   1000 个 MNIST 样本上，EAD（κ=50）集成迁移 targeted ASR 98.5%，高于 PGD 的 68.5%；ε>0.3 时对抗训练失败。

   实验设置

   • 被测模型：Madry Defense Model（对抗训练 MNIST 模型）；生成样本用同架构自然训练的 undefended 模型，单个或 3 模型集成。
   • 数据集：MNIST 测试集随机 1000 个样本；targeted 情形随机选目标类。
   • 对比方法：PGD、I-FGM、C&W（EAD β=0）、EAD（β 调优，正文报告 β=0.01）。
   • 指标：ASR（%）；L1、L2、L∞ 失真，在成功样本上取平均。
   • 调参：EAD/C&W 调 κ ∈ {10, 30, 50, 70}；EAD 调 β ∈ {1e-4, 1e-3, 1e-2}；PGD/I-FGM 的 ε 从 0.1 到 1.0 步长 0.1。
   • 重复次数：论文未报告。

   主结果

   Table 1（从 3 模型集成迁移到 Madry Defense Model；PGD/I-FGM 取取得最高 ASR 的最低 ε）：

   表格较宽，可左右滑动

   方法	置信度 κ	Targeted ASR	Targeted L1/L2/L∞	Non-targeted ASR	Non-targeted L1/L2/L∞
   PGD	None	68.5	188.3 / 8.947 / 0.6	99.9	270.5 / 13.27 / 0.8
   I-FGM	None	75.1	144.5 / 7.406 / 0.915	99.8	199.4 / 10.66 / 0.9
   C&W	50	92.9	117.45 / 8.041 / 0.987	99.1	78.65 / 5.598 / 0.937
   EAD	30	85.8	49.64 / 5.179 / 0.995	94.5	34.28 / 4.192 / 0.971
   EAD	50	98.5	93.46 / 7.711 / 1	99.6	57.68 / 5.839 / 0.999
   EAD	70	67.2	148.9 / 10.36 / 1	99.8	90.84 / 7.719 / 1

   （据 Table 1；C&W 与 EAD 在 κ ∈ {10,30,50,70} 各行均有报告，此处省略部分行。）

   • EAD 优于 C&W：作者称在 targeted 与 non-targeted 两种情形下，EAD 在所有 κ 上 ASR 都高于 C&W；且在 targeted、κ=50 时 EAD 的平均 L2 失真低于 C&W，作者称这一结果出乎意料。
   • targeted 情形：作者称 EAD 在 κ=30 时以更低的 L1、L2 失真胜过 PGD 和 I-FGM。
   • non-targeted 情形：PGD 与 I-FGM 在更低 L∞ 失真下取得相近 ASR；作者认为其 L1、L2 失真大幅增加意味着更大的视觉失真，样本"对抗性更弱"。

   视觉比较（Figure 1、2、3）

   • Figure 1（non-targeted）：EAD（β=0.01, κ=10，平均 L∞=0.8）与 PGD（ε=0.8）在相近平均 L∞ 下对比；作者称 EAD 样本视觉失真更小，并认为这说明单用 L∞ 度量视觉失真存在问题。
   • Figure 2：PGD 在 ε 从 0.1 到 1.0 的样本；图注写明 ε≤0.3 时样本未能迁移到防御模型。作者称 ε=0.3 时噪声已视觉上明显，高 ε 时 PGD 似乎把"1"改成"3"，但失真太大以致不完全确定。
   • Figure 3（targeted）：EAD（平均 L∞=0.876）与 PGD（ε=0.8、0.9）对比；作者称 targeted 需要更大失真，但弹性网络正则对视觉质量的改善仍然明显。

   对抗重训练（Table 2）

   • 做法：用 PGD 对手在 ε 从 0.1 到 1.0（步长 0.1）下重新对抗训练 Madry 模型，步长 2ε/40、40 步。
   • 结果：ε=0.3 时 Nat Test Accuracy 98.16%、Adv Test Accuracy 91.14%；ε=0.4 时两者均降至 11.35%，ε=0.7 时为 10.28%，其余 ε≥0.5 均为 11.35%。
   • 作者解读：这些结果说明 Madry 模型无法用 ε>0.3 的 PGD 对手成功对抗训练；作者认为这可以理解，因为如此大的 ε 视觉失真已明显可辨。

   其他消融与分析

   • 单模型迁移（Table 3）：EAD 在所有 κ 上优于 C&W；targeted、κ=50 时 EAD 与 C&W 都以更低 L1/L2 失真胜过 PGD/I-FGM；κ≥50 时 EAD 平均 L2 失真低于 C&W；non-targeted 时 PGD/I-FGM 的 ASR（99.7/99.3）高于 EAD（最高 94.7，κ=70）。
   • β 搜索（Table 4、5）：β=0.01（所测最大 β）在两种情形下 ASR 最高；在最优 κ 处调 β 对 ASR 影响较小，在较低 κ 处增大 β 对 ASR 提升更大；作者据此认为生成低视觉失真的迁移样本时，最小化 L1 比 L2（乃至 L∞）更重要。
   • ε 搜索（Figure 4、5）：PGD/I-FGM 的迁移 ASR 随 ε 增大而上升；作者称与 EAD 相比其样本迁移性较差，且成功时扰动在视觉上更可辨（高 ε 时 L1/L2 失真大增）。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未专门讨论局限；实验仅覆盖 MNIST 上的四种攻击与 1000 个样本，作者称方法可推广到彩色数据集。

   作者指出的局限与后续方向

   • 论文未专门讨论局限（无 Limitations/Discussion 小节）。
   • 推广到其他数据集：Experiment Setup 一节写道，若在 MNIST 上实现视觉不可辨的攻击目标，该方法可应用于 CIFAR-10、ImageNet 等更现实的彩色数据集——论文未在这些数据集上做实验。
   • 防御方向建议：Conclusion 一节作者建议把 L1 或 L2 纳入对对抗样本子空间的分析，以补充 L∞，用于对抗训练和对抗样本检测等可能的防御。

   实验覆盖范围

   • 数据集：仅 MNIST（Experiment Setup 说明选择 MNIST 是因为其灰度简单、生成视觉不可辨样本更难）。
   • 被测防御：仅 Madry Defense Model 的 MNIST 版本；生成样本的 undefended 模型与其同架构，集成大小固定为 3。
   • 攻击方法：PGD、I-FGM、C&W、EAD 四种；样本量为 1000 个随机测试样本。
   • 论文未报告：重复实验次数、统计显著性检验、人工对视觉失真的评估（视觉比较仅基于 Figure 1–3 展示的示例）。
   • 重训练实验：仅覆盖 PGD 对手、ε 从 0.1 到 1.0 的对抗重训练（Table 2）。

   收起这一问

6. 06总结一下论文的主要内容

   作者放宽 Madry 比赛的 L∞ 约束，用 EAD 生成可迁移、低视觉失真的对抗样本，质疑单用 L∞ 度量失真。

   这是一篇攻击论文：作者攻击 Madry Lab 对抗训练的 MNIST 模型（Madry Defense Model），并质疑其比赛仅用 L∞（ε=0.3）约束攻击的合理性。

   • 问题：作者认为 ε=0.3 的 L∞ 约束削弱了非 L∞ 优化的攻击、对攻击者不切实际，且 L∞ 不能单独刻画视觉失真。
   • 方法：在同架构的自然训练模型（单个或 3 模型集成）上用 EAD（弹性网络攻击，结合 L1 与 L2 正则）生成对抗样本，放宽 L∞ 约束后迁移到防御模型，与 PGD、I-FGM、C&W 对比；1000 个 MNIST 测试样本，指标为 ASR 与 L1/L2/L∞ 失真。
   • 主结果（Table 1，集成迁移）：targeted 情形 EAD（β=0.01, κ=50）ASR 98.5%，高于 PGD 的 68.5% 与 I-FGM 的 75.1%；non-targeted 情形 EAD（κ=50）ASR 99.6%，PGD 为 99.9%，但 PGD 的 L1/L2 失真（270.5/13.27）远高于 EAD（57.68/5.839）。
   • 重训练结果（Table 2）：ε=0.3 时对抗训练 Adv Test Accuracy 91.14%，ε≥0.4 时 Nat/Adv 准确率降至约 11%，作者据此认为该模型无法用 ε>0.3 的 PGD 对手成功对抗训练。
   • 视觉比较（Figure 1–3）：作者称在相近平均 L∞ 失真下，EAD 样本比 PGD 样本视觉失真更小，PGD 在 ε=0.3 时噪声已明显。
   • 作者结论：EAD 在 targeted 迁移上优于 PGD，且能以相近 L∞ 失真生成视觉失真小得多的可迁移样本；作者认为这显示了单用 L∞ 度量失真的缺陷，并建议在对抗训练与对抗样本检测等防御中引入 L1 或 L2 补充子空间分析。

   收起这一问

相关论文