提高攻击强度可绕过 Feature Squeezing 防御

1. 01这篇论文试图解决什么问题？

   检验提高攻击强度后，Feature Squeezing 联合检测框架能否被视觉失真较小的对抗样本绕过。

   核心问题：Xu et al. (2017) 提出的 Feature Squeezing 联合检测框架在更强的攻击配置下是否仍然有效。

   • 问题场景：DNN 易受对抗样本攻击，对抗样本可做到人眼难以分辨，且具有迁移性（作者引 Szegedy et al. 2013；Goodfellow et al. 2015；Liu et al. 2016 等）。
   • 被检验的防御：Feature Squeezing 通过对输入做变换（降低色深、平滑）压缩攻击者的搜索空间，比较原始输入与压缩输入的模型预测差异，超过阈值则判为对抗样本；其作者称联合多个压缩器可检测 11 种攻击方法（Xu et al. 2017）。
   • 论文的假设：该检测框架的高检测率是在特定（较弱）攻击配置下取得的，提高攻击强度后可能被绕过。
   • 论文的做法：在 MNIST 和 CIFAR-10 上，用 EAD、C&W（EAD 的 β=0 特例）和 I-FGSM，通过调大 κ 或 ε 增强攻击，测试联合检测器，并观察样本的视觉失真。
   • 威胁模型：
     • 目标：生成能绕过 Feature Squeezing 联合检测器、且视觉失真较小的对抗样本。
     • 知识：攻击为白盒——EAD、C&W、I-FGSM 均需模型梯度；检测器配置与阈值沿用 Xu et al. (2017) 的公开设置。
     • 能力：攻击者可调攻击强度参数（EAD/C&W 的 κ，I-FGSM 的 ε）。
     • 受害系统：Xu et al. (2017) 的 MNIST、CIFAR-10 联合检测配置及其预训练模型。

   收起这一问

2. 02有哪些相关研究？

   围绕对抗样本攻击、Feature Squeezing 防御及本文所用的 EAD、I-FGSM 攻击展开。

   对抗样本与迁移性

   • Szegedy et al. (2013)、Goodfellow et al. (2015)——发现 DNN 易被对抗样本误导，且扰动可做到人眼难辨。
   • Liu et al. (2016)、Papernot et al. (2016)、Sharma & Chen (2017)——对抗样本的迁移性：针对一个模型生成的样本可误导同任务的其他模型。

   Feature Squeezing 防御（本文攻击对象）

   • Xu et al. (2017)——提出 Feature Squeezing：用降低色深、局部/非局部平滑等输入变换压缩攻击空间，比较原始与压缩输入的预测 L1 差异做检测，多个压缩器取最大距离联合检测；其作者称可检测 11 种攻击方法。本文指出其实验所用攻击配置（κ=10、MNIST ε=0.3、CIFAR-10 ε=0.008）强度不足。

   本文使用的攻击方法

   • Carlini & Wagner (2017)——C&W L2 攻击；Chen et al. (2017)——EAD，对 C&W L2 做 elastic-net 正则化推广，β 控制 L1 与 L2 的权衡，β=0 时等价于 C&W L2。
   • Goodfellow et al. (2015)——FGM（fast gradient methods）；Kurakin et al. (2016)——I-FGSM，FGM 的迭代版本加 ε-ball 裁剪；Tramèr et al. (2017)——10 步、步长 ε/10 被其称为有效的攻击设置，本文沿用。

   定位：作者将自己定位为对 Feature Squeezing 防御的再评估——不提出新攻击或新防御，而是证明现有攻击在更强配置下即可绕过该检测框架，并建议新防御应在保持视觉相似的前提下用最大攻击强度验证。

   基线与基准：无独立基线方法；对照是 Xu et al. (2017) 的联合检测器原配置，数据集为 MNIST 和 CIFAR-10。

   收起这一问

3. 03论文如何解决这个问题？

   沿用 Xu et al. (2017) 的检测器与模型，调大 EAD/C&W 的 κ 和 I-FGSM 的 ε 生成对抗样本并测检出率。

   整体思路：不改检测器，只增强攻击——用 EAD、C&W、I-FGSM 在更高强度参数下生成对抗样本，直接测试 Xu et al. (2017) 联合检测器的漏检情况。

   被攻击的检测框架

   • 压缩器：MNIST 联合检测器为 1-bit 色深 + 2x2 median smoothing；CIFAR-10 为 5-bit 色深 + 2x2 median smoothing + non-local means（13x13 搜索窗、3x3 patch、Gaussian 核带宽 2）。
   • 判定方式：比较原始输入与压缩输入预测的 L1 距离，多压缩器取最大值；阈值沿用 Xu et al. (2017)，按假阳性率低于 5% 选定。

   攻击方法

   • EAD：目标函数为 min_x c · f(x,t) + β|x−x₀|₁ + |x−x₀|₂²，其中 f(x,t)=max{max_{j≠ t}[Logit(x)]_j−[Logit(x)]_t, −κ}；β 控制 L1/L2 权衡，β=0 即 C&W L2 攻击。MNIST 上 β=0.01，CIFAR-10 上 β=0.001。
   • I-FGSM：迭代使用 FGM（x = x₀ − ϵ · sign(∇ J(x₀,t))）后做 ε-ball 裁剪；10 步、步长 ε/10（沿用 Tramèr et al. 2017 的设置）。

   强度调节

   • κ（EAD/C&W）：控制目标类与其余类预测概率所需间隔，从 Xu et al. (2017) 用的 10 开始增大；论文称增大 κ 增强攻击强度但牺牲视觉质量。
   • ε（I-FGSM）：控制允许的 L∞ 失真，从 MNIST 0.3、CIFAR-10 0.008（Xu et al. 2017 所用值）开始增大。

   实现细节（附录 5.1）

   • EAD/C&W：对正则参数 c 做 9 步二分搜索（起始 0.001），每步 I=1000 次迭代，初始学习率 0.01；C&W 用 ADAM，EAD 用带平方根衰减学习率的 projected FISTA。
   • 样本与目标：每个数据集随机采样 100 张测试图；分 non-targeted（致误分类）与 targeted（Next 类：t = label+1 mod 类数；least-likely 类 LL）三种设定。

   收起这一问

4. 04论文做了哪些实验？

   在 MNIST、CIFAR-10 各 100 张图上测三种攻击在不同强度下绕过联合检测器的 ASR 与失真。

   实验设置

   • 受害模型与检测器：Xu et al. (2017) 所用的 MNIST、CIFAR-10 预训练模型及其联合检测配置，阈值相同（论文未给出模型名称与结构细节）。
   • 攻击：EAD（MNIST β=0.01、CIFAR-10 β=0.001）、C&W（EAD β=0 特例）、I-FGSM（10 步、步长 ε/10）。
   • 数据集与样本量：MNIST、CIFAR-10 测试集各随机采样 100 张；论文未报告重复次数。
   • 指标：ASR（攻击成功率，%）；L1、L2、L∞ 失真，仅在成功样本上取平均。
   • 设定：non-targeted、targeted-Next、targeted-LL 三种；κ ∈ {10,20,30,40}（两数据集），I-FGSM 取达到最高 ASR 的最小 ε 展示。

   主结果

   据 Table 1（MNIST）与 Table 2（CIFAR-10），ASR 随 κ 增大而上升：

   表格较宽，可左右滑动

   攻击	条件	MNIST ASR（Table 1）	CIFAR-10 ASR（Table 2）
   I-FGSM	non-targeted，最低最优 ε	100%	100%
   C&W	non-targeted，κ=10 / 最高 κ	0%（κ=10）→ 87%（κ=40）	32%（κ=10）→ 100%（κ=70）
   C&W	targeted LL，κ=10 / 最高 κ	0%（κ=10）→ 100%（κ=40）	0%（κ=10）→ 100%（κ=70）
   EAD	non-targeted，κ=10 / 最高 κ	24%（κ=10）→ 97%（κ=40）	46%（κ=10）→ 100%（κ=70）
   EAD	targeted Next，κ=10 / 最高 κ	7%（κ=10）→ 100%（κ=40）	10%（κ=10）→ 100%（κ=70）
   EAD	targeted LL，κ=10 / 最高 κ	7%（κ=10）→ 100%（κ=40）	0%（κ=10）→ 100%（κ=70）

   • 作者称在足够强度下每种攻击都能对联合检测器达到接近 100% 的 ASR。
   • 作者称 EAD 在各情形下均优于 C&W L2，在低置信度时差距更大，并认为这说明最小化 L1 失真对生成视觉失真小的鲁棒对抗样本重要。
   • 例外：CIFAR-10 上 C&W targeted LL 在 κ=30 时 ASR 仅 6%（同 κ 下 targeted Next 为 51%），到 κ=50 才升至 94%（Table 2）。

   视觉失真观察（Figures 1–6）

   • EAD：作者称高 κ 下绕过检测器的 EAD 样本视觉失真较小（Figure 1、2 为 non-targeted；Figure 3、4 为 least-likely targeted）；附录称 targeted 尤其 least-likely 情形下失真更明显，但样本仍具视觉对抗性。
   • I-FGSM：作者称 CIFAR-10 高 ε 样本视觉失真较小，但 MNIST 上取得最优 ASR 的高 ε 样本有明显失真（Figures 5、6）。

   其他消融与分析

   • 失真随强度上升：如 MNIST EAD non-targeted 的 L2 从 κ=10 的 2.286 升至 κ=40 的 3.803，L∞ 从 0.879 升至 0.972（Table 1）。
   • CIFAR-10 EAD non-targeted 的 L1 从 κ=10 的 6.371 升至 κ=70 的 83.14（Table 2）。
   • 论文未做除 κ、ε 外的参数消融，未报告检测器在增强攻击下的具体检出率或假阳性率变化。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者仅提出验证其他防御对强攻击者的鲁棒性；实验限于两个数据集、各 100 张图。

   作者指出的局限与后续方向

   • 验证其他防御：作者计划在未来工作中验证其他新近提出的防御是否对强攻击者鲁棒（Conclusion）。
   • 对防御的建议：作者建议新提出的防御应在样本仍与输入视觉相似的前提下，用最大攻击强度进行验证（Conclusion）。

   实验覆盖范围

   • 被测对象为 Xu et al. (2017) 的 MNIST、CIFAR-10 联合检测配置及对应预训练模型，共 2 个数据集（Section 2）。
   • 攻击方法为 EAD、C&W（EAD β=0 特例）、I-FGSM 三种；强度参数为 κ（10 起，最高 40/70）与 ε（Section 2、Tables 1–2）。
   • 每个数据集随机采样 100 张测试图；论文未报告重复次数（Section 2）。
   • 视觉失真仅通过随机选取的示例图（Figures 1–6）展示，论文未报告人眼评判或定量感知指标。
   • 论文未报告模型结构、检测器在增强攻击下的检出率，也未测试除 Feature Squeezing 外的其他防御。

   收起这一问

6. 06总结一下论文的主要内容

   提高 EAD/C&W 的 κ 或 I-FGSM 的 ε 后，Feature Squeezing 联合检测器在 MNIST、CIFAR-10 上被绕过。

   这是一篇针对对抗样本检测防御的再评估论文（ICLR 2018 Workshop），检验 Xu et al. (2017) 的 Feature Squeezing 联合检测框架在更强攻击配置下的有效性。

   • 问题：Feature Squeezing 通过输入变换压缩攻击空间并比较预测差异来检测对抗样本，其作者称可检测 11 种攻击；本文作者认为这些检测率只在较弱攻击配置下验证过。
   • 方法：在 MNIST、CIFAR-10 各 100 张随机测试图上，用 EAD、C&W（EAD β=0 特例）、I-FGSM 生成对抗样本，调大置信度参数 κ（从 10 起）或 L∞ 约束 ε（从 0.3 / 0.008 起）增强攻击，用原检测器和原阈值测试。
   • 结果：ASR 随强度上升——MNIST 上 EAD 在 κ=40 时 non-targeted 97%、targeted Next 与 LL 均 100%（Table 1）；CIFAR-10 上 C&W 与 EAD 在 κ=70 时三种设定均 100%（Table 2）；I-FGSM 在展示的最低最优 ε 下两数据集 non-targeted 均 100%。
   • 对比：作者称 EAD 在各情形下优于 C&W L2，低置信度时差距更大，认为最小化 L1 失真有助于生成视觉失真小的鲁棒样本。
   • 视觉失真：作者称高 κ 的 EAD 样本失真较小；I-FGSM 在 CIFAR-10 高 ε 下失真较小，但在 MNIST 高 ε 下失真明显（Figures 1–6）。
   • 结论：作者建议新防御在样本保持视觉相似的前提下用最大攻击强度验证，并计划未来检验其他防御对强攻击者的鲁棒性。

   收起这一问

相关论文