结构化对抗攻击 StrAttack：迈向通用实现与更好的可解释性

1. 01这篇论文试图解决什么问题？

   作者认为 lp 范数扰动忽略图像空间结构，提出带组稀疏正则的结构化攻击 StrAttack。

   核心问题：现有对抗攻击用 lp 范数衡量扰动与原图的相似度，作者认为这无法捕捉输入中的空间结构信息。

   • 问题场景与重要性：DNN 易被对抗样本欺骗，攻击在理论上和现实世界都构成安全威胁（按作者说法）。作者引用 Sharif et al. (2018) 称 lp 范数衡量相似度"既不必要也不充分"，且没有单一度量能完美对应人类感知。
   • 现有方法的不足：作者指出两种相反原则都有问题——C&W（或 l∞ 攻击）追求最小图像级失真但允许修改所有像素；one-pixel 攻击只扰动少量像素但单像素失真大，两者都可能导致噪声可见性高。
   • 核心观察与假设：作者猜想存在一种攻击，既能与现有攻击同样成功，又能在扰动强度和扰动像素数之间取得折中；StrAttack 通过滑动掩码分组并惩罚组稀疏来提取关键空间结构。
   • 论文提出：结构化攻击 StrAttack，把组稀疏正则加入对抗样本生成的优化问题，用 ADMM 求解；作者称这是探索组稀疏结构的首次尝试（"the first attempt"），且框架可泛化实现 C&W、EAD 等攻击。
   • 威胁模型：
     • 目标：生成 targeted 对抗样本，使 DNN 把原图误分类为指定目标类；论文认为 targeted 攻击比 untargeted 更强。
     • 知识：攻击者属于 first-order adversaries（Madry et al., 2017 的说法），只能访问损失函数 f 对 DNN 输入的梯度。
     • 能力：对输入加扰动 δ，受 kδk∞ ≤ ε 和 (x0+δ) ∈ [0,1]^n 约束。
     • 受害系统：MNIST、CIFAR-10 上自训的分类网络和 ImageNet 上预训练的 Inception v3。

   收起这一问

2. 02有哪些相关研究？

   相关工作分 norm-ball 攻击、补丁攻击、防御方法和可解释性研究四组，基线为 FGM、IFGSM、C&W。

   Norm-ball 约束攻击

   • FGM（Goodfellow et al., 2014）和 IFGSM（Kurakin et al., 2017）——在 l∞ 范数失真约束下最大化分类误差。
   • L-BFGS（Szegedy et al., 2013）和 C&W（Carlini & Wagner, 2017）——通过最小化 l2 范数失真寻找对抗样本。
   • JSMA（Papernot et al., 2016b）和 one-pixel（Su et al., 2017）——最小化扰动的 l0 范数，即扰动最少像素；论文指出 one-pixel 攻击在 ImageNet 上的攻击成功率远低于 C&W 和 StrAttack。

   补丁类攻击

   • Karmon et al. (2018) 和 Brown et al. (2017)——通过添加噪声补丁构造对抗样本；论文指出其扰动对人类不再不可感知，并认为不可感知性有助于理解 DNN 为何脆弱。

   防御方法

   • 防御蒸馏（Papernot et al., 2016c）——蒸馏原始 DNN 并在 softmax 层引入温度。
   • 随机掩码（Anonymous, 2019）——训练前随机移除部分神经元。
   • 对抗训练与鲁棒对抗训练（Madry et al., 2017; Sinha et al., 2018）——用对抗样本扩充训练集或做 min-max 优化；论文称鲁棒对抗训练被普遍认为在 MNIST 和 CIFAR-10 上防御最强。

   对抗扰动的可解释性

   • Dong et al. (2017)——研究对抗样本如何影响 DNN 内部表示；论文指出其只考虑了 ensemble 攻击，无法区分不同 norm-ball 攻击的效果。
   • ASM（Papernot et al., 2016b）提供像素级扰动对分类影响的敏感性分析，CAM（Zhou et al., 2016）定位类特定的判别性区域，本文用这两者衡量攻击的可解释性。

   基线与基准：对比基线为 FGM、IFGSM（l2）和 C&W（l2）攻击，另在鲁棒模型上对比 C&W l∞ 攻击；数据集为 MNIST、CIFAR-10、ImageNet。作者将本文定位为：在保持 lp 失真性能的同时探索组稀疏结构，且 ADMM 框架可统一实现 C&W、EAD 等攻击。

   收起这一问

3. 03论文如何解决这个问题？

   把扰动按滑动掩码分组并加组稀疏正则，统一成优化问题后用 ADMM 拆成可解析求解的子问题。

   整体思路：把图像扰动划分为像素组，用组稀疏正则让扰动集中在少数关键区域，再用 ADMM 把含多个非光滑正则项和硬约束的问题拆成有闭式解的子问题。

   组划分与组稀疏

   • 用大小 r×r×C、步长 S 的滑动掩码 M 把扰动 ∆ 分成 P×Q 个组；S=r 时组不重叠，S<r 时组重叠。
   • 组稀疏由诱导函数 g(Δ) = ∑_p=1^P∑_q=1^Q |Δ_Gp,q|₂ 刻画，即各组 l2 范数之和，动机来自 group Lasso。

   统一攻击形式

   • 优化问题为 min_δ f(x₀+δ,t) + γ D(δ) + τ g(δ)，约束 (x0+δ) ∈ [0,1]^n 且 kδk∞ ≤ ε；f 为 C&W 式损失（置信参数 κ），D 为失真函数，本文取 D(δ)=kδk22 以便与 C&W l2 公平对比。
   • 去掉组稀疏项和 l∞ 约束即退化为 C&W 攻击；D 取 elastic-net 正则即为 EAD 攻击——作者以此说明框架的通用性。

   ADMM 求解

   • 引入辅助变量 z、y、w 和指示函数 h(w) 改写问题，最小化增广拉格朗日，交替执行原始变量更新与对偶更新。
   • 命题 1 给出 δ、w、y 三步的闭式解（δ 步为线性缩放，w 步为逐元素截断，y 步为块软阈值），可并行计算；z 步用一阶泰勒展开加 Bregman 散度线性化 f 后得闭式解（式 15）。
   • 作者称 Adam（C&W 用）和 FISTA（EAD 用）难以处理该问题：次梯度难求（尤其组重叠时），且无法对所有非光滑项和硬约束计算近端算子；线性化 ADMM 的非凸收敛性引用 Liu et al. (2017)。

   重叠分组与精炼攻击

   • 组重叠时为每个组引入变量副本 yi（命题 2），各组在各自副本中互不重叠，代价是需要 P Q 倍存储。
   • 精炼攻击：先解原问题得 δ*，按阈值 σ 硬阈值化得到固定稀疏结构，再在该结构下重新优化非零组（命题 3 给出 ADMM 解），用于在固定稀疏模式下精炼任意攻击。

   关键参数（附录 F）

   • 分组：MNIST/CIFAR-10 非重叠时组 2×2、步长 2，重叠时组 3×3、步长 2；ImageNet 组 13×13、步长 13。
   • ADMM：ρ=1，η1=5，τ=2，γ=1；损失系数 c 在 MNIST/CIFAR-10/ImageNet 分别为 0.5、0.25、2.5；精炼阈值 σ 取 δ* 非零扰动的 3% 分位数。
   • 可解释性度量：定义 IS(δ) = kBASM ◦ δk2/kδk2，即扰动落在 ASM 高敏感区域（阈值 ν 以上）内的比例，IS 越接近 1 说明扰动位置越能被 ASM 解释。

   收起这一问

4. 04论文做了哪些实验？

   在 MNIST、CIFAR-10、ImageNet 上对比 ASR 与 lp 失真，并评测鲁棒模型、防御、迁移性和可解释性。

   实验设置

   • 被测模型：MNIST 和 CIFAR-10 各用一个自训网络（四层卷积、两层池化、两层全连接，准确率分别为 99.5% 和 80%）；ImageNet 用预训练 Inception v3（top-5 准确率 96%）。
   • 数据集与样本量：MNIST/CIFAR-10 每种攻击取 1000 张测试图、每图 9 个目标类，共 9000 个对抗样本；ImageNet 取 100 张图、每图 9 个目标类，共 900 个。
   • 基线：FGM、IFGSM（l2）、C&W（l2）；鲁棒模型实验用 C&W l∞ 和 IFGSM。FGM/IFGSM 基于 CleverHans 实现，C&W 用作者开源代码（最大迭代 1000、9 步二分搜索）。
   • 指标：ASR（成功欺骗 DNN 的对抗样本百分比）和 l0、l1、l2、l∞ 失真；分 best case（最易攻击的目标类）、average case（随机目标类）、worst case（最难攻击的目标类）报告。
   • 失真函数：D(δ)=kδk22；所有实验均应用精炼攻击步骤。
   • 重复次数：论文未报告。

   主结果

   Table 1（average case，ASR 单位 %）：

   表格较宽，可左右滑动

   数据集	方法	ASR	l0	l1	l2	l∞
   MNIST	C&W	100	493.4	21.3	1.9	0.528
   MNIST	StrAttack	100	119.4	18.05	2.16	0.47
   CIFAR-10	C&W	100	2956	12.1	0.347	0.0364
   CIFAR-10	StrAttack	100	487	7.13	0.353	0.050
   ImageNet	C&W	100	263140	198	0.679	0.03
   ImageNet	StrAttack	100	52328	152	1.06	0.075

   • 作者称 StrAttack 扰动像素数（l0）远少于其他攻击，l1、l2、l∞ 与 C&W 相当或互有胜负；C&W 因损失直接惩罚 l2，l2 失真常更小。
   • FGM 在 ASR 和失真上均为最差（如 ImageNet best case ASR 仅 12%）。
   • 重叠分组使 l0 稀疏性变差（如 MNIST average case l0 从 119.4 升至 157.4），作者解释重叠区域稀疏性受至少两个组控制；除注明外默认用非重叠分组。

   对鲁棒模型与防御的评测

   • 鲁棒对抗训练（Table 2）：在 MNIST 鲁棒模型（Madry et al., 2017）上做 untargeted 攻击，5000 个样本，成功定义为既欺骗 DNN 又满足 l∞ ≤ ε。ε=0.4 时 StrAttack ASR 0.99、l0 为 279，C&W l∞ 为 0.96、l0 为 723，IFGSM 为 0.94、l0 为 654；ε=0.1 时三者 ASR 均为 0.01。
   • 防御蒸馏（附录 H）：MNIST 和 CIFAR-10 上各 9000 个样本，不同温度 T 下 StrAttack 的 ASR 均为 100%；作者解释蒸馏只把 logits 放大约 T 倍、不改变相对大小，而 StrAttack 依赖 logits 相对值。
   • 对抗训练（Table A1）：MNIST 上三个网络（无防护、用 9000 个 C&W 样本重训、用 9000 个 StrAttack 样本重训），StrAttack 对三者 ASR 均 100%；但后两个网络的 l1、l2 失真高于无防护网络（如 average case l1 从 18.05 升至 25.1），作者称对抗训练显示出一定防御效果。

   迁移性

   • 设置（Table 3）：在 Inception v3 上生成 1000 个 targeted 对抗样本，迁移到 6 个 ImageNet 模型，按目标类 top-5 成功率评估（沿用 Su et al., 2018 的设置）。
   • 结果：StrAttack 在 6 个模型上为 0.25–0.28，IFGSM 为 0.16–0.27，C&W 为 0.15–0.25；作者称 StrAttack 在几乎每个模型上迁移成功率最高，但 Inception V2 上 StrAttack 0.28 仅比 IFGSM 0.27 高 0.01。

   可解释性分析

   • ASM 版 IS（Figure 3a）：ν 取 ASM 分数 30–90 分位数时，StrAttack 的 IS 曲线在 C&W 之上；作者称提升幅度不大，但 StrAttack 只扰动很少像素就获得这一收益。
   • CAM 版 IS：ImageNet 500 个样本上，C&W 为 0.65，StrAttack 为 0.77。
   • 复杂图像（Figure 4）：作者从 CAM 观察到两种攻击都抑制真实标签的判别区域、提升目标标签的判别区域，但 StrAttack 扰动的像素更少且与 CAM 定位的判别区域对应更好。

   其他消融与分析

   • C&W 扰动按阈值截断到与 StrAttack 相同 l0 后，仅 6.7% 的样本仍攻击有效（正文第 5 节）。
   • 精炼步骤：73% 的 δ* 可成功重训为 σ-稀疏扰动（附录 F）。
   • best/worst case 失真随目标类难度单调变化，如 MNIST StrAttack 的 l0 从 best case 73.2 到 worst case 182.0（Table 1）。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未专门讨论局限；实验覆盖三个图像数据集、三种防御和 7 个模型。

   作者指出的局限与后续方向

   • 论文未专门讨论局限，没有 Limitations 或 Future Work 小节。
   • 第 4.1 节提到重叠分组的一个代价：需要 P Q 倍于非重叠情况的存储空间。
   • 引言提到对抗样本的起源仍不清楚、有说服力的解释有待探索，作为研究动机而非本文的后续计划。

   实验覆盖范围

   • 被测模型：MNIST/CIFAR-10 各一个自训 CNN，ImageNet 为 Inception v3；迁移实验另覆盖 Inception V2/V4、ResNet 50/152、DenseNet 121/161，共 7 个模型（第 5 节、附录 F）。
   • 数据集为 MNIST、CIFAR-10、ImageNet 三个图像分类数据集；样本量为每种攻击 9000（MNIST/CIFAR-10）或 900（ImageNet）个对抗样本，鲁棒模型实验 5000 个，迁移实验 1000 个（第 5 节）。
   • 防御评测包括防御蒸馏、对抗训练（Tramèr et al., 2018）和鲁棒对抗训练（Madry et al., 2017）三种，均只在 MNIST（蒸馏含 CIFAR-10）上做（第 5 节、附录 H）。
   • 攻击设定为 targeted 白盒（first-order，需访问梯度）；失真函数固定为 l2，论文称换其他失真度量只需改 ADMM 的 δ 步但未给出相应实验（第 3 节）。
   • 论文未报告运行时间、迭代收敛所需步数等效率数字，也未报告实验重复次数。

   收起这一问

6. 06总结一下论文的主要内容

   StrAttack 用组稀疏加 ADMM 生成结构化对抗扰动，ASR 与 C&W 相当而扰动区域更少、更可解释。

   一篇 ICLR 2019 的对抗攻击论文，针对图像分类 DNN 提出结构化攻击 StrAttack。

   • 问题：作者认为 lp 范数不能完整刻画扰动与原图的相似度，且忽略输入的空间结构；C&W 扰动几乎所有像素，one-pixel 攻击单像素失真过大。
   • 方法：用滑动掩码把扰动分组，在攻击优化问题中加入组稀疏正则（各组 l2 范数之和），用 ADMM 把问题拆成有闭式解的子问题；框架去掉组稀疏项即退化为 C&W，换失真函数可实现 EAD；另支持重叠分组和固定稀疏结构下的精炼。
   • 主结果（Table 1）：MNIST、CIFAR-10、ImageNet 上 StrAttack 的 ASR 均为 100%，与 C&W 持平，但 average case 的 l0 扰动像素数分别为 119.4、487、52328，对应 C&W 为 493.4、2956、263140；l2 失真略高于 C&W。
   • 防御与迁移：对防御蒸馏和对抗训练 ASR 均 100%（附录 H）；在 MNIST 鲁棒模型上 ε=0.4 时 ASR 0.99、l0 仅 279（Table 2）；迁移到 6 个 ImageNet 模型的 top-5 成功率 0.25–0.28，作者称几乎在每个模型上最高（Table 3）。
   • 可解释性：CAM 版 IS 在 ImageNet 500 例上为 0.77（C&W 为 0.65）；作者称 StrAttack 的扰动与 ASM 敏感区域和 CAM 判别区域对应更好，有助于理解对抗扰动的机制。
   • 作者结论：StrAttack 比现有攻击更强，其组稀疏结构带来的可解释性有助于揭示对抗样本的起源。

   收起这一问

相关论文