通过特征去噪提升对抗鲁棒性

1. 01这篇论文试图解决什么问题？

   作者认为对抗扰动在特征图中产生噪声，提出用特征去噪块提升卷积网络的对抗鲁棒性。

   核心问题：如何提升 ImageNet 卷积网络在白盒和黑盒对抗攻击下的鲁棒性。

   • 问题场景：对抗攻击给图像加入微小扰动即可让卷积网络误分类，作者认为这既是实际应用的安全威胁，也反映网络的计算与人脑不同。
   • 核心观察：作者可视化了 ResNet-50 在干净图像和对抗图像（PGD，ε=16）上的 res3 特征图（Figure 1、2），称对抗图像的特征图在与语义无关的区域也出现激活，即特征级"噪声"，且扰动随网络传播逐层放大。
   • 现有方法不足：作者称像素级去噪（如 Liao et al. 的高层表示引导去噪、Guo et al. 的不可微输入变换）在白盒设置下可被攻击者近似梯度绕过；ALP 可看作在 logit 层面"去噪"。
   • 论文方案：在网络中间层加入可微的特征去噪块（non-local means 等滤波），与对抗训练结合端到端训练，直接对特征去噪。
   • 威胁模型：
     • 攻击者目标：使 ImageNet 分类器误分类；白盒评测用 targeted 攻击，目标类均匀随机选取。
     • 知识：白盒攻击者可迭代反向传播穿过去噪块；黑盒攻击者（CAAD 提交者）不了解防御细节。
     • 能力：L∞ 扰动，白盒 ε=16，黑盒 ε=32（相对 256 像素尺度）。
     • 受害系统：对抗训练的 ResNet-101/152 等 ImageNet 分类器。

   收起这一问

2. 02有哪些相关研究？

   相关工作分对抗训练、像素去噪防御和去噪操作三块，本文以 ALP 为白盒基线、以 CAAD 攻击者为黑盒基准。

   对抗训练

   • Goodfellow et al. (2015)、Madry et al. (2018)、Kannan et al. (2018)——在训练时即时生成对抗样本训练网络；作者称对抗训练是白盒鲁棒性的当前最优，本文用它训练所有模型。
   • ALP（Kannan et al., 2018）——鼓励干净图像与对抗图像的 logit 预测相近；作者称它可解读为用干净图像的 logit 作"无噪参考"对 logit"去噪"。

   像素级去噪防御

   • Liao et al. (2018)——用高层特征引导像素去噪器；作者指出区别在于本文直接对特征去噪。
   • Guo et al. (2018)——用 image quilting、total variance minimization、量化等不可微图像预处理；作者称这类防御在黑盒下可能有效，但白盒下攻击者可近似其梯度绕过（引 Athalye et al., 2018），而本文的去噪模型可微仍能提升白盒鲁棒性。

   去噪操作与相关结构

   • Non-local means（Buades et al., 2005）、bilateral filter（Tomasi and Manduchi, 1998）——经典图像去噪滤波，本文将其改造为特征去噪操作。
   • Self-attention（Vaswani et al., 2017）与 non-local networks（Wang et al., 2018）——本文的去噪块设计受其启发，但作者指出只有 non-local means 部分真正去噪，且加权平均直接作用于输入特征 x 而非其嵌入。

   基线与基准：白盒基线为 ALP（Inception-v3，10 次迭代 PGD 下 27.9%）和作者自己对抗训练的 ResNet-101/152；黑盒基准为 CAAD 2017 前五名攻击者和 CAAD 2018 的 48 个未知攻击者，数据集为 ImageNet（约 128 万训练图、5 万验证图、1000 类）。作者将本文定位为：把去噪从像素/logit 层面移到特征层面，并与对抗训练结合。

   收起这一问

3. 03论文如何解决这个问题？

   在 ResNet 各阶段末尾插入可微的特征去噪块，配 1×1 卷积与残差连接，用 PGD 对抗训练端到端训练。

   整体思路：既然对抗扰动在特征图中表现为噪声，就在网络中间层加入特征去噪块抑制噪声，再用对抗训练让网络端到端学会消除数据依赖的噪声。

   去噪块结构

   • 通用形式（Figure 4）：输入特征经去噪操作（如 non-local means），再经 1×1 卷积，最后通过残差连接加回输入。
   • 作者称残差连接帮助保留信号，1×1 卷积端到端学习去噪与保留信号之间的权衡；两者本身不去噪，只做特征组合。
   • 默认配置：在 ResNet 的 res2、res3、res4、res5 各阶段最后一个残差块之后各加一个，共 4 个去噪块。

   去噪操作（四种变体）

   • Non-local means：y_i = 1/(C(x)) ∑_{∀ j ∈ L} f(x_i, x_j) · x_j，即对全部空间位置的特征做加权平均；作者强调加权对象是 x_j 本身而非其嵌入，保持 y 与 x 的通道对应。权重 f 有两种形式：Gaussian（softmax，等价于 self-attention，需 1×1 卷积嵌入）和 dot product（无需嵌入、无额外参数）。
   • Bilateral filter：上式中把邻域换成局部区域 Ω(i)（如 3×3），同样有 Gaussian 和 dot product 两种权重。
   • Mean filter：stride 为 1 的平均池化；作者称它会平滑结构，预期不如加权平均。
   • Median filter：y_i = median{∀ j ∈ Ω(i) : x_j}，逐通道取局部中位数；作者称训练含 median filter 的网络是开放问题，但实验发现它也能提升鲁棒性。

   对抗训练实现

   • 攻击者：PGD，ε=16、步长 α=1、迭代 n=30，targeted；初始化随机化——20% 的 batch 用干净图像初始化，80% 用 ε 内随机点。
   • SGD 更新只基于对抗图像，mini-batch 不含干净图像；训练计算量约为普通训练的 n 倍。
   • 分布式训练：128 块 V100 GPU 同步 SGD，每 GPU 32 张图（总 batch 4096），训练 110 个 epoch，在第 35/70/95 个 epoch 学习率降 10 倍，label smoothing 0.1；R-101 基线约 38 小时，R-152 约 52 小时。

   评测方式

   • 白盒：targeted PGD，ε=16，随机初始化，α=1（10 次迭代时 α=ε/10=1.6），迭代次数 10 到 2000；指标为 5 万验证集对抗样本上的 top-1 准确率。
   • 黑盒：CAAD 2017 前五名攻击者，ε=32，采用 CAAD 2018 的 all-or-nothing 判据——一张图只有在所有攻击者生成的对抗版本下都分类正确才算对。

   收起这一问

4. 04论文做了哪些实验？

   ImageNet 上白盒 PGD 与黑盒 CAAD 评测：去噪块在各攻击强度下均提升准确率，并获 CAAD 2018 防御第一。

   实验设置

   • 被测模型：对抗训练的 ResNet-101、ResNet-152 基线，及其加 4 个去噪块的版本（non-local Gaussian/dot product、bilateral、3×3 mean、3×3 median、null 版、加 4 个 bottleneck 的 ResNet-164）；CAAD 2018 提交版用 ResNeXt-101-32×8 加全残差块去噪。
   • 数据集：ImageNet（约 128 万训练图、1000 类），在 5 万验证图上评测。
   • 基线：ALP（Inception-v3，引自原论文数字）；黑盒对照为 CAAD 2017 冠军（Liao et al.）。
   • 指标：白盒为对抗样本 top-1 准确率；黑盒为 all-or-nothing 准确率。
   • 攻击参数：白盒 PGD ε=16、迭代 10–2000；黑盒 ε=32，模型训练时只用 ε=16。
   • 重复次数：干净图像设置下 R-152 基线独立训练 3 次以估计自然波动；对抗实验未报告重复次数。

   主结果

   白盒 PGD（ε=16）下的 top-1 准确率（据 Figure 6）：

   表格较宽，可左右滑动

   模型	10 次迭代	100 次迭代	2000 次迭代
   ALP, Inception-v3（引自[10]）	27.9%	未报告	未报告
   R-101 基线	49.7%	未报告	未报告
   R-152 基线	52.5%	45.5%	39.2%
   R-152 + 4 去噪块（non-local Gaussian）	55.7%	46.8%	42.6%

   • 作者称去噪块在各攻击迭代数下带来一致提升：10 次迭代时比 R-152 基线高 3.2 个百分点，2000 次迭代时高 3.4 个百分点。
   • 作者指出与 ALP 的比较是系统级的（骨干网络、实现等均不同）。
   • 作者观察到攻击者在 1000–2000 次迭代后收益递减；并称 2000 次迭代的 PGD 攻击在 ImageNet 上此前未被探索过。

   去噪操作变体消融（Figure 7）

   • 在 R-152 上加 4 个块、PGD 最多 100 次迭代：所有去噪变体（mean、median、bilateral、non-local 两种）都优于 R-152 基线、加 4 个 bottleneck 块（ResNet-164）和 null 版（仅 1×1 卷积）。
   • null 版与 mean/median/dot product 版参数量相同但更差，作者据此认为额外参数不是提升的主因，特征去噪本身有效。
   • non-local Gaussian 版最佳，但仅略优于 dot product 版；后续实验默认用 Gaussian 版。

   黑盒攻击（Table 2）

   • 对 CAAD 2017 前五名攻击者（ε=32，all-or-nothing）：R-152 基线 43.1%，加 4 个 non-local Gaussian 去噪块 46.4%，dot product 版 46.2%，null 版 44.1%；CAAD 2017 冠军仅 0.04%，去掉它最脆弱的两个攻击者后为 13.4%。
   • 局部滤波（mean、median、bilateral）为 43.6%–44.4%，作者称相对 null 版没有令人信服的提升，认为 non-local 去噪对黑盒鲁棒性更重要。
   • 在每个残差块后都加去噪块（non-local Gaussian，配 2×2 max pooling 子采样）达 49.5%，比基线高 6.4 个百分点。

   CAAD 2018 竞赛（Figure 8）

   • 基于本文方法的提交（ResNeXt-101-32×8 + 全残差块 non-local 去噪，单模型单裁剪）对 48 个未知攻击者（ε=32，all-or-nothing，秘密测试集）获 50.6%，排名第一；第二名 40.8%，第三至五名为 8.6%、3.6%、0.6%。
   • 该提交版在 ImageNet 白盒 10 次/100 次迭代 PGD 下分别为 56.0% 和 40.4%，作者称略低于第 6.1 节的 R-152 模型，因其训练参数设置略有不同。

   其他消融与分析

   • 去噪块设计（Table 1，R-152 + 4 个 non-local Gaussian 块）：去掉 1×1 卷积后 10 次/100 次迭代 PGD 下从 55.7%/45.5% 降到 52.1%/36.8%；去掉残差连接则训练不稳定、损失不下降（记为 NaN）。
   • 干净图像（Table 3）：非对抗训练时各去噪变体与基线差异在 ±0.2% 以内（基线 78.91%），作者称去噪块在干净设置下无优势；在 R-50 上加 non-local 块干净准确率提升 0.7%，R-152 上收益递减。
   • 干净准确率代价：对抗训练的 R-152 基线在干净图像上 62.32%（干净训练为 78.91%）；对抗训练的 non-local Gaussian 去噪版为 65.30%（干净训练为 79.08%）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出特征噪声难以定量测量、对抗与干净训练的权衡留待未来；实验限于 ImageNet 与 PGD 系攻击。

   作者指出的局限与后续方向

   • 特征噪声容易定性观察但难以定量测量，跨不同架构和训练方法比较噪声水平并不平凡（第 3 节）。
   • 训练含 median filter 的卷积网络是一个开放问题（第 4.2 节）。
   • 对抗训练与干净训练之间的准确率权衡此前已被观察到，作者称期待其成为未来研究主题（第 6.3 节）。
   • 作者希望工作能鼓励研究者设计具有"内在"对抗鲁棒性的卷积网络架构（第 7 节）。

   实验覆盖范围

   • 评测仅在 ImageNet 分类上进行，骨干网络为 ResNet-50/101/152 和 ResNeXt-101-32×8（第 6 节）。
   • 白盒评测以 PGD 为攻击者；作者另评测过 FGSM、iterative FGSM 及其 momentum 变体，称 PGD 是其中最强的，但未报告这些攻击的数字（第 6.1 节脚注）。
   • 黑盒评测覆盖 CAAD 2017 前五名攻击者和 CAAD 2018 的 48 个未知攻击者，扰动 ε=32，而模型只用 ε=16 训练（第 6.2 节）。
   • 对抗实验未报告重复次数和方差；仅干净图像设置下 R-152 基线独立训练 3 次（Table 3）。
   • 与 ALP 的比较为系统级比较，骨干网络和实现不同，作者未做同骨干对照（第 6.1 节）。

   收起这一问

6. 06总结一下论文的主要内容

   特征去噪块加对抗训练在 ImageNet 白盒与黑盒攻击下均提升鲁棒性，并获 CAAD 2018 防御赛道第一。

   一篇对抗防御论文：作者观察到对抗扰动虽在像素空间很小，却会在卷积网络特征图中产生噪声（Figure 1、2），据此提出在网络中间层加入特征去噪块，并与对抗训练结合端到端训练。

   • 方法：去噪块由去噪操作（non-local means、bilateral、mean、median 滤波）加 1×1 卷积和残差连接构成，默认加在 ResNet 四个阶段末尾；训练用 PGD（ε=16、30 次迭代）对抗训练，128 块 GPU 分布式实现。
   • 白盒结果（ImageNet，PGD ε=16）：R-152 加 4 个 non-local Gaussian 去噪块在 10 次迭代攻击下达 55.7%，高于 R-152 基线的 52.5% 和 ALP 的 27.9%；2000 次迭代攻击下达 42.6%（基线 39.2%）（Figure 6）。
   • 消融：所有去噪变体都优于基线、加 bottleneck 块和同参数 null 版，作者据此认为提升来自去噪而非额外参数；去掉 1×1 卷积或残差连接会明显变差或无法训练（Figure 7、Table 1）。
   • 黑盒结果：对 CAAD 2017 五强攻击者（ε=32，all-or-nothing）达 46.4%（基线 43.1%）；CAAD 2018 防御赛道对 48 个未知攻击者获 50.6%，排名第一，领先第二名 40.8% 约 10 个百分点（Table 2、Figure 8）。
   • 代价与边界：去噪块在干净图像上无收益（±0.2% 以内）；对抗训练使干净准确率从 78.91% 降到 62.32%（去噪版 65.30%），作者称这一权衡留待未来研究。
   • 作者结论：某些架构设计（去噪块）对对抗鲁棒性有特别优势，即使干净设置下无提升；作者希望启发具有"内在"鲁棒性的架构设计。

   收起这一问

相关论文