视觉 Transformer 的对抗鲁棒性研究

1. 01这篇论文试图解决什么问题？

   系统研究 ViT 对对抗扰动的鲁棒性，与 CNN、MLP-Mixer 比较并解释其来源。

   核心问题：视觉 Transformer（ViT）对对抗扰动的鲁棒性如何，与 CNN、MLP-Mixer 相比谁更鲁棒，鲁棒性差异的来源是什么。

   • 场景与动机：Transformer 在 NLP 成功后被引入视觉任务，作者认为在安全可靠的实际部署前，必须研究 ViT 对对抗扰动的鲁棒性。
   • 现有不足：作者称 NLP 中 Transformer 鲁棒性研究针对离散扰动，与视觉的连续小扰动不同；同期工作 Alamri et al. (2020) 用的是 CNN 与 Transformer 混合模型且攻击较弱，缺少对鲁棒性来源的解释。
   • 核心假设：作者假设 ViT 更鲁棒是因为其学到的特征含较少与标签虚假相关的高频模式，并用频率滤波攻击和特征可视化检验。
   • 论文贡献：作者做了白盒、迁移、认证鲁棒性的系统比较，称 ViT 均更优；并考察对抗训练、SAM、预训练对 ViT 鲁棒性的影响。
   • 威胁模型：
     • 目标：untargeted 攻击，扰动改变模型预测即成功。
     • 知识与能力：ℓ∞ 范数有界扰动；白盒（PGD、AutoAttack）与黑盒迁移（FGSM 在源模型上生成）两种设置。
     • 受害系统：ImageNet 图像分类模型，含 ViT 变体、CNN、MLP-Mixer。

   收起这一问

2. 02有哪些相关研究？

   相关工作分 NLP Transformer 鲁棒性、ViT 鲁棒性同期工作、以及对比基线三组。

   NLP 中 Transformer 的鲁棒性

   • Hsieh et al. (2019)、Jin et al. (2020)、Garg & Ramakrishnan (2020) 等——对预训练 Transformer 做对抗攻击，实验中 Transformer 通常比 LSTM、CNN 更鲁棒，Hsieh et al. (2019) 给出理论解释；作者指出这些工作针对离散扰动（词或字符替换），与视觉连续扰动不同。
   • Wang et al. (2020a)——从信息论角度提升预训练 Transformer 鲁棒性；Shi et al. (2020)、Ye et al. (2020)、Xu et al. (2020)——研究 Transformer 模型的鲁棒性认证。

   ViT 对抗鲁棒性的同期与后续工作

   • Alamri et al. (2020)——在目标检测中用 Transformer encoder 并报告更好鲁棒性；作者指出其模型是 CNN 与 Transformer 混合、攻击较弱、缺少来源解释。
   • Mahmood et al. (2021)——白盒黑盒下测 ViT 鲁棒性并分析 CNN+Transformer 集成防御；Qin et al. (2021)、Salman et al. (2021)——从 patch 结构角度研究；Herrmann et al. (2022)——设计金字塔对抗训练。
   • Naseer et al. (2021b)——检验本文报告的 ViT 对抗样本弱迁移性源于弱特征还是弱攻击；Aldahdooh et al. (2021)、Paul & Chen (2021)、Mao et al. (2022) 等——从预处理防御、自然对抗样本、鲁棒组件等角度研究。

   对比基线与基准

   • 基线模型：ResNet18、ResNet50-32x4d、ShuffleNet、MobileNet、VGG16、SEResNet50、MLP-Mixer、ConvNeXt，以及大数据集预训练的 ResNeXt-32x4d-ssl（YFCC100M）和 ResNet50-swsl（IG-1B-Targeted）。
   • 基准：ImageNet-1k（主实验）、CIFAR-10（对抗训练，附录 F）。

   作者定位：本文更关注 ViT 鲁棒性的来源，从频率角度解释，并称自己是首个在视觉任务上研究 Transformer 认证对抗鲁棒性、并从频率视角解释 ViT 鲁棒性来源的工作。

   收起这一问

3. 03论文如何解决这个问题？

   用频率滤波 PGD、特征可视化、多种攻击和随机平滑认证，系统比较并解释 ViT 鲁棒性。

   整体思路：在 ImageNet 上用多种攻击比较 ViT 与 CNN、MLP-Mixer 的经验与认证鲁棒性，再用频率滤波 PGD 攻击和特征可视化检验"ViT 较少学习高频特征所以更鲁棒"的假设。

   问题形式化

   • 采用 ℓ∞ 范数有界攻击：max_x^adv L(x^adv, y) s.t. |x^adv − x₀|_∞ ≤ ϵ，即在以 x0 为中心、半径 ε 的 ℓ∞ 球内最大化分类损失；untargeted 设置，预测被改变即攻击成功。

   攻击与评测方法

   • PGD：迭代梯度上升求解，x^adv_t+1 = Clip_x0,ϵ(x^adv_t + α · sgn(∇_x J(x^adv_t, y)))；FGSM 是其 t=1 特例。主实验固定 40 步，ε ∈ {0.001, 0.003, 0.005, 0.01}，Foolbox 默认参数。
   • AutoAttack：无参数集成攻击（APGD-CE、APGD-DLR、FAB、Square Attack），无需调参。
   • 迁移攻击：用 FGSM 在源模型上生成扰动攻击目标模型，评估黑盒鲁棒性并作为 obfuscated gradient 的 sanity check；作者称单步攻击迁移性更好故选 FGSM。

   频率分析

   • 频率滤波 PGD：对 PGD 扰动做 DCT，用掩码 Mf 过滤后 IDCT 回空间域，即 x^{adv}_{freq} = \mathrm{IDCT}(\mathrm{DCT}(x^{adv}_{pgd} - x_0) \odot M_f) + x_0，使扰动只含高频或低频成分。
   • 滤波器设计（Figure 2）：low-pass 保留 224×224 中 32×32 低频区域，high-pass 保留 192×192 高频区域，full-pass 等同普通 PGD。
   • 特征可视化：跟随 Yuan et al. (2021) 可视化各模型第一个 block 的特征图，CNN 输入缩放到 224×224、ViT 到 1792×1792，使特征图同为 112×112。

   认证鲁棒性

   • 用 denoised randomized smoothing（Salman et al., 2020）：为每个预训练模型训练 DnCNN 去噪器，稳定性目标 LStab，再对去噪分类器做随机平滑，按 Cohen et al. (2019) 公式计算认证半径 R = σ/2·(Φ⁻¹(pA) − Φ⁻¹(pB))。
   • 训练设置：σ = 0.25，25 epoch，学习率 10⁻⁵，batch size 64。

   模型选择原则

   • 所有模型用公开 checkpoint，各自由原作者调至最优；作者跟随 Paul & Chen (2021)，认为统一训练设置可能对某些模型有偏。

   收起这一问

4. 04论文做了哪些实验？

   ImageNet 上 PGD、AutoAttack、迁移、认证鲁棒性比较，加频率分析、特征可视化和 CIFAR-10 对抗训练。

   实验设置

   • 被测模型：ViT-S/B/L/16、ViT-SAM-B/16、ViT-B/16-Res、T2T-ViT-14/24、DeiT-S/16、Dist-DeiT-B/16、Swin-S/4、MLP-Mixer-B/16、ConvNeXt-S、SEResNet50、ResNeXt-32x4d-ssl、ResNet50-swsl、ResNet18、ResNet50-32x4d、ShuffleNet、MobileNet、VGG16（附录另有 DeiT-T/B、Swin-T/B/L 等变体）。
   • 数据集：ImageNet-1k；CA 在整个测试集上评估，RA 在 1000 个测试样本生成的对抗样本上评估；CIFAR-10 用于对抗训练（附录 F）。
   • 攻击：PGD（40 步）与 AutoAttack，ε ∈ {0.001, 0.003, 0.005, 0.01}；迁移攻击用 FGSM，ε ≤ 0.1；认证用 denoised randomized smoothing（σ = 0.25）。
   • 指标：CA、RA（越高越鲁棒）、认证准确率/半径、迁移攻击的 RER（目标模型错误率）。
   • 重复次数：论文未报告。

   主结果

   据 Table 3（PGD）与 Table 4（AutoAttack），ε=0.001 时的 RA（%）：

   表格较宽，可左右滑动

   模型	CA	PGD RA	AutoAttack RA
   ViT-S/16	77.6	55.4	48.1
   ViT-B/16	75.7	48.9	39.8
   ViT-L/16	79.2	55.1	46.6
   ViT-SAM-B/16	76.7	63.4	59.8
   ViT-B/16-Res	84.0	45.5	27.7
   T2T-ViT-14	80.1	37.1	12.9
   T2T-ViT-24	82.2	47.7	20.8
   Swin-S/4	81.8	40.0	7.9
   MLP-Mixer-B/16	73.8	41.9	34.5
   ConvNeXt-S	82.7	42.4	15.9
   SEResNet50	75.7	35.4	21.6
   ResNet50-swsl	81.2	24.7	8.1
   ResNet18	70.0	24.9	14.3
   ResNet50-32x4d	77.6	28.2	13.2
   ShuffleNet	69.4	15.0	6.1
   MobileNet	71.9	16.7	7.8
   VGG16	71.6	26.3	16.7

   （省略 DeiT-S/16、Dist-DeiT-B/16、ResNeXt-32x4d-ssl 三行；ε=0.01 时所有模型 RA 约 0.0%。）

   • 作者称小半径下 ViT 的 RA 高于 CNN：ε=0.001 时 ViT-S/16 的 PGD RA 为 55.4%，CNN 最高 30.0%（正文 5.2.1）。
   • 引入 ResNet 或 T2T 模块降低 RA：ε=0.001 时 ViT-B/16-Res 比 ViT-B/16 在 PGD 下从 48.9% 降到 45.5%、AutoAttack 下从 39.8% 降到 27.7%；T2T-ViT-14 比 ViT-S/16 在 PGD 下低 18.3 个百分点、AutoAttack 下低 35.2 个百分点。
   • 大模型不一定更鲁棒：ViT-S/16 在 PGD 和 AutoAttack 下均优于 ViT-B/16；但混合架构中增加 Transformer 块比例有用，T2T-ViT-24 的 RA 高于 T2T-ViT-14。

   频率研究与特征可视化

   • 测了什么：Table 2 报告 low-pass、high-pass、full-pass 滤波 PGD（40 步）下的 RA。
   • 结果：ε 从 0.001 增至 0.01 时，ResNet50-32x4d 的 RA 在 low-pass 下从 75.0% 降到 59.0%，high-pass 下从 47.7% 降到 3.3%；ViT-B/16 在 low-pass 下从 71.9% 降到 55.8%，high-pass 下从 66.3% 降到 33.4%。T2T-ViT-14/24 与 ViT-B/16-Res 在 high-pass 列低于 vanilla ViT、low-pass 列更高。
   • 作者解读：CNN 对高频扰动更敏感，高频扰动是 CNN 低 RA 的主因；引入 CNN/T2T 模块使 ViT 对高频更敏感。特征可视化（Figure 3）中 CNN 第一层学到明显边缘线条特征，ViT-B/16 特征图中难以观察到；作者认为模型脆弱性与学习高频低层特征的倾向相关。

   迁移攻击

   • 测了什么：FGSM 迁移攻击，Figure 4 给出源模型 × 目标模型的 RER 热图（ε ≤ 0.1）。
   • 结果：CNN 作源、ViT 作目标时 RER 很低；ViT 作源时生成的对抗样本迁移到其他模型 RER 更高；结构相似的模型间迁移更好（ViT-S/B/L 互相迁移好，T2T-ViT 之间、CNN 之间类似）。
   • 作者解读：ViT 较少依赖模型特定的高频模式，其对抗扰动被迫更少依赖模型特定特征，故更易迁移；作者认为大半径下 ViT 对抗样本甚至更强，可能因为可迁移扰动需要更大半径，留待进一步探索。

   认证鲁棒性

   • 测了什么：denoised randomized smoothing（σ=0.25）下不同半径的认证准确率（Table 5）。
   • 结果：半径 0.1 时 DeiT-S/16 为 0.6352、SAM-ViT 为 0.6320、ViT-S/16 为 0.5944，高于 ResNet50 的 0.4584、VGG16 的 0.3772；T2T-ViT-14 为 0.4044，在半径小于 0.5 时低于 ConvNeXt-S（0.5160）与 SEResNet50（0.4880）。加去噪器后 σ=0.25 噪声下 ViT-S/16 准确率 64.84%，ResNet50 为 47.782%、ResNet18 为 5.966%（原文如此给出两个基数：ViT-S/16 无去噪器 4.996%，ResNet50 无去噪器 5.966%）。
   • 作者解读：纯 ViT 认证鲁棒性优于 CNN；T2T 模块使认证鲁棒性甚至不如 CNN；SAM 进一步提升；ConvNeXt 等借鉴 ViT 技术的现代 CNN 设计缩小了与 ViT 在干净精度、经验和认证鲁棒性上的差距。

   其他消融与分析

   • Sanity check（附录 A）：Figure 5 中 ViT-S/16 的损失曲线在远低于 ResNet18 的值收敛，作者称 ViT 的鲁棒性提升不是攻击优化不足造成的。
   • CIFAR-10（附录 C）：PGD-10 下 ViT-B/4 的 RA 高于 WideResNet（如 ε=0.001 时 0.9202 对 0.7744，Table 9）。
   • ADef 形变攻击（附录 D）：ViT-S/16 RA 12.4%，高于 VGG16 10.8%、ResNet18 11.8% 等（Table 10）。
   • 对抗训练（附录 F，CIFAR-10，20 epoch）：TRADES 下 ViT-B/4 的 PGD-10 RA 53.9%、AutoAttack 49.2%，高于 PreActResNet18（49.4/44.9），与 WideResNet-34-10（53.4/49.3）相当，干净精度 85.0% 更高；作者称 ViT 对抗训练后未超过 WideResNet-34-10。
   • 预训练：ResNet50-swsl 与 ResNeXt-32x4d-ssl 的 RA 与未预训练的 ResNet18、ResNet50-32x4d 相近或更低，作者称纯预训练不能提升对抗鲁棒性。
   • FGSM 快速对抗训练：作者报告 Wong et al. (2020) 的方法对 ViT 仍导致灾难性过拟合，PGD 下测试准确率几乎为 0。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出 ViT 对抗训练未超大 CNN、FGSM 快速训练过拟合等局限，并留下若干开放问题。

   作者指出的局限与后续方向

   • 对抗训练后 ViT 的鲁棒精度未超过 WideResNet-34-10 等大 CNN，作者推测 ViT 可能需要更大数据或更长训练轮数（附录 F）。
   • Wong et al. (2020) 的 FGSM 快速对抗训练对 ViT 仍造成灾难性过拟合，作者推测该方法可能不适合预训练模型或需进一步调整（附录 F）。
   • 大攻击半径下 ViT 对抗样本比 CNN 更强，作者认为可迁移扰动可能需要更大半径，"could be further explored"（5.2.2 节）。
   • 对抗训练实验为节省成本每模型只训 20 epoch，而先前工作用约数百 epoch，作者称提供基线结果供未来探索改进（附录 F）。
   • 作者称仍面临 CA 与 RA 之间的权衡（5.1.2 节）。

   实验覆盖范围

   • 被测模型共 20 个主模型（Table 3/4），附录 B 另有 DeiT-T/B、Dist-DeiT-T、ViT-SAM-B/32、Swin-T/B/L 等 12 个变体（Table 7/8）。
   • 攻击覆盖 PGD、AutoAttack、FGSM 迁移、ADef 形变（附录 D）与频率滤波 PGD；认证覆盖 denoised randomized smoothing（σ=0.25）。
   • 主实验在 ImageNet-1k，RA 用 1000 个测试样本；对抗训练在 CIFAR-10，ε=8/255，20 epoch。
   • 论文未报告实验重复次数与方差。
   • 论文未报告迁移攻击的具体样本量；Figure 4/8 仅给出 RER 热图。

   收起这一问

6. 06总结一下论文的主要内容

   ViT 在白盒、迁移、认证鲁棒性上优于 CNN 与 MLP-Mixer，作者归因于其较少学习高频特征。

   一篇关于视觉 Transformer 对抗鲁棒性的系统分析论文，比较 ViT 与 CNN、MLP-Mixer 并解释鲁棒性来源。

   • 问题：ViT 进入视觉任务后，其对 ℓ∞ 对抗扰动的鲁棒性缺乏系统研究，已有工作缺少对来源的解释。
   • 方法：ImageNet 上用 PGD（40 步）、AutoAttack、FGSM 迁移攻击和 denoised randomized smoothing 比较约 20 个模型；设计频率滤波 PGD（DCT + 高/低通掩码）和第一层特征可视化检验"ViT 少学高频特征"的假设。
   • 主结果：ε=0.001 时 ViT-S/16 的 PGD RA 55.4%、AutoAttack RA 48.1%，CNN 的 PGD RA 最高 30.0%（Table 3/4）；ViT-SAM-B/16 的 AutoAttack RA 达 59.8%。
   • 频率证据：ε 从 0.001 到 0.01，ResNet50-32x4d 在 high-pass 攻击下 RA 从 47.7% 降到 3.3%，ViT-B/16 只从 66.3% 降到 33.4%（Table 2）；特征可视化中 CNN 学到明显边缘线条，ViT 特征图中难以观察到（Figure 3）。
   • 架构影响：引入 ResNet/T2T 模块提高干净精度但降低鲁棒性（ViT-B/16-Res 的 AutoAttack RA 27.7% 对 ViT-B/16 的 39.8%）；混合架构中提高 Transformer 块比例则改善鲁棒性（T2T-ViT-24 优于 T2T-ViT-14）。
   • 结论与启示（作者口吻）：作者称 ViT 的经验与认证鲁棒性均优于 CNN，现代 CNN 借鉴 ViT 的设计（大卷积核、LN、Patchify 等）能缩小差距；对抗训练与 SAM 对 ViT 有效，纯预训练无效；ViT 对抗训练后未超过 WideResNet-34-10，留待后续。

   收起这一问

相关论文