跳到正文
原文

论对抗样本防御的自适应攻击

On Adaptive Attacks to Adversarial Example Defenses

arXiv· arXiv:2002.08347· Florian Tramer, Nicholas Carlini, Wieland Brendel, Aleksander MadryStanford University; Google; University of Tübingen; MIT本站收录· 21 天前· 原文发表入选 攻击精选关注度42

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者对 ICLR/ICML/NeurIPS 的 13 个对抗样本防御逐一构建自适应攻击,作者称全部可绕过,多数准确率降至接近基线。

威胁模型所有防御均声称 white-box 鲁棒性:攻击者知道模型结构、权重及必要附加信息;按各防御声称的威胁模型评测,均为 lp 范数(p≥0),多为 l∞(如 CIFAR-10 ε=8/255、MNIST ε=0.3),另有 l0;攻击目标为 untargeted(音频防御为 targeted)。

问题
自适应攻击已成为评估对抗样本防御的标准,但作者认为典型的自适应评估并不完整:许多论文只是复用针对旧防御的“自适应”攻击,未针对新防御调整,导致防御被高估。
方法
对 13 个防御逐一走完整流程:读论文与源码、提出失效假设、设计针对性损失函数与攻击算法、迭代到攻击成功,并总结六条通用攻击主题(如攻击完整防御、保证损失一致性)。
实验与结果
作者称 13 个防御全部被绕过:k-WTA 对抗训练模型准确率降至 0.16%,Ensemble Diversity 降至 0%,EMPIR 降至 1.5%,多个检测器检测率降至 0%;多数防御准确率被降至接近基线模型。
局限与可以继续做的
作者未以独立小节讨论局限;结论中说明评估是经验性的、非认证,并提出非正式的“no-free-lunch”观点:任何给定攻击都可能被一个并不鲁棒的防御挡住。实验覆盖 13 个防御,主要在 CIFAR-10/MNIST,各节设置不同。
实验设置k-Winners Take All (vanilla ResNet-18)、k-Winners Take All (adversarially trained ResNet-18) 等 · CIFAR-10、MNIST 等 · robust accuracy、detection rate 等
被测模型
k-Winners Take All (vanilla ResNet-18)k-Winners Take All (adversarially trained ResNet-18)The Odds are Odd (wide ResNet)Generative Classifiers (MNIST)Generative Classifiers (CIFAR-10)Robust Sparse Fourier TransformRethinking Softmax Cross EntropyError Correcting CodesEnsemble Diversity (ResNet-20)EMPIRTemporal DependencyMixup Inference (MI-OL)ME-Net (USVT)ME-Net (USVT_ADV)ME-Net (nuclear-norm)Asymmetrical Adversarial Training (integrated classifier)Asymmetrical Adversarial Training (generative classifier)Turning a Weakness into a Strength
基准
CIFAR-10MNISTImageNetautomatic speech recognition
指标
robust accuracydetection ratemedian distortionFalse-Positive-Rate
AI 导读和推荐理由Tramer、Carlini、Brendel 和 Madry 四位研究者的论文展示,十三项发表在 ICLR、ICML、NeurIPS 的对抗样本防御尽管几乎全部做过自适应攻击评估,仍全部被绕过,准确率大幅低于原报告值。与以往只报告攻击结果的工作不同,论文逐例公开从阅读原作、提出假设到构造成功攻击的完整过程,并总结出六条反复出现的攻击主题。作者指出,绕过防御所需的 PGD、C&W、BPDA、EOT 等技术早已存在,问题在于评估方法而非技术;自适应攻击无法自动化,必须针对每个防御定制。例如在 CIFAR-10 上以 ℓ∞ 扰动 8/255 攻击 k-Winners Take All 防御时,普通与对抗训练 ResNet-18 的准确率分别降至 0% 和 0.16%。

Tramer、Carlini、Brendel 和 Madry 四位研究者的论文展示,十三项发表在 ICLR、ICML、NeurIPS 的对抗样本防御尽管几乎全部做过自适应攻击评估,仍全部被绕过,准确率大幅低于原报告值。与以往只报告攻击结果的工作不同,论文逐例公开从阅读原作、提出假设到构造成功攻击的完整过程,并总结出六条反复出现的攻击主题。作者指出,绕过防御所需的 PGD、C&W、BPDA、EOT 等技术早已存在,问题在于评估方法而非技术;自适应攻击无法自动化,必须针对每个防御定制。例如在 CIFAR-10 上以 ℓ∞ 扰动 8/255 攻击 k-Winners Take All 防御时,普通与对抗训练 ResNet-18 的准确率分别降至 0% 和 0.16%。

推荐理由论文逐例拆解十三项顶会防御被自适应攻击绕过的全过程,给出可迁移的防御评估方法与攻击设计原则。

相关热点

0 个事件 · 3 条新闻提到

提到这篇论文的新闻

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者认为当前防御评估中的自适应攻击普遍不完整,13 个已做自适应评估的防御仍可被绕过。

    核心问题:做了自适应攻击评估的对抗样本防御,是否真的鲁棒? 作者的答案是否定的。

    • 问题场景:过去五年社区提出了大量对抗样本防御,但许多防御只测了静态弱攻击,随后被更强攻击绕过。作者指出,做自适应攻击评估的防御比例已从 2017 年接近零上升到 2018 年的三分之一、如今接近全部。
    • 现有评估的不足:作者发现,常见做法是复用曾绕过其他防御的现成“自适应”攻击,而不考虑如何针对新防御修改;且以往的攻破论文通常只展示最终成功的攻击,不描述发现攻击的方法论。
    • 核心观察:作者认为问题出在方法论而非技术——构建更强攻击所需的工具在文献中都已存在;且没有单一攻击策略能通吃所有防御,自适应攻击无法自动化,必须针对每个防御手工调整。
    • 论文贡献:完整记录对 13 个防御(选自 ICLR、ICML、NeurIPS)的评估全过程,从初读论文、形成假设到最终攻击,并提炼出六条可复用的攻击主题(Section 4)。
    • 威胁模型:
      • 攻击者目标:生成对抗样本使分类器出错;论文统一采用 untargeted 目标(音频防御一节为 targeted)。
      • 攻击者知识:所有防御均声称 white-box 鲁棒性,攻击者知道模型结构、权重及必要附加信息。
      • 攻击者能力:按各防御自己声称的威胁模型评测,均为 lp 范数(p≥0),多数为 l∞(如 CIFAR-10 ε=8/255),另有 l0 与无界攻击。
      • 受害系统:13 个已发表的防御模型或检测器。
  2. 有哪些相关研究?

    相关工作分四类:对抗样本与攻击技术、既往防御评估、被攻破的防御思路、自动化攻击工具。

    对抗样本与基础攻击

    • Szegedy et al. (2014)、Biggio et al. (2013)——提出对抗样本现象;Madry et al. (2017) 提出 PGD 与对抗训练;Carlini & Wagner (2017b) 提出 C&W 系列攻击。这些是本文攻击的工具基础。
    • Athalye et al. (2018a) 提出 BPDA、Athalye et al. (2018b) 提出 EOT,本文多处直接用这两种技术处理不可微与随机化防御。

    既往防御评估工作

    • Carlini & Wagner (2017a) 绕过十个检测方法;Athalye et al. (2018a) 绕过 ICLR 2018 的多个防御。论文指出这些工作主要展示最终结果,未描述得出攻击的方法论,本文与之的区别正在于完整记录评估过程。
    • Carlini et al. (2019) 给出防御评估的通用检查清单,本文用它诊断梯度遮蔽等问题。

    被评估的 13 个防御(按论文分组)

    • 梯度遮蔽类:k-WTA(Xiao et al., 2020)故意用不连续激活破坏梯度。
    • 检测类:The Odds are Odd(Roth et al., 2019)、Temporal Dependency(Yang et al., 2019b)、Turning a Weakness into a Strength(Hu et al., 2019)、Asymmetrical Adversarial Training(Yin et al., 2020)。
    • 集成与训练目标类:Ensemble Diversity(Pang et al., 2019)、EMPIR(Sen et al., 2020)、Error Correcting Codes(Verma & Swami, 2019)、Rethinking Softmax Cross Entropy(Pang et al., 2020a)。
    • 预处理与生成模型类:Robust Sparse Fourier Transform(Bafna et al., 2018)、ME-Net(Yang et al., 2019a)、Mixup Inference(Pang et al., 2020b)、Generative Classifiers(Li et al., 2019)。

    自动化攻击工具

    • Croce & Hein (2020) 的 AutoAttack:作者称其在四个相同防御中有两个只部分成功,且无法直接用于检测类防御,以此说明自动化工具不能替代手工自适应攻击。

    基线与基准:各节以防御原论文报告的数字为对照(如 k-WTA 声称 50.0%、Ensemble Diversity 报告 48.4%、EMPIR 报告 13.5%),并多次与纯对抗训练基线比较;数据集为 CIFAR-10、MNIST、ImageNet 和一个语音识别任务。作者定位本文:不是提出新攻击技术,而是给出做自适应评估的方法论与案例。

  3. 论文如何解决这个问题?

    对每个防御走“读论文→提假设→设计针对性损失与攻击→迭代”的完整流程,并提炼六条攻击主题。

    整体思路:不展示“最终一击”,而是把每个防御的评估做成案例研究,记录从初读到攻破的全过程。核心方法是为每个防御手工设计一致、易优化的损失函数,再用尽可能简单的优化算法(多为 PGD 变体)求解。

    评估流程(Section 3)

    • 每个防御一节,固定结构:防御原理 → 选择理由 → 初始假设与实验 → 最终鲁棒性评估 → 经验教训。
    • 选择标准:发表于 ICLR/ICML/NeurIPS,且能代表某种防御思路;所有防御均有公开或可索取的源码。
    • 流程如实反映实际步骤,不事后修饰结论。

    六条攻击主题(Section 4,Table 1)

    • T0 追求简单:攻击尽量接近“梯度下降+合适损失”,只在简单攻击失败时加复杂度。
    • T1 攻击完整防御:端到端可微就整体攻击,预处理步骤必须纳入。
    • T2 瞄准关键部件:复杂防御常只有一两个部件是要害,只打这些部件。
    • T3 调整目标简化攻击:如用 targeted/multi-targeted 攻击、feature adversaries(匹配另一类的内部表示)。
    • T4 保证损失一致:损失增大必须对应攻击更强,否则再强的优化器也会失败。
    • T5 换优化方法:白盒梯度不总是合适,score-based/decision-based 黑盒攻击可优化难微分的损失。
    • T6 对抗训练需配强攻击:训练时攻击太弱,组合防御反而不如单独对抗训练。

    核心攻击构造(示例)

    • 通用形式:xi+1 = Proj(xi + α · normalize(∇xi L(xi, y))),即带投影的梯度上升,损失 L 的设计是关键。
    • 对检测类防御用 logit/feature 匹配:||z(x′) − z(xt)||22,让对抗样本的 logit 与另一类干净样本一致(Section 6 式 (1))。
    • 对随机化防御用 EOT 平均梯度;对不可微预处理用 BPDA 近似;对梯度遮蔽用有限差分估计梯度(k-WTA 用 M=20000 次随机扰动、100 步)。

    成功判定

    • 目标不是把准确率降到 0%,而是证明原自适应评估不足、能把准确率降到低于原报告;多数情况下作者称可降到接近基线模型。
    • 检测类防御报告检测率(相对固定误报率);无界攻击(音频)报告成功所需的中位失真而非成功率。
  4. 论文做了哪些实验?

    13 个防御逐一评估,作者称全部绕过;多数准确率降至接近基线,多个检测器检测率降至 0%。

    实验设置

    • 被测对象:13 个防御,选自 ICLR/ICML/NeurIPS,涵盖梯度遮蔽、检测、集成、预处理、生成模型、对抗训练变体(Table 1 列出全部)。
    • 数据集:CIFAR-10(最多)、MNIST、ImageNet(Section 17)、语音识别(Section 13)。
    • 威胁模型:各防御自己声称的 lp 威胁模型;常见设置为 CIFAR-10 l∞ ε=8/255 或 0.031、MNIST ε=0.3、l0(Section 8)。
    • 模型:ResNet-18(k-WTA、ME-Net)、ResNet-20(Ensemble Diversity)、wide ResNet(Odds are Odd)、VGG 特征(生成式分类器)等,均用作者发布的模型与代码。
    • 指标:鲁棒准确率、检测率(固定误报率下)、中位失真(无界攻击)。
    • 攻击实现:基于 Foolbox;PGD 步数、重复次数逐节不同(如 400 步、250 步、100 步、重复 3–5 次)。

    主结果

    论文没有汇总表,下表按各节文字整理(均为作者报告的最终攻击结果,条件见标注):

    表格较宽,可左右滑动

    防御(节)设置原报告本文攻击后
    k-WTA(5)CIFAR-10 l∞ 8/255,vanilla / 对抗训练 ResNet-1813.1% / 50.0%0% / 0.16%
    Odds are Odd(6)CIFAR-10 l∞ 8/255,检测率71.4%0%(低于误报率)
    Generative Classifier(7)MNIST/CIFAR-10,分类器+检测器大扰动下仍有效CIFAR-10 100% 成功;MNIST 90%(固定种子后 100%)
    Sparse Fourier(8)MNIST l0声称 l0=55 时 >75%中位失真 14.8 像素
    MMC 损失(9)CIFAR-10 ε=0.031—<0.5%
    Error Correcting Codes(10)CIFAR-10 ε=0.03157%<5%
    Ensemble Diversity(11)CIFAR-10 l∞ 0.0148.4%0%
    EMPIR(12)CIFAR-10 ε=0.03113.5%(ε=0.1 时)1.5%
    • 作者强调目标不是降到 0%,而是证明原评估不足;但多数防御被降到接近基线模型。
    • 作者称 AutoAttack 在其中四个防御上有两个只部分成功,用以说明自动化工具的局限。

    检测与音频防御

    • Asymmetrical Adversarial Training(16):CIFAR-10 l∞ 8/255、误报率 5% 下,integrated 分类器鲁棒准确率从 30% 降到 11%,generative 从 55% 降到 37%(低于完整 PGD 对抗训练);作者承认未能降到 0%,并列出四条相信评估已足够充分的理由(防御简单、可解释、攻击简单、标准检查只再降 1%)。
    • Temporal Dependency(13):语音识别 targeted 无界攻击,100% 成功骗过分类器与检测器;基线中位 l∞ 失真 41(16 位量程 65536),加防御后 46,作者称相对基线防御(如比特量化)提升不大。
    • Turning a Weakness into a Strength(17):CIFAR-10 准确率降到 0%、ImageNet <1%,检测率均为 0%(原论文威胁模型);作者还发现原论文 PGD 实现缺少 sign 算子,且防御内部的 #Steps 检测同样如此。

    随机化与预处理防御

    • ME-Net(15):CIFAR-10 l∞ 8/255;PGD+BPDA(200 步)将 USVT 降到 35%、USVTADV 降到 50%;BPDA+EOT(40 次梯度平均)进一步降到 15% 和 32%;nuclear-norm 变体用同一攻击降到 13%。作者指出 USVTADV 的 32% 低于同架构纯对抗训练的 40% 以上。
    • Mixup Inference(14):CIFAR-10 l∞ 8/255,MI-OL 原报告约 57%(自适应);把混合步骤纳入攻击、PGD 50 步后降到 43.9%,接近无防御基座的 42.5%。

    其他消融与分析

    • k-WTA:PGD 从 40 步增至 400 步仍不可靠,Figure 1 显示损失面呈平台状跳变(x 轴最大扰动仅改变输入 0.1%)。
    • Ensemble Diversity:步长 ×3 使准确率 48%→26%;50 步→20%;250 步→10%;重复 3 次→7%;换 B&B 攻击→5%→0%。
    • MMC 损失:logit 除以常数使 CIFAR-10 准确率从 24% 降到 18%,但不足以攻破。
    • Generative Classifier:纯随机扰动+重启使 MNIST 准确率低于 50%;干净输入重复分类有 5%–10% 误判率。
    • ME-Net:去掉预处理单攻基座 ResNet-18,准确率无法低于 10%,作者认为基座本身有一定鲁棒性。
    • Odds are Odd:仅 logit 匹配时单噪声源检测率 17%、10 噪声源 10%;加 EOT 后 0%。
  5. 有什么可以进一步探索的点?

    作者未设局限小节;结论给出“no-free-lunch”观点,每节末留有读者练习作为后续方向。

    作者指出的局限与后续方向

    • 评估是经验性的:Section 16 明确说该防御不是认证的,评估“ultimately always be empirical”,作者据此说明为何相信结果已接近真实鲁棒性。
    • 非正式 no-free-lunch:Conclusion 提出,对任何给定攻击都能构造一个挡住它但并不鲁棒的防御,因此作者呼吁不要把本文攻击当模板照抄。
    • 攻击不能自动化:Conclusion 称没有任何自动化工具能全面评估防御,自适应攻击必须手工针对具体防御设计。
    • 各节“Exercises for the reader”列出开放问题,例如:k-WTA 是否存在平滑可微近似(Section 5);logit 匹配攻击对鲁棒分类器是否仍有效(Section 6);l0 是否有专门防御思路(Section 8);EMPIR 能否用更一致的损失降到 0%(Section 12);ME-Net 基座鲁棒性的来源(Section 15)。
    • 论文未以独立的 Limitations 小节讨论自身局限。

    实验覆盖范围

    • 被测防御共 13 个,均选自 ICLR/ICML/NeurIPS,每个防御一节、设置各自不同(Section 3)。
    • 数据集为 CIFAR-10、MNIST、ImageNet(仅 Section 17)和一个语音识别任务(Section 13);威胁模型覆盖 l∞、l0 与无界攻击。
    • 每个防御的评估依赖原作者发布的代码与预训练模型;ME-Net 的 nuclear-norm 对抗训练变体因训练成本约 10 CPU 年而未评估(Section 15)。
    • 论文未报告各实验的样本量与置信区间;重复次数只在部分节写明(如 Ensemble Diversity 重复 3 次、Error Correcting Codes 重复 5 次)。
    • 作者称已在投稿前联系全部 13 个防御的作者,除一家未回复外其余均确认攻击有效(Introduction)。
  6. 总结一下论文的主要内容

    13 个做过自适应评估的防御全部被手工自适应攻击绕过;问题在方法论而非技术。

    一篇关于如何正确评估对抗样本防御的方法论论文,以 13 个防御的完整攻破过程为案例。

    • 问题:自适应攻击评估已成标配,但作者发现典型做法只是复用旧攻击、不针对新防御调整,导致评估不完整。
    • 方法:对每个防御走“读论文与源码→提出失效假设→设计一致且易优化的损失→选合适优化器→迭代”的流程,并总结六条主题:攻击完整防御、瞄准关键部件、调整攻击目标、保证损失一致、换优化方法、对抗训练需配强攻击。
    • 结果(作者报告):k-WTA 对抗训练模型在 CIFAR-10 l∞ 8/255 下从 50.0% 降到 0.16%;Ensemble Diversity 从 48.4% 降到 0%;EMPIR 降到 1.5%;Odds are Odd 与 Turning a Weakness into a Strength 的检测率降到 0%;多数防御被降到接近基线模型。
    • 例外:Asymmetrical Adversarial Training 未被完全攻破(generative 变体从 55% 降到 37%),作者给出四条理由相信评估已充分。
    • 作者的结论:构建更强攻击不需要新技术,问题是方法论的;自适应攻击无法自动化,AutoAttack 在四个相同防御上有两个只部分成功;攻击应尽可能简单,并针对防御的最弱环节手工设计。

相关论文

共同使用 ImageNet
再看 3 篇
共同使用 ImageNet
阅读原文arxiv.org