DeepMind 论文:对抗风险与用弱攻击评估的危险
Adversarial Risk and the Dangers of Evaluating Against Weak Attacks
作者提出以对抗风险与“对攻击者的隐蔽性”框架评估防御,并用 SPSA 等更强攻击将多种防御的对抗准确率降至接近 0%。
攻击者目标是在 ℓ∞ 邻域(CIFAR-10 ε=8、ImageNet ε=2)内找到使分类器误分类的输入;攻击方式包括 white-box 的 PGD、gradient-free 的 SPSA,以及从替代模型迁移的 transfer-based 攻击;受害系统是 CIFAR-10 与 ImageNet 上加了防御的图像分类器。
- 许多对抗样本防御只在原论文所用的较弱攻击下评估,作者认为这可能只是让攻击更难找到对抗样本,而非真正消除它们,导致鲁棒性被高估。
- 作者把常用攻击定义为真实对抗风险的可计算替代目标,提出“对攻击者的隐蔽性”概念,并用 gradient-free 的 SPSA 与改进的梯度攻击重新评估多种防御。
- 在 CIFAR-10 与 ImageNet 上,JPEG 压缩、PixelDefend、随机化、High-level Guided Denoiser 等防御在更强攻击下准确率降至 0%–10%;对抗训练模型对 SPSA 保持 51% 准确率。
- 作者称 SPSA 比梯度方法低效数个量级,PixelDefend 因算力只评估 100 张图;实验限于 CIFAR-10 与 ImageNet 图像分类,论文未报告重复次数与置信区间。
- 被测模型
- PixelDefend (Song et al., 2017)Adversarial Training (Madry et al., 2017)Non-differentiability (Guo et al., 2017)Stochasticity (Xie et al., 2017)High-level Guided Denoiser (Liao et al., 2017)PixelCNNResNet-50VGG-like fully convolutional model
- 基准
- CIFAR-10ImageNet
- 指标
- adversarial accuracyobscurity boundattack success rate
DeepMind 研究者提出对抗风险框架,指出常用攻击与评测指标只是真实对抗风险的替代目标,评测分数高不代表真实鲁棒。论文形式化模型对特定攻击者的隐蔽性(obscurity)概念,并把无梯度优化方法 SPSA 改造成对抗攻击加以验证。在 ImageNet 和 CIFAR-10 上,PixelDefend 的对抗准确率从 75% 降到 10% 以下(CIFAR-10,ε=8),JPEG 压缩防御从 15% 降到 0%,高层引导去噪器从 75% 降到 0%,随机 padding 与 resizing 防御从 36% 降到 1% 以下(后三者均为 ImageNet,ε=2)。
推荐理由作者用 SPSA 无梯度攻击把多种防御的对抗准确率打到接近零,提示只对照弱攻击评估会高估模型鲁棒性。
深度解读
这篇论文试图解决什么问题?
作者认为许多对抗防御只是对评估所用攻击“隐蔽”,用更强攻击可将其准确率降至接近 0%。
核心问题:许多新近提出的对抗样本防御,其报告的鲁棒性可能来自“对弱攻击的隐蔽”(security via obscurity),而非真正消除了对抗样本。
- 问题场景:神经网络对输入的微小扰动会产生错误输出,而大量防御工作(Guo et al., 2017; Song et al., 2017; Xie et al., 2017; Liao et al., 2017)报告了对常用攻击的鲁棒性。作者追问:这些模型是真的没有对抗样本,还是仅仅对当前攻击方法鲁棒。
- 现有评估的不足:作者认为常用攻击和评估指标只定义了真实对抗风险的一个可计算替代目标,防御可能只是优化了这个替代目标;替代对抗风险相对真实对抗风险是向下偏置的,评估分数高不代表真实鲁棒。
- 核心假设:许多防御通过 gradient masking、不可微性或随机性让特定攻击失效,但决策边界上仍存在对抗样本;作者提出用“对攻击者 f 的隐蔽性”来刻画评估指标与真实对抗风险之间的差距。
- 论文贡献:形式化对抗风险与隐蔽性概念,给出识别隐蔽模型的启发式判据,并把 gradient-free 优化(SPSA)改造成攻击,实验上将多种防御的对抗准确率降至接近 0%。
- 威胁模型:
- 目标:在 ℓ∞ 邻域内(CIFAR-10 ε=8、ImageNet ε=2,像素范围 [0, 255])找到使分类器误分类的输入,使用 margin-based 损失(Carlini and Wagner, 2017b)。
- 知识与能力:white-box 攻击可直接取梯度(PGD);gradient-free 攻击(SPSA)只需查询模型输出;transfer-based 攻击从已知替代模型迁移对抗样本。
- 受害系统:CIFAR-10 与 ImageNet 上加了各类防御的图像分类器。
有哪些相关研究?
相关工作覆盖对抗攻击、防御评估中的 gradient masking、黑盒鲁棒性与可验证鲁棒性四组。
对抗攻击
- Goodfellow et al. (2014)、Carlini and Wagner (2017b)——white-box 攻击,用优化方法直接对模型找最大化损失的扰动。
- Papernot et al. (2016; 2017)——black-box / oblivious 攻击,无需直接访问模型;Kurakin et al. (2016b)、Brown et al. (2017)、Athalye et al. (2018b) 进一步展示打印图像与 3D 物体上的攻击。
- 迁移攻击——Szegedy et al. (2013) 与 Papernot et al. (2017) 展示从替代模型迁移对抗样本;论文指出迁移攻击的成功高度依赖替代模型与目标模型的相似性。
防御评估与 gradient masking
- Papernot et al. (2017)、Goodfellow and Papernot (2017)——提出 gradient masking 现象:通过移除、缩小梯度或加噪声使梯度攻击失效,可能让实践者误以为模型鲁棒。
- Athalye et al. (2018a)——与本文同期独立工作,得出类似结论:许多防御只是掩盖了梯度;论文注明其攻击方法不同,但结果同样强调要用针对性攻击评估防御。
黑盒鲁棒性与竞赛
- Ensemble Adversarial Training (Tramèr et al., 2017) 与 High-level Guided Denoising (Liao et al., 2017)——论文承认黑盒鲁棒性有真实进展,并指向 NIPS 对抗防御竞赛(Kurakin and Goodfellow, 2017)作为 black-box 威胁模型下的对比。
可验证鲁棒性与透明性
- Katz et al. (2017)、Bunel et al. (2017)、Carlini et al. (2017)——神经网络验证,计算可证明的最坏情况对抗样本。
- Kolter and Wong (2017)、Raghunathan et al. (2018)、Sinha et al. (2017)——优化鲁棒性证书的训练过程,通过对原始对抗优化问题做松弛并高效求解。
基线与基准:论文没有提出新防御做横向对比,而是直接攻击已有防御;被攻击的防御为 Guo et al. (2017) 的输入变换(JPEG 压缩)、Song et al. (2017) 的 PixelDefend、Xie et al. (2017) 的随机化、Liao et al. (2017) 的 High-level Guided Denoiser,以及 Madry et al. (2017) 的对抗训练;数据集为 CIFAR-10 与 ImageNet。
作者将本文定位为:与 Athalye et al. (2018a) 结论相近但攻击方法不同,强调用更强攻击评估防御,并把隐蔽性作为连接对抗鲁棒性与模型透明性研究的定量度量。
论文如何解决这个问题?
用对抗风险与隐蔽性形式化评估问题,再用 SPSA 等更强攻击实测多种防御的真实对抗准确率。
整体思路:把常用攻击视为真实对抗风险的替代目标,定义“对攻击者的隐蔽性”来量化评估指标与真实风险的差距,再用 gradient-free 与改进的梯度攻击实测多种防御。核心概念是 adversarial risk 与 obscurity。
形式化:对抗风险与隐蔽性
- 期望风险与最坏情况风险:标准监督学习最小化期望风险 E(x,y)∼ D ℓ(mθ(x), y),作者认为高风险场景需要同时控制最坏情况风险,即在数据分布支撑集上取损失的上确界。
- 局部对抗风险:L(θ) = E(x,y)∼ D supx′ ∈ Nϵ(x) ℓ(mθ(x′), y),即在每个输入的 ε 邻域内取最大损失再求期望;它是最坏情况风险的下界,可用 PGD 等现成优化器近似。
- 替代对抗风险与隐蔽性:用具体攻击者 f 近似内层最大化得到 L̂(θ, f),即论文中报告的评估指标;Obscurity(θ, f) = L(θ) − L̂(θ, f),衡量模型有多少对抗样本是 f 找不到的。若存在计算高效的 f 使隐蔽性低,作者称模型为 transparent。
攻击设计
- 优化目标:untargeted、white-box 的 margin-based 损失(Eq. 6),误分类时为负,ℓ∞ 范数约束;作者沿用 Carlini and Wagner (2017b) 的说法,认为 logit 比输出概率更“线性”、更易优化。
- 梯度攻击:PGD 加 Adam 更新,并在 N_ε(x0) 内随机初始化,以应对 gradient masking 造成的局部极小。
- Gradient-free 攻击:SPSA(Algorithm 1),在随机 Rademacher 方向上取有限差分估计梯度,扰动 δ=0.01,batch size 8192,最多 100 次迭代(Table 3);作者称选择 Rademacher 分布是因为 SPSA 要求 v 的逆有有限一、二阶矩,且平均梯度估计是为了 GPU 实现效率与更快收敛。
- 针对特定防御的改造:对随机化防御(Xie et al.)改为优化模型内部随机性下的期望目标 E[J_adv];对 PixelCNN 检测防御,在目标中加 λ·lCNN 同时优化误分类与似然。
隐蔽性的启发式判据
- 替代目标是否会收敛到真实目标:迁移攻击中,除非替代模型与目标模型保证相似,否则对抗样本未必迁移。
- 真实目标是否表现良好:vanishing gradients、离散或高度非线性操作会让梯度攻击失效,但不消除对抗样本。
- 作者强调:启发式只能近似预测隐蔽性,确认高隐蔽性仍需用更强攻击实测。
成功判定
- 报告对抗准确率(1 − L̂,即 0-1 损失下的准确率),并给出 obscurity bound:原评估准确率与本文攻击后准确率之差(Table 1)。
- 攻击在 margin-based 目标小于 −5.0 时停止;任何攻击者都给出真实对抗风险的有效下界。
论文做了哪些实验?
五种防御在更强攻击下准确率多降至 0%–10%,对抗训练模型对 SPSA 保持 51%。
实验设置
- 被测模型:ImageNet 上用 ResNet-50(干净准确率 75%),CIFAR-10 上用 VGG-like 全卷积模型(干净准确率 94.5%)(附录 A)。
- 被测防御:JPEG 压缩(Guo et al., 2017,quality 75)、PixelDefend(Song et al., 2017,ε_defend=16)、随机化 padding/resize(Xie et al., 2017)、High-level Guided Denoiser(Liao et al., 2017)、对抗训练(Madry et al., 2017)。
- 数据集与扰动:CIFAR-10(ε=8)与 ImageNet(ε=2),像素范围 [0, 255]。
- 攻击:PGD(Adam、随机初始化)、SPSA(δ=0.01,batch 8192,最多 100 迭代)、FGSM/PGD 迁移攻击、针对随机化防御的期望目标攻击。
- 样本量:CIFAR-10 与 ImageNet 各 1000 张随机测试图,PixelDefend 因算力限制只评估 100 张(附录 B);论文未报告重复次数。
- 指标:对抗准确率(0-1 损失下 1 − L̂)与 obscurity bound;停止条件为 margin 目标 < −5.0。
主结果
据 Table 1(“Original Evaluation”为原论文评估设置下作者复现的准确率,“Adversarial Accuracy Bound”为本文攻击后的准确率上界):
表格较宽,可左右滑动
数据集 (ε) 防御 原评估准确率 本文攻击后 Obscurity Bound CIFAR-10 (8) PixelDefend 75% <10% >65% CIFAR-10 (8) Adversarial Training 47% <47% >0% ImageNet (2) Non-differentiability (JPEG) 15% 0% 15% ImageNet (2) Stochasticity 36% <1% >35% ImageNet (2) High-level Guided Denoiser 75% 0% 75% - 作者称,多数防御在原论文评估的攻击者下表现出鲁棒性,但对更强攻击仍然脆弱,真实对抗准确率接近 0%。
- 作者注明左列数字与原论文略有差异,原因是统一了各防御的评估条件。
- 对抗训练是唯一作者事先不怀疑有高隐蔽性的防御,其 obscurity bound 仅为 >0%。
对生成模型检测防御的攻击(Section 6.2.1)
- 测了什么:Song et al. (2017) 用 PixelCNN 做似然阈值检测;作者复现后用同时优化误分类与似然的 PGD 攻击。
- 结果:在 1% 假阳性率的阈值(4.68 bits/dim)下,原 PGD 对抗样本 99.7% 被检出;改造后的攻击使检出率降为 0%,且对抗样本似然高于自然样本(Figure 1)。
- 作者解读:作者称这展示了“对抗样本处于低概率区域”的直觉对知道防御的攻击者不成立。
对随机化与集成防御的攻击(Section 6.3)
- 测了什么:Xie et al. (2017) 的随机 padding/resize 模型,原评估用 k=21 个子模型平均的 ensemble-pattern 攻击,作者复现准确率为 36%(ImageNet, ε=2)。
- 结果:改为对模型内部随机性取期望的目标 E[J_adv] 做随机梯度下降后,准确率降至 1%。
- 作者解读:作者认为即使替代模型是一个集成,对抗样本仍可能过拟合到特定子模型,迁移攻击的成功不保证目标模型鲁棒。
对抗训练的隐蔽性检验(Section 6.4、附录 C)
- 测了什么:检验对抗训练模型是否通过训练过程学会了 gradient masking,用 SPSA 与 PGD 对比。
- 结果:模型对 SPSA 的准确率为 51%(CIFAR-10, ε=8),仅在 0.2% 的图像上 SPSA 成功而 PGD 未成功;Figure 3 中两种攻击得到的 margin 目标值大多接近 y=x 线。
- 作者解读:作者称这(虽远非结论性)支持 PGD 对可微图像分类器接近最优攻击者的图景,并指出对抗训练是当前少数看似能改善真实对抗风险的技术。
其他消融与分析
- Gradient-free 攻击对比(Table 2,ImageNet, ResNet-50):batch 256 时 SPSA 攻击后准确率 29%、NES 30%、ZOO 72%;batch 8192 时 SPSA 与 NES 均降至 0%,ZOO 为 10%。
- 收敛速度(Figure 2):大 batch 攻击开始找到对抗样本更晚,但随模型评估次数增加更可靠;CIFAR-10 上所有攻击在 32768 次模型评估内将准确率降至 0%,SPSA 在 2048 次评估后降至 5% 以下。
- 不同扰动大小(Figure 4,附录 D):四个非对抗训练防御在一系列 ε 下对原评估攻击保持鲁棒,但对更强攻击准确率均降至接近 0(图中仅可见坐标轴与图例,具体数值未标注)。
- PixelDefend 计算成本:作者称用 SPSA 攻击 PixelDefend 计算昂贵,其推理中的优化过程本身构成一种隐蔽性。
有什么可以进一步探索的点?
作者指出 SPSA 效率低、部分结果非结论性;实验限于两个图像数据集上的五类防御。
作者指出的局限与后续方向
- SPSA 效率低:作者称 gradient-free 优化器比梯度方法低效数个量级,因此当前形式的对抗训练在不可微模型上不可行(Section 6.4)。
- 对对抗训练的结论不确定:作者称 SPSA 与 PGD 的对比“far from conclusive”,只是增加了 PGD 接近最优攻击者的证据(Section 6.4)。
- 启发式不能替代实测:作者称确认防御的高隐蔽性最终仍需用更强攻击者做实验评估,启发式推理只能近似预测(Section 5)。
- 局部对抗风险只是代理:作者称局部对抗风险只在固定点集上给出证书,而非整体最坏情况风险;最终目标应是同时具有低最坏情况风险与低期望风险的模型(Sections 3.1, 7)。
- 后续方向:作者希望针对强攻击者的严格评估与对隐蔽性的更好理解,能推动走向无对抗样本的模型(Section 7)。
实验覆盖范围
- 被测模型为 ImageNet 上的 ResNet-50 与 CIFAR-10 上的 VGG-like 全卷积模型,共 2 个(附录 A)。
- 被测防御共 5 类:JPEG 压缩、PixelDefend、随机化、High-level Guided Denoiser、对抗训练(Section 6)。
- 样本量为每个数据集 1000 张随机测试图,PixelDefend 因算力限制为 100 张(附录 B)。
- 扰动设置为 CIFAR-10 ε=8、ImageNet ε=2,ℓ∞ 范数(Table 1)。
- 论文未报告攻击的重复次数、置信区间或统计显著性检验;附录 A 的 gradient-free 攻击对比使用 100 张 ImageNet 测试图。
总结一下论文的主要内容
作者形式化对抗风险与隐蔽性概念,用更强攻击将多种防御的对抗准确率降至接近 0%。
一篇关于对抗鲁棒性评估方法论的论文,核心主张是:许多防御只是对评估所用的弱攻击“隐蔽”,并未真正消除对抗样本。
- 问题:常用攻击与评估指标只是真实对抗风险的可计算替代目标,且相对真实风险向下偏置;防御可能通过 gradient masking、不可微性或随机性让特定攻击失效,从而获得虚高的评估分数。
- 方法:作者定义局部对抗风险 L 与“对攻击者 f 的隐蔽性”(L 与替代风险 L̂ 之差),给出识别隐蔽模型的启发式判据,并把 gradient-free 的 SPSA 改造成攻击,配合针对随机化防御的期望目标攻击和针对检测防御的似然联合优化。
- 主结果(Table 1):ImageNet ε=2 下,JPEG 压缩与 High-level Guided Denoiser 的对抗准确率从 15%、75% 降至 0%,随机化防御从 36% 降至 1% 以下;CIFAR-10 ε=8 下 PixelDefend 从 75% 降至 10% 以下。
- 检测防御:PixelCNN 似然检测器在 1% 假阳性率下原本检出 99.7% 的对抗样本,联合优化误分类与似然后检出率降为 0%(Figure 1)。
- 正面例外:对抗训练模型(Madry et al., 2017)对 SPSA 保持 51% 准确率,仅 0.2% 的图像上 SPSA 成功而 PGD 未成功;作者称这支持 PGD 接近最优攻击者,但远非结论性。
- 作者结论:评估指标只有在攻击者能找到存在的对抗样本时才有意义;作者希望隐蔽性框架与强攻击评估能推动设计 transparent 的防御,走向真正无对抗样本的模型。