迈向评估转导学习神经网络的鲁棒性
Towards Evaluating the Robustness of Neural Networks Learned by Transduction
作者为 transductive-learning 防御建立威胁模型并提出 GMSA 攻击框架,称 RMC、DENT、URejectron 均可被弱实例化击破。
攻击者拦截干净测试批次 V,在约定扰动类型(如 L∞ 范数、预算 ε)内扰动特征得到 U′ 发给防御方;防御方用 transductive 学习算法 Γ 基于 U′ 更新模型。
- Transductive-learning 防御在测试时根据输入动态更新模型,攻击目标变成 bilevel optimization,作者认为此前用 AutoAttack 等归纳式攻击评估会高估其鲁棒性。
- 作者形式化 1-round 与多轮威胁模型,提出 attacking model space 原则:攻击 U′ 邻域诱导的一族模型;并给出贪心实例化 GMSA(AVG/MIN 两种损失),用 PGD 求解。
- 作者称 GMSA 弱实例化即可击破 RMC、DENT、URejectron:RMC+Standard 在 MNIST 上 GMSA-AVG 下 robustness 降至 0.50%;DENT 相对静态对抗训练只剩小幅提升;TADV 则相对提升。
- 作者称未来可探索能抵御 GMSA 的 transductive 防御与更强的自适应攻击。实验覆盖 MNIST、CIFAR-10、GTSRB,RMC 与 DENT 各评 1000 个测试点,多轮只评 non-leaking 设置。
- 威胁模型
- 攻击者拦截干净测试批次 V,在约定扰动类型(如 L∞ 范数、预算 ε)内扰动特征得到 U′ 发给防御方;防御方用 transductive 学习算法 Γ 基于 U′ 更新模型。攻击者完全知道 Γ 和初始预训练模型,但不知道防御方在攻击者行动之后采样的 private randomness;多轮博弈分 states-leaking 与 non-leaking、naturally ordered 与 adversarially ordered,主实验只评 non-leaking 与 naturally ordered。
- 被测模型
- StandardMadry et al.Wu et al. (2020a)Carmon et al. (2019)Sehwag et al. (2020)Wang et al. (2020)Hendrycks et al. (2019)Wong et al. (2020)Ding et al. (2020)DANNTADVResNet18
- 基准
- MNISTCIFAR-10GTSRB
- 指标
- AccuracyRobustnesserrrej
研究者提出 GMSA(Greedy Model Space Attack)攻击框架,即使采用较弱实例也能攻破此前抵御 AutoAttack 等攻击的转导学习对抗防御。论文为这类防御建立了威胁模型并指出其中的重要细节,提出以攻击模型空间的原则求解双层优化攻击目标,GMSA 可作为评估转导学习防御的新基线。作者还报告了转导对抗训练的正面结果,在测试时用新鲜随机性对模型进行对抗重训练,可显著提升对所考虑攻击的鲁棒性。
深度解读
这篇论文试图解决什么问题?
如何正确评估 transductive-learning 防御的鲁棒性:作者认为现有评估高估了它们。
核心问题:如何对 transductive-learning based defenses 做原则性的威胁分析与自适应攻击评估。
- 问题场景:这类防御利用一批测试时输入动态更新模型(也称 test-time adaptation、dynamic defenses),作者称部署中批量预测很常见,防御方希望借此适配攻击者的扰动输入。
- 现有评估的不足:作者称 AutoAttack 是 inductive threat model 下的 state-of-the-art 攻击,但对 transductive 防御无效;Wang et al. 报告 DENT 在 CIFAR-10 上对 AutoAttack 比对抗训练绝对提升超过 20%,而作者的自适应攻击下提升不足 3%。
- 核心观察:攻击目标是 bilevel optimization,Γ 不可微且攻击集 U′ 同时出现在攻击与防御两侧;作者利用对抗样本的可迁移性,提出攻击 U′ 邻域诱导的 model space 这一原则。
- 论文产出:形式化 1-round 与多轮威胁模型,提出攻击框架 Greedy Model Space Attack (GMSA) 作为新基线,并系统评估 RMC、DENT、DANN、TADV、URejectron。
- 威胁模型(Definition 1 及第 4 节):
- 目标:在约定扰动类型内(如 L∞、预算 ε)扰动测试批次 V 的特征得到 U′,使 Γ(U′) 学出的模型在 U′ 上出错。
- 知识:white-box——攻击者完全知道 Γ、初始预训练模型 F 与训练数据 D,但不知道防御方在攻击者行动之后采样的 private randomness。
- 能力:拦截干净测试批次、扰动特征后发给防御方;多轮时可维护任意状态;adversarially ordered 设置下可囤积数据后按最坏顺序分批发送。
- 受害系统:使用 transductive 学习算法 Γ(可选基模型 F=T(D))在测试时更新模型的防御方。
有哪些相关研究?
相关研究分三组:归纳式攻击与防御、test-time 防御、transductive-learning 防御。
归纳式(inductive)对抗鲁棒性
- Goodfellow et al. (2015)、Carlini & Wagner (2017)、Kurakin et al. (2017)、Moosavi-Dezfooli et al. (2016)、Croce & Hein (2020b)——针对评估期模型固定的归纳设置提出的多种攻击。
- Madry et al. (2018)、Zhang et al. (2019)——对抗训练,该设置下获得鲁棒性的基础方法;AutoAttack(Croce & Hein, 2020a)是归纳威胁模型下的 state-of-the-art 攻击。
- Tramèr et al. (2020) 提出自适应攻击原则,Athalye et al. (2018) 的 BPDA 基于这些原则攻破了多个防御。
Test-time 防御
- 一类工作用不可微函数"净化"测试输入再送入预训练模型,作者指出其中大多数被 BPDA 攻破。
- Goodfellow (2019) 提出"dynamic model defense"的研究议程。
Transductive-learning 防御(本文评估对象)
- RMC(Wu et al., 2020b)——测试时在单个测试点上基于 top-K 近邻的对抗训练数据适配模型;原文评估了 transfer attack 与 PGD-skip attack,作者将前者归类为 stateless 且 non-adaptive,后者为 state-leaking 但仍 non-adaptive。
- DENT(Wang et al., 2021)——stateless,从原始预训练模型出发,只更新 batch normalization 层的 affine 参数,用 entropy minimization 加 information maximization regularization 做适配。
- Goldwasser et al. (2020)——提出 transductive 威胁模型与 URejectron,学习"允许点"集合 S 实现带拒判的预测,在 bounded VC dimension 情形有理论保证;作者将其威胁模型恢复为 1-round 博弈的特例。
基线与基准:攻击基线为 AutoAttack、PGD attack(迁移设置)与 FPA;防御对照为 static base model(含 Madry et al. 对抗训练);数据集为 MNIST、CIFAR-10、GTSRB。
作者将本文定位为:此前工作只在 naturally-ordered 博弈下评估、且所用攻击按其定义多为 non-adaptive,本文给出原则性威胁建模与显式利用 Γ 知识的自适应攻击框架。
论文如何解决这个问题?
先形式化威胁模型,再提出 attacking model space 原则与贪心实例化 GMSA。
整体思路:先把 transductive 防御建模成攻击者—防御者博弈并指出建模细节,再把攻击目标放松为攻击一族模型(model space),用贪心算法求解,得到攻击框架 Greedy Model Space Attack (GMSA)。
威胁模型形式化
- 1-round 博弈(Definition 1):防御方训练基模型 F=T(D);攻击者收到干净测试集 V,产出 V′=A(Γ,F,D,V)(V′∈N(V)),发送 U′=V′|X;防御方产出 F*=Γ(F,D,U′),由 referee 在 U′ 上评估。
- 多轮扩展的四个细节:Γ 在攻击者行动之后采样的 randomness 视为 private randomness;防御方跨轮状态分 states-leaking 与 non-leaking;显式利用 Γ 知识的攻击称为 adaptive;批次顺序分 naturally ordered 与 adversarially ordered,作者指出此前工作只考虑前者,主实验聚焦前者,后者仅在附录 A.7 对 DENT 评估。
- 建模容量:不用 Γ 时退化为经典归纳威胁模型;也涵盖被 BPDA 攻破的 test-time"净化"防御(Γ 为不可微净化函数,不更新模型,因此不算 transductive-learning based)。
攻击目标与难点
- 攻击目标为 maxV′ ∈ N(V), U′=V′|X La(Γ(U′), V′),即攻击者寻找扰动后的测试批次使 Γ 适配出的模型在其上损失最大;这是 bilevel optimization(公式 (4))。
- 三个难点(作者列出):(D1) Γ 不可微,且作者称 NTK 等现有理论不适用于处理无标签数据的 transductive 学习,BPDA 也不适用;(D2) U′ 同时出现在攻击与防御两侧,难以收敛到能击败自身诱导模型的 U*;(D3) Γ(U′) 因 private randomness 可以是模型的随机变量。
- FPA(Algorithm 1):每轮固定上轮模型 F(i)=Γ(U(i)) 构造 U(i+1) 击败它,迭代 T 轮后选最优攻击集;作者称实验中 FPA 较弱,原因正是 (D2);transfer attack 是 T=0 的特例。
Attacking model space 原则与 GMSA
- 鲁棒目标:利用对抗样本可迁移性,改为 maxU′ minU ∈ N(U′) La(Γ(U), U′),即找一个攻击集击败 U′ 邻域诱导的一族模型;作者称这放松了 attacker-defender 约束(D2),并为处理不可微性(D1)提供更多信息。
- GMSA(Algorithm 2):第 i 轮攻击历史所有模型 {F(j)}(j=0..i),损失取两种实例化——LAVG 取各模型攻击损失的平均(GMSA-AVG),LMIN 取最小(GMSA-MIN);用 PGD 求解,迭代 T 轮后选使 L(F(i+1),V(i)) 最大的攻击集。
- 实现细节(附录 A.1.3):GMSA-AVG 每个 PGD 步对每个历史模型顺序反向传播并累积梯度;GMSA-MIN 第 i 轮的 PGD 步数按因子 i+1 放大。
多轮与评测方式
- 防御 stateless 时逐轮重复 1-round 攻击;stateful 时分 leaking 与 non-leaking,第 6 节实验只评 non-leaking(对攻击者更难)。
- 成功判定:报告 accuracy(干净测试输入上的表现)与 robustness(攻击下的表现),数值均为百分比;对 transductive 防御用 AA、PGD、FPA、GMSA-AVG、GMSA-MIN 估计 robustness,其中 AA 与 PGD 为迁移设置(攻击静态基模型生成样本再评估防御);静态模型一律用 AutoAttack 估计。
论文做了哪些实验?
在 MNIST/CIFAR-10/GTSRB 上评估五种防御,作者称 GMSA 击破 RMC、DENT、URejectron,TADV 反而提升鲁棒性。
实验设置
- 被测防御与基模型:RMC(基模型 Standard 与 Madry et al.,MNIST 用两层卷积网络、CIFAR-10 用 ResNet-32);DENT+(CIFAR-10,基模型取自 RobustBench Model Zoo:Wu et al. (2020a)、Carmon et al. (2019)、Sehwag et al. (2020)、Wang et al. (2020)、Hendrycks et al. (2019)、Wong et al. (2020)、Ding et al. (2020));DANN(MNIST 用 Chuang et al. (2020) 架构、CIFAR-10 用 ResNet-18);TADV(MNIST 用 LeNet、CIFAR-10 用 ResNet-20);URejectron(GTSRB,ResNet18)。
- 数据集:MNIST、CIFAR-10、GTSRB(附录 A.1.2:MNIST 每类 5,500 训练/1,000 测试;CIFAR-10 每类 5,000 训练/1,000 测试;GTSRB 约 34,799 训练、12,630 测试,数据增强至每类 10,000)。
- 威胁模型:MNIST 为 L∞、ε=0.3;CIFAR-10 与 GTSRB(PGD)为 L∞、ε=8/255;防御方使用与攻击者不同的 private randomness;RMC 评 non-state leaking 设置。
- 攻击与迭代参数:AA、PGD(迁移设置)、FPA、GMSA-AVG、GMSA-MIN;RMC/DANN/TADV 设 T=9,DENT 设 T=2;DENT 攻击用 14 个 PGD 子程序(5 个 untargeted CW loss 不同随机重启 + 9 个 targeted CW loss 不同目标标签)取最优。
- 样本量与重复:RMC 与 DENT 为节省计算各评 n=1000 个随机采样测试点;RMC 另做 5 次随机运行报告 mean±std(Table 6);URejectron 在 30,000 张测试图构成的 x̃(50% 正常 + 50% 对抗)上评估。
- 指标:accuracy 与 robustness(百分比);URejectron 报告 err(通过 S 的样本上的错误率)与 rej(干净输入拒绝率)。
主结果
据 Table 1(RMC,robustness 列,%):
表格较宽,可左右滑动
数据集 基模型 Static AA RMC AA RMC PGD RMC FPA GMSA-AVG GMSA-MIN MNIST Standard 0.00 97.70 98.30 0.60 0.50 1.10 MNIST Madry et al. 87.70 95.70 96.10 59.50 61.40 58.80 CIFAR-10 Standard 0.00 94.20 97.60 8.50 8.00 8.10 CIFAR-10 Madry et al. 44.30 77.90 71.70 40.80 42.50 39.60 - 作者称 RMC 配 Standard 基模型已被更弱的 FPA 击破;配对抗训练基模型时,RMC 的鲁棒性反而低于单独对抗训练(Static AA 列)。
- 作者称防御无感的 AutoAttack 与 GMSA 差距悬殊,说明 AA 高估了 RMC。
DENT 与 DANN
- DENT(Table 2,CIFAR-10):DENT-AA 下 robustness 为 62.80%–80.10%,而 GMSA 各变体下与 PGD、FPA 相近,例如 Wu et al. (2020a) 基模型 GMSA-AVG 为 59.60%(Static AA 58.00%),Ding et al. (2020) 基模型 GMSA-AVG 为 39.10%(Static AA 39.70%)。作者称 DENT-AA 与 AA 都高估了 DENT,PGD 已能把 DENT 降到与静态防御几乎相同。
- DENT 例外:作者称自适应攻击下 DENT 相对对抗训练只剩 minor improvement(引言称不足 3%);附录 A.7 的 adversarially-ordered 博弈中(Table 5),DENT robustness 被降到低于静态基模型,如 Ding et al. (2020) 行 GMSA-MIN 35.00% 对 Static AA 39.70%。
- DANN(Table 3):作者称 DANN 在 AA、PGD、FPA 下有非平凡鲁棒性(如 MNIST 上 AA 97.59%、FPA 96.81%),但 GMSA 下很低:MNIST GMSA-MIN 6.17%,CIFAR-10 GMSA-AVG 5.53%。
TADV 与 URejectron
- TADV(Table 4):攻击方攻击 T=10 个独立随机性对抗训练模型的集成,再检查 U′ 是否迁移到全新随机性训练的模型。MNIST 上 robustness 从 Madry et al. 的 86.61%(Static AA)升至 GMSA-AVG 下 94.27%;CIFAR-10 上从 45.29% 升至 54.12%。作者称这一现象"有些出人意料":U′ 迁移性不佳,TADV 对所有考虑的攻击都提升鲁棒性。
- URejectron(Figure 1,GTSRB):(a) PGD 迁移攻击下作者称 URejectron 按预期工作;(b) 换用 CW 攻击(L2,分类器 robustness 0.00%)后,作者称可构造与干净输入很相似、穿过 S 并造成大错误的对抗样本;(c) 用 brightness corruption(severity 1,分类器准确率 98.90%)生成的良性扰动全部被拒绝。作者称这暴露了两种失败模式:不可感知扰动漏过、良性扰动被拒。
其他消融与分析
- RMC 五次随机运行(Table 6):MNIST Standard GMSA-AVG 0.54±0.05,CIFAR-10 Standard GMSA-AVG 8.50±1.29,作者称结论不变。
- DENT 适配超参(附录 A.3):AdaMod 六步、学习率 0.006、batch size 128、无 weight decay,只更新 BN affine 参数。
- URejectron 实现(附录 A.6):T=1 迭代,训练/验证/测试划分为 63,000/7,000/30,000,分类器训练集准确率 99.90%、验证集 99.63%。
有什么可以进一步探索的点?
作者称未来可探索能抵御 GMSA 的防御与更强自适应攻击;实验覆盖三个数据集、五种防御。
作者指出的局限与后续方向
- 更鲁棒的防御:Conclusion 称未来可探索在 GMSA 攻击下仍鲁棒的 transductive 防御。
- 更强的攻击:Conclusion 称未来可探索更强的、能有效评估 transductive 防御的自适应攻击。
- FPA 较弱:第 5.1 节称实验发现 FPA 弱,原因是 U(i+1) 击败 F(i) 并不能说明它能击败自身诱导的 F(i+1)。
- 不可迁移攻击的存在性:第 5.2 节称理论上可能存在不可迁移的"brittle"攻击集,但算法上识别它们有挑战性,鲁棒目标只是一种自然放松。
- 论文未设专门 Limitations 章节,以上均出自 Conclusion 与第 5 节。
实验覆盖范围
- 被测防御为 RMC、DENT、DANN、TADV、URejectron 共五种;数据集为 MNIST、CIFAR-10、GTSRB;扰动类型为 L∞(ε=0.3 或 8/255),URejectron 另测 L2 CW 攻击与 brightness corruption。
- 多轮博弈只评估 non-leaking 设置(第 5 节称这对攻击者更难);adversarially-ordered 博弈仅对 DENT 评估(附录 A.7)。
- RMC 与 DENT 各在 1000 个随机采样测试点上评估;RMC 另有 5 次随机运行的 mean±std(Table 6),其余防御论文未报告重复次数。
- DENT 实验只评 CIFAR-10,基模型为 RobustBench Model Zoo 的 7 个预训练鲁棒模型;TADV 只与 Madry et al. 对抗训练对比。
- 论文未报告各攻击的查询次数或耗时;GMSA 的迭代预算为 T=9(RMC/DANN/TADV)与 T=2(DENT)。
总结一下论文的主要内容
威胁建模 + GMSA 攻击框架:作者称现有 transductive 防御鲁棒性被高估,TADV 是例外。
一篇针对 transductive-learning based defenses 的威胁分析与自适应攻击论文(ICLR 2022)。这类防御在测试时利用一批输入动态更新模型,作者认为其攻击目标是 bilevel optimization,此前用归纳式攻击评估高估了鲁棒性。
- 威胁模型:形式化 1-round 与多轮博弈,明确 private randomness、states-leaking 与 non-leaking、adaptive 与 non-adaptive、naturally 与 adversarially ordered 四个此前不清的建模细节。
- 攻击原则:利用对抗样本可迁移性,把目标放松为攻击 U′ 邻域诱导的 model space;贪心实例化 GMSA(AVG/MIN 两种损失,PGD 求解),作为评估这类防御的新基线。
- RMC:Standard 基模型下 GMSA-AVG 把 robustness 从 AA 的 97.70% 降到 0.50%(MNIST)、从 94.20% 降到 8.00%(CIFAR-10)(Table 1)。
- DENT:CIFAR-10 上 GMSA 各变体把 robustness 降到与静态基模型几乎相同,作者称相对对抗训练的提升不足 3%,而原文对 AutoAttack 报告超过 20% 的绝对提升;adversarially-ordered 设置下可低于静态基模型(Table 5)。
- DANN 与 URejectron:DANN 在 AA/PGD/FPA 下有非平凡鲁棒性但被 GMSA 击破(MNIST GMSA-MIN 6.17%);URejectron 在 CW 攻击与 image corruption 下分别出现漏过与误拒两种失败模式(Figure 1)。
- TADV:测试时用新鲜 private randomness 对抗重训,MNIST robustness 从 86.61% 升至 94.27%、CIFAR-10 从 45.29% 升至 54.12%(GMSA-AVG,Table 4),作者称这一结果有些出人意料。
作者的结论:GMSA 应作为评估 transductive 防御的新基线;现有防御在其攻击下不鲁棒,而利用测试时新鲜随机性的 transductive adversarial training 是一个值得探索的方向。