跳到正文
原文

面向对抗鲁棒性的转导学习

Towards Adversarial Robustness via Transductive Learning

arXiv· arXiv:2106.08387· Jiefeng Chen, Yang Guo, Xi Wu, Tianqi Li, Qicheng Lao, Yingyu Liang, Somesh JhaUniversity of Wisconsin-Madison; Google; Mila - Quebec Artificial Intelligence Institute本站收录· 23 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者形式化 transductive 鲁棒性威胁模型,提出攻击模型空间的 GMSA 攻破 RMC 等防御,并称 ATRM 在 CIFAR-10 上将鲁棒性从 41.06% 提至 53.53%。

威胁模型Transductive threat model(Definition 1):攻击者在测试时扰动干净测试集 V 得到 U',防御方用 transductive 学习算法 Γ 基于 U' 更新模型再预测 U'。

问题
Transductive 防御在测试时根据(可能被扰动的)输入动态重训模型,理论上攻击变成 bilevel optimization,作者认为这可能增加自适应攻击的难度,但缺乏系统的威胁模型和强自适应攻击来检验。
方法
作者形式化 transductive 威胁模型,提出攻击模型空间原则并实例化为 GMSA(对历史模型集合做 PGD);同时提出结合对抗训练与无监督域适应的 ATRM 防御,并给出 transductive 与 inductive 的分离定理。
实验与结果
GMSA 攻破 RMC、RMC+ 和 DANN:如 MNIST 上 RMC(Standard) 鲁棒性从 PGD 下的 98.30% 降到 GMSA-AVG 下的 0.50%。作者称 ATRM 在其最强攻击下仍优于单独对抗训练(CIFAR-10 上 53.53% 对 41.06%)。
局限与可以继续做的
作者指出 ATRM 计算成本高、结果为初步结果,分离定理只针对构造的问题实例。实验覆盖 MNIST、CIFAR-10、GTSRB 三个数据集,URejectron 实验只用 ResNet18;论文未报告攻击的查询次数与耗时。
实验设置ResNet18、Standard 等 · MNIST、CIFAR-10 等 · Robustness、Accuracy 等
威胁模型
Transductive threat model(Definition 1):攻击者在测试时扰动干净测试集 V 得到 U',防御方用 transductive 学习算法 Γ 基于 U' 更新模型再预测 U'。white-box 假设:攻击者知道 Γ 的全部细节,但不知道防御方的 private randomness。
被测模型
ResNet18StandardMadry et al.DANNATRM
基准
MNISTCIFAR-10GTSRB
指标
RobustnessAccuracyerrrej
AI 导读研究者提出模型空间攻击原则,用于求解针对转导式防御的双层优化攻击目标,作者称其给出的实例能攻破此前的转导式防御。此类防御会在测试时依据输入动态重训练模型,针对它们的攻击可归结为双层优化。作者指出这些攻击显示转导学习用于提升对抗鲁棒性存在明显困难,同时给出理论和实验证据支持转导学习的效用。

研究者提出模型空间攻击原则,用于求解针对转导式防御的双层优化攻击目标,作者称其给出的实例能攻破此前的转导式防御。此类防御会在测试时依据输入动态重训练模型,针对它们的攻击可归结为双层优化。作者指出这些攻击显示转导学习用于提升对抗鲁棒性存在明显困难,同时给出理论和实验证据支持转导学习的效用。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    为 transductive 鲁棒性建立威胁模型,提出攻破现有防御的自适应攻击,并给出支持 transductive 学习的新证据。

    核心问题:transductive 学习能否真正提升对抗鲁棒性——既缺乏统一威胁模型,也缺乏能检验这类防御的强自适应攻击。

    • 问题场景:经典对抗鲁棒性是 inductive 设定:模型训练后固定,攻击者用扰动输入攻击。近期工作(Goldwasser et al. [11]、Wu et al. [33])让防御方在测试时根据(可能被扰动的)无标签输入 U' 用 transductive 学习算法 Γ 更新模型再预测,作者认为这在 batch prediction 部署场景下有实际动机。
    • 现有方法的不足:作者认为此前对这类防御的评估攻击较弱——RMC [33] 所用的攻击不是自适应攻击(攻击者不知道防御机制);BPDA [3] 等针对 test-time 防御的技巧也不适用,因为 transductive 学习比那些不更新模型的防御复杂得多。
    • 核心观察:攻击 transductive 防御是 bilevel optimization,Γ 不可微且攻击集 U' 同时出现在攻击与防御两侧。作者的关键观察是利用对抗样本的迁移性,把目标改为攻击 U' 邻域诱导的一整族模型(模型空间),从而放松攻击者-防御者耦合约束。
    • 论文的贡献:形式化 transductive 威胁模型(Definition 1);提出攻击模型空间原则及其实例 GMSA,攻破 RMC、RMC+、DANN;提出 ATRM 防御并证明 transductive 与 inductive 设定的分离定理(Theorem 1)。
    • 威胁模型(Definition 1,术语照抄):
      • 攻击者目标:在约定的扰动类型下,把干净测试集 V 扰动为 U',最大化更新后模型 Γ(F, D, U') 在 V' 上的损失 La。
      • 知识:white-box——攻击者知道防御方 transductive 机制 Γ 的全部细节,但不知道 Γ 的 private randomness。
      • 能力:攻击者无法直接攻击防御方最终训出的模型,只能选择在 U' 邻域内的扰动集。
      • 受害系统:防御方是 (T, Γ) 对——先用监督算法 T 在 D 上训练 F,测试时再用 Γ(F, D, U') 产出更新模型并只在 U' 上评估。
  2. 有哪些相关研究?

    相关工作横跨对抗鲁棒性、transductive 学习与域适应三个方向,论文重点检验 [11] 和 [33] 两个 transductive 防御。

    Inductive 设定下的对抗鲁棒性

    • 攻击与自适应攻击原则:[13, 4, 19, 24, 9] 提出模型固定时的多种攻击;[29] 发展了自适应攻击原则,[3](BPDA)基于这些原则攻破了许多依赖混淆梯度的防御。
    • 对抗训练:[23, 34] 是 inductive 设定下获得鲁棒性的基本方法;[25, 5] 研究鲁棒泛化所需的数据量与无标签数据的作用。

    Transductive 设定下的对抗鲁棒性

    • Goodfellow [12]:提出 dynamic models 研究议程,模型部署后持续变化以防御关联攻击。
    • Wu et al. [33](RMC):作者称这是该设定下第一个防御方法,在测试时对单点做 runtime masking and cleansing。论文指出其评估所用攻击不是自适应攻击,本文用攻击模型空间的方法攻破了它。
    • Goldwasser et al. [11](Rejectron/URejectron):在任意扰动、bounded VC dimension 下给出 transductive 保证。论文在深度学习小扰动设定下实证研究 URejectron,发现两种失效模式。

    域适应与测试时适应

    • DANN [2, 10]:经典无监督域适应方法。论文提出把 DANN 用作 transductive 防御的新用法,并称其单独使用时会被模型空间攻击攻破,但与对抗训练结合后(ATRM)有非平凡的鲁棒性提升。
    • Test-time adaptation [32, 28]:面向分布偏移的测试时适应方法。作者称这些方法并非为对抗鲁棒性设计,并发现它们即使在迁移攻击下也很脆弱(正文未给出对应实验表格)。

    基线与基准:攻击基线为 PGD [23](含 [33] 提出的 PGD-skip 设定)和迁移攻击;防御基线为 Standard(标准训练)和 Madry et al. [23](对抗训练)。数据集为 MNIST [20]、CIFAR-10 [18]、GTSRB [27]。

    作者将本文定位为连接三个方向的工作:用自适应攻击原则检验 transductive 防御,同时给出 transductive 学习有用性的新理论与实证证据。

  3. 论文如何解决这个问题?

    形式化 transductive 威胁模型,用攻击模型空间原则构造 GMSA 攻击,并提出 ATRM 防御与分离定理。

    整体思路分三部分:先把 transductive 防御统一进一个博弈式威胁模型,再针对其 bilevel 结构提出攻击模型空间原则及其实例 GMSA,最后给出正面证据——ATRM 防御和 transductive/inductive 分离定理。

    威胁模型形式化

    • 博弈结构(Definition 1):防御方先在干净训练集 D 上训练 F = T(D);攻击者收到干净测试集 V 后产出扰动集 V'(V' ∈ N(V)),把特征部分 U' 发给防御方;防御方用 Γ(F, D, U') 产出更新模型 F*;裁判计算 La(F*, V')。
    • 攻击目标:maxV′ ∈ N(V),  U′ = V′|X La(Γ(F, D, U′), V′)——U' 同时出现在攻击与防御两侧,这是与 inductive 攻击的关键区别。
    • 涵盖范围:作者称该框架可涵盖 test-time 防御 [3]、Randomized Smoothing [7]、RMC [33] 和 URejectron [11];本文聚焦 Γ 真正做 transductive 学习(更新模型)、小扰动、深度学习且无 redaction 的设定。

    攻击难点与攻击模型空间原则

    • 三个难点:(D1) Γ 是优化算法,目标成为 bilevel optimization,Γ 不可微;(D2) U' 同时是攻击对象和防御输入,难以找到能击败自身诱导模型的更新方向;(D3) Γ 的输出因 private randomness 可以是随机变量。
    • 原则:利用对抗样本的迁移性,把目标改为鲁棒版本 maxU′ minU ∈ N(U′) La(Γ(U), U′)——找一个攻击集击败 U' 邻域诱导的整个模型空间。作者认为这放松了攻击者-防御者约束,并为处理不可微性提供更多信息。

    两个攻击算法

    • FPA(Fixed Point Attack,Algorithm 1):改编自深度学习中解 bilevel optimization 的文献 [22]:第 i 轮固定模型 F(i) 构造攻击集 U(i),再跑 Γ 得 F(i+1),迭代 T 轮后选最优攻击集。作者发现 FPA 在实验中较弱。
    • GMSA(Greedy Model Space Attack,Algorithm 2):第 i 轮攻击此前所有历史模型 {F(0),…,F(i)},损失取 LAVG(平均,得 GMSA-AVG)或 LMIN(最小,得 GMSA-MIN),用 PGD 求解;同样迭代 T 轮选最优。实验中 T = 9。

    ATRM 防御与分离定理

    • ATRM(式 (10)):把模型写成 F(x) = c(φ(x)),训练目标为在对抗扰动训练集 D' 上的损失加 α 乘以 D' 与 U' 的表示分布距离 d(p_φ(D'), p_φ(U')),即对抗训练与无监督域适应(DANN 式表示匹配)的结合。
    • 分离定理(Theorem 1):作者证明对任意 ε ∈ (0, 1/3),存在二分类问题实例:inductive 设定下任何算法的损失至少为 (1−ε)/2,而 transductive 设定下存在多项式时间算法使损失至多为 ε。证明构造基于高斯数据模型(附录 C.2)。
  4. 论文做了哪些实验?

    在 MNIST/CIFAR-10 上 GMSA 攻破 RMC、RMC+、DANN;作者称 ATRM 在其最强攻击下仍优于单独对抗训练。

    实验设置

    • 被测防御/模型:RMC、RMC+(扩展版)、DANN、ATRM,各自搭配 Standard(标准训练)或 Madry et al.(对抗训练 [23])预训练模型;URejectron 单独在 GTSRB 上用 ResNet18 评估。
    • 数据集:MNIST、CIFAR-10(主实验);GTSRB(URejectron 实验,取 10 类、每类 10,000 张增广图像,按 63,000/7,000/30,000 划分训练/验证/测试)。
    • 攻击配置:MNIST 用 L∞ PGD,ε = 0.3、步长 0.01、100 步(DANN/ATRM 实验为 200 步);CIFAR-10 用 L∞ PGD,ε = 8/255、步长 1/255、40 步(DANN/ATRM 实验为 100 步);FPA/GMSA 迭代 T = 9。
    • 指标:Robustness(攻击下的准确率)与 Accuracy(干净准确率),未说明时数值均为百分比。
    • 重复与随机性:防御方使用与攻击者不同的 private randomness;PGD-skip 实验独立重复 1000 次取平均;DANN/ATRM 用 5 个随机种子重复(Figure 3)。
    • URejectron 实验细节:x̃ 由 50% 正常样本与 50% 对抗样本组成;PGD 攻击 ε = 8/255、40 步;CW 攻击用 L2 范数、c = 1、κ = 0、100 步;corruption 用 [15] 的 brightness、severity 1。

    主结果

    据 Table 3(DANN 与 ATRM,PGD 为迁移攻击;"—"为论文未报告):

    表格较宽,可左右滑动

    数据集方法AccuracyPGDFPAGMSA-AVGGMSA-MIN
    MNISTStandard99.420.00———
    MNISTMadry et al.99.1691.61———
    MNISTDANN99.2796.6696.8179.376.17
    MNISTATRM99.0295.5595.1594.3295.22
    CIFAR-10Standard93.950.00———
    CIFAR-10Madry et al.86.0641.06———
    CIFAR-10DANN92.0554.298.550.510.08
    CIFAR-10ATRM85.1160.7161.5953.5357.66
    • 作者称 DANN 单独使用在迁移攻击甚至 FPA 下有非平凡鲁棒性(优于 RMC),但被 GMSA-MIN 攻破。
    • 作者称 ATRM 在其最强自适应攻击下仍保持鲁棒性,并优于单独对抗训练:MNIST 上从 91.61% 提至 94.32%,CIFAR-10 上从 41.06% 提至 53.53%。
    • 代价:ATRM 的干净准确率低于 Madry et al.(MNIST 99.02 对 99.16;CIFAR-10 85.11 对 86.06)。

    攻击 RMC 与 RMC+

    • RMC(Table 1):FPA 已能攻破配 Standard 模型的 RMC。与防御无感知的 PGD 相比,GMSA-AVG 把鲁棒性在 MNIST 上从 98.30% 降到 0.50%、在 CIFAR-10 上从 97.60% 降到 8.00%。配对抗训练模型时,GMSA-MIN 下 MNIST 从 96.10% 降到 58.80%、CIFAR-10 从 71.70% 降到 39.60%——作者指出此时 RMC 反而比单独对抗训练更差。
    • PGD-skip 设定(Table 2,p = 100):作者确认 [33] 的观察——PGD-skip 下 RMC 鲁棒性有限而 RMC+ 较好,且 RMC+ 对 FPA 也有一定抵抗力;但 GMSA-MIN 攻破两者:MNIST 上 RMC+(Madry et al.) 从 69.80% 降到 4.00%;CIFAR-10 上 RMC+(Standard) 从 60.70% 降到 4.80%,RMC+(Madry et al.) 从 71.70% 降到 23.50%(作者指出后者仍差于单独对抗训练)。

    URejectron 的小扰动失效模式(Figure 1)

    • 设置:GTSRB + ResNet18,x̃ 为 50% 正常样本 + 50% 对抗样本;图中给出不同拒绝率阈值下的 err(被接受样本上的错误率)与 rej(正常样本拒绝率)曲线。
    • PGD 迁移攻击(Figure 1(a)):作者称 URejectron 表现符合预期。
    • CW 迁移攻击(Figure 1(b)):作者称可构造与干净样本很相似、能穿过判别器 S 并造成大错误率的对抗样本。
    • 图像腐蚀(Figure 1(c)):作者称用 brightness 等腐蚀生成的"良性"扰动样本(基分类器预测正确,准确率 98.90%)会被 URejectron 全部拒绝;作者承认这超出其保证 (3) 的范围,但认为小扰动情形需要更仔细的考量。

    其他消融与分析

    • 迭代过程(Figure 2):攻击者用自己随机性评估,FPA 通常无法产生逐轮更强的攻击集;攻 DANN 时 GMSA-MIN 更有效,攻 ATRM 时 GMSA-AVG 更有效。
    • 私有随机性的影响(附录 D.5):MNIST 上 DANN 在 GMSA-AVG 最强攻击集上攻击者侧鲁棒性仅 10.97%,防御方用私有随机性可达 79.37%;作者解释为该攻击集未能击败整个模型空间(某些历史模型 F(i) 仍有 71.28% 鲁棒性)。
    • 多种子重复(Figure 3):作者称 DANN 与 ATRM 的鲁棒性在不同随机种子下变化不大。
    • 预训练模型(Table 4):MNIST 上 Standard/Madry et al. 的 PGD 鲁棒性分别为 0.00/93.50;CIFAR-10 上分别为 0.00/46.80。
  5. 有什么可以进一步探索的点?

    作者指出 ATRM 计算成本高、结果为初步结果,并称分离定理可向更广问题类推广;实验覆盖三个数据集。

    作者指出的局限与后续方向

    • ATRM 计算成本高:作者提醒这些初步结果的局限,例如 ATRM 的高计算成本(Introduction 与 Section 5)。
    • 结果为初步性质:作者称这些结果是 preliminary results,需提醒其局限(Section 5)。
    • 分离定理的推广:作者称把分离结果推广到更广的问题类是一个 intriguing direction(Section 5.2)。
    • 小扰动情形需更仔细考量:在 URejectron 实验后,作者认为小扰动 regime 需要更仔细的考虑(Section 3.2)。
    • 进一步探索 transductive 学习的效用:作者称 ATRM 的积极结果说明对 transductive 学习用于对抗鲁棒性的效用值得进一步探索(Section 6.2)。

    实验覆盖范围

    • 被测防御为 RMC、RMC+、DANN、ATRM、URejectron 共 5 种,搭配 Standard 与 Madry et al. 两种预训练模型(Section 6、附录 D)。
    • 数据集为 MNIST、CIFAR-10(主实验)和 GTSRB(仅 URejectron 实验,取 10 类子集,ResNet18)(附录 D.2)。
    • 攻击为 L∞ PGD 及其变体(FPA、GMSA-AVG、GMSA-MIN、PGD-skip)与 L2 CW(仅 URejectron 实验);扰动预算为 MNIST ε = 0.3、CIFAR-10 与 GTSRB ε = 8/255(附录 D.3、D.4)。
    • PGD-skip 实验独立重复 1000 次;DANN/ATRM 用 5 个随机种子重复(附录 D.3、D.6)。
    • 论文未报告攻击的查询次数、单次攻击耗时或 ATRM 的具体训练开销数字。
  6. 总结一下论文的主要内容

    形式化 transductive 威胁模型并提出 GMSA 攻破现有防御,同时给出 ATRM 与分离定理作为正面证据。

    一篇关于 transductive 对抗鲁棒性的攻击+分析论文:防御方在测试时根据(可能被扰动的)无标签输入动态重训模型,作者系统检验了这种范式能否真正提升鲁棒性。

    • 问题:此前 transductive 防御缺乏统一威胁模型,评估所用攻击较弱(如 RMC 用的非自适应攻击),BPDA 等现有攻击技巧也不适用于真正做学习的 Γ。
    • 方法:作者形式化 transductive 威胁模型(Definition 1,white-box、攻击者不知防御方 private randomness),指出攻击是 bilevel optimization;利用对抗样本迁移性提出攻击模型空间原则,实例化为 GMSA(对历史模型集合做 PGD,T = 9);并提出结合对抗训练与 DANN 式表示匹配的 ATRM 防御。
    • 攻击结果:GMSA 攻破 RMC、RMC+ 与 DANN——MNIST 上 RMC(Standard) 鲁棒性从 PGD 下的 98.30% 降到 GMSA-AVG 下的 0.50%(Table 1);PGD-skip 设定下 RMC+(Madry et al.) 从 69.80% 降到 4.00%(Table 2);CIFAR-10 上 DANN 从迁移攻击下的 54.29% 降到 GMSA-MIN 下的 0.08%(Table 3)。
    • URejectron:在 GTSRB + ResNet18 的小扰动设定下,作者称 CW 迁移攻击可穿过判别器造成大错误,brightness 腐蚀的良性样本则被全部拒绝(Figure 1)。
    • 正面证据:作者称 ATRM 在其最强攻击下仍优于单独对抗训练(CIFAR-10:53.53% 对 41.06%;MNIST:94.32% 对 91.61%,Table 3),并证明 transductive 与 inductive 设定的分离定理(Theorem 1,构造性高斯数据实例)。
    • 作者的结论:攻击结果说明用 transductive 学习提升鲁棒性存在困难,但 ATRM 与分离定理提供了支持其效用的初步证据;作者同时提醒 ATRM 计算成本高、结果为初步性质。

相关论文

共同使用 GTSRB
共同使用 MNIST
再看 3 篇
共同使用 MNIST
阅读原文arxiv.org