可迁移对抗样本的空间
The Space of Transferable Adversarial Examples
作者提出 GAAS 方法估计对抗样本子空间维度,发现 MNIST 全连接网络间可迁移方向平均 24.87 个,并给出可迁移性的充分条件与反例。
- 对抗样本常在模型间迁移,使黑盒攻击成为可能,但对抗子空间的维度与不同模型决策边界的相似性此前缺乏定量刻画。
- 提出 GAAS 方法寻找多个正交对抗方向以估计子空间维度;定义合法、对抗、随机三个方向测量模型间决策边界距离;并对模型无关的类均值偏移扰动给出可迁移的充分条件与 XOR 反例。
- MNIST 全连接网络间平均 24.87 个方向可迁移;多数模型对中边界间距离小于数据点到边界的距离;对抗训练仅将对抗方向边界间距从 0.32 增至 0.63,不足以阻止迁移。
- 作者指出 GAAS 依赖损失的一阶近似,l∞ 等其他范数下的最大正交构造是开放问题;SVM 结果因 one-vs-rest 实现而定量不同;XOR 反例基于人工构造数据,真实数据是否有类似性质未知。
- 威胁模型
- 攻击者在测试时用对抗样本误导模型;关注 untargeted 误分类。黑盒场景:攻击者训练本地模型(可通过查询目标模型获得),在其上构造对抗样本迁移到目标模型。
- 被测模型
- logistic regression (LR)support vector machine (SVM)DNNCNNLinearQuadraticadversarially trained DNN
- 基准
- MNISTDREBIN
- 指标
- transfer ratenumber of orthogonal adversarial directionsMIN-DISTINTER-DISTaccuracy on shifted data
论文提出梯度对齐对抗子空间(GAAS)方法,通过寻找多个正交对抗扰动直接估计对抗子空间的维度。在 MNIST 上两个全连接网络中,源模型平均找到 44.28 个正交扰动,其中 24.87 个可迁移到目标模型,迁移部分构成约 25 维的连续子空间;在该子空间内随机采样扰动可使源模型 99%、目标模型 89% 的样本被误分类。测量显示不同模型的决策边界在对抗方向与正常方向上都很接近,对抗训练只把对抗方向的边界间距从 0.32 提高到 0.63。作者给出类均值偏移扰动可迁移的充分条件,并构造带 XOR 伪影的 MNIST 变体,使线性与二次模型之间的对抗样本互不迁移。
推荐理由论文用正交扰动数量直接估计对抗子空间维度,为理解黑盒迁移攻击为何普遍提供了可复用的测量方法。
相关热点
0 个事件 · 1 条新闻提到
提到这篇论文的新闻
- Nicholas Carlini Writing引用了论文编号或链接Nicholas Carlini 公开其 2016–2019 年研究想法日志文件
I remember considering working on this paper in the summer of 2017 and deciding that it probably wasn't actually something that would be interesting...
深度解读
这篇论文试图解决什么问题?
定量刻画对抗样本子空间的维度与模型间决策边界相似性,解释并界定对抗样本的可迁移性。
核心问题:对抗样本为何能在模型间迁移?其对抗子空间有多大、不同模型的决策边界有多相似,此前缺乏定量分析。
- 问题场景:对抗样本通过对测试输入做微小扰动使模型误分类,且常在模型间迁移,使攻击者能用本地模型发起黑盒攻击,作者认为这是 ML 安全部署的障碍。
- 现有不足:已有经验表明对抗样本处于大而连续的区域,但这些子空间的维度未知;不同模型决策边界的相似性也缺乏定量研究。
- 核心观察:作者认为子空间维度越高,两个模型的对抗子空间越可能相交,从而发生迁移;并假设决策边界在任意方向上都彼此接近。
- 论文贡献:提出估计对抗子空间维度的方法;首次定量比较不同模型决策边界;形式化给出模型无关扰动可迁移的充分条件及迁移失败的反例。
- 威胁模型:
- 目标:测试时误导模型产生 untargeted 误分类(预测为真实类别之外的任意类)。
- 知识:黑盒——攻击者训练本地模型(可通过向目标模型发起预测查询获得),在其上构造对抗样本迁移到目标模型。
- 能力:对输入加范数受限的扰动(MNIST 像素裁剪到 [0,1],DREBIN 特征取二值)。
- 受害系统:MNIST 数字分类与 DREBIN 恶意软件检测模型。
有哪些相关研究?
相关工作分对抗样本生成、迁移性与黑盒攻击、防御与梯度掩盖、对抗子空间几何四组。
对抗样本生成
- Szegedy et al. [22] 与 Biggio et al. [4]——提出测试时对抗样本;本文沿用其威胁模型。
- Goodfellow et al. [6]——提出 FGSM,并论证神经网络对分布外数据过度线性泛化;本文多数实验用 FG(S)M,作者称 GAAS 的结果为这一线性泛化论点提供了进一步证据。
- Papernot et al. [18] 的 JSMA——基于雅可比显著图的迭代攻击;本文在 DREBIN 上提出其非迭代变体 Independent JSMA。
迁移性与黑盒攻击
- Papernot et al. [16]——研究迁移现象并用其发起黑盒攻击;本文用其方法为 SVM 寻找对抗方向。
- Papernot et al. [17]——通过查询目标模型训练本地替代模型实施黑盒攻击;本文的威胁模型建立于此。
- Liu et al. [13]、Papernot et al. [16] 等——经验研究对抗样本迁移性。
防御与梯度掩盖
- Papernot et al. [20] 的蒸馏与 Goodfellow et al. [6] 的对抗训练——作者指出对抗样本在这类显式防御下仍能迁移,并认为其原因是梯度掩盖 [19]:防御未移动决策边界,只破坏了梯度信息。
- Tramèr et al. [23]——系统研究从未防御模型到对抗训练模型的迁移,并据此提出改进的对抗训练(集成对抗训练)。
对抗子空间几何与鲁棒性分析
- Warde-Farley and Goodfellow [25]——证明对抗扰动空间至少二维;Goodfellow et al. [6]、Szegedy et al. [22]——对抗区域连续且占输入空间比例可忽略。
- Bastani et al. [2]——对分段线性模型用凸优化在 x 的线性区域内找对抗扰动;本文扩展其 LP 以迭代寻找正交方向,并发现其迁移率低于 FGM。
- Fawzi et al. [5]——证明类均值差小则任何低风险线性模型可被小扰动欺骗;本文 Theorem 2 的证明建立在其结果上。
定位:作者称本文首次直接测量对抗子空间维度,并首次定量比较不同假设类模型的决策边界;形式化部分给出可迁移的充分条件与迁移失败的任务实例。
论文如何解决这个问题?
用 GAAS 找正交对抗方向估计子空间维度,定义三方向距离度量比较决策边界,再对类均值扰动做形式化分析。
整体思路分三步:提出 Gradient Aligned Adversarial Subspace (GAAS) 方法直接估计对抗子空间维度;定义三个方向上的距离度量定量比较不同模型的决策边界;对模型无关扰动给出可迁移性的充分条件与反例。
对抗样本生成与记号
- 主要使用 FG(S)M:x∗ = x + ε · ∇x J(x,y)/|∇x J(x,y)|,即沿损失梯度方向取一步、按所用 lp 范数归一;实现来自 cleverhans 1.0 库。
- 关注 untargeted 误分类;MNIST 像素裁剪到 [0,1],DREBIN 特征四舍五入为二值。
GAAS:估计对抗子空间维度
- 在损失的一阶近似下,寻找满足范数约束且使损失增加至少 γ 的最大正交扰动集合;由 Lemma 1,正交方向数与损失增量 γ 成正比、与损失光滑度和扰动幅度 ε 成反比。
- 若导致误分类的 γ 未知,则尝试多个 γ 值,保留产生最多误分类扰动的取值。
- 作者指出,将最大正交构造推广到 l∞ 等其他范数是一个开放问题。
决策边界距离度量
- 定义三个单位方向:合法方向 dleg(指向测试集中最近的不同类样本)、对抗方向 dadv(指向对该模型生成的对抗样本)、随机方向 drand(指向被分为不同类的均匀随机输入)。
- 最小距离 MIN-DISTd(f,x):沿方向 d 从 x 到决策边界的最小 l2 距离,用步长 0.05 的线搜索计算。
- 边界间距离 INTER-DISTd(f1,f2,x):两模型在同一方向上的最小距离之差;在对抗方向上,该值小意味着越过 f1 边界的扰动很可能也越过 f2 边界,即发生迁移。
可迁移性的形式化分析
- 考虑模型无关扰动:沿类均值差方向偏移数据点,输入空间中 δ := 1/2(Eμ+1[x]−Eμ−1[x]),r := −ϵ· y·δ̂;对 f(x)=wᵀφ(x)+b 形式的分类器(含线性、多项式、前馈网络)分析其在特征空间的迁移。
- Theorem 2:若权重与特征空间类均值差的对齐 ∆ 不太小,且映射 φ 对扰动 r 满足伪线性条件(正交分解中 α 大、β 小),则 x+r 以非零概率欺骗 f。
- 反例构造:在 MNIST 3s vs. 7s 上为两个中心像素加入 XOR 伪迹,使线性模型与二次模型学到不同特征,从而各自脆弱但互不迁移。
论文做了哪些实验?
在 MNIST 与 DREBIN 上测量子空间维度、决策边界距离、对抗训练影响及模型无关扰动的迁移。
实验设置
- 被测模型:MNIST 上用 LR、SVM、DNN(架构 C,Table 2)、两个全连接网络(源为 C 的两层变体,目标为 C)、两个 CNN(源 B、目标 A);3s vs. 7s 任务另用线性、二次、DNN、CNN 模型。
- 数据集:MNIST 数字分类;DREBIN 恶意软件检测(平衡子集,特征选择至 1,000 维,模型准确率超 94%)。
- 攻击方法:可微模型用 l2 范数 FGM(ε=5),SVM 用 [16] 的方法;DREBIN 上用 Independent JSMA(每个扰动最多翻转 10 个特征)。
- 指标:正交对抗方向数、迁移率(prefiltered 口径:原样本不欺骗源与目标、对抗样本欺骗源模型)、MIN-DIST、INTER-DIST、扰动后准确率。
- 测量方式:距离在测试集所有点上取均值,线搜索步长 0.05;DREBIN 特征在该节不做二值化。
- 样本量与重复次数:论文未报告具体样本量与重复次数。
主结果
GAAS 在 MNIST 上找到的正交对抗方向数与迁移情况(据正文第 3.2 节与 Table 3):
表格较宽,可左右滑动
源→目标 方法 单方向迁移率 源模型方向数 迁移方向数 DNN(两层变体→C) GAAS 94% 44.28 24.87 DNN(两层变体→C) Second-Order 95% 1.00 0.95 DNN(两层变体→C) Convex Opti. 17% 2.58 0.45 CNN(B→A) GAAS 69% 15.18 2.24 - 作者称 GAAS 是找到大量正交方向的最成功方法,并认为这为神经网络对分布外数据过度线性泛化提供了进一步证据。
- 在 DNN 子空间内随机采样 l2 范数 5 的扰动,欺骗源模型 99%、目标模型 89%;CNN 对应为 80% 与 63%。
- 正文报告 CNN 的 FGM 迁移率为 68%,Table 3 中 GAAS 单方向迁移率为 69%。
决策边界距离
- 测了什么:MNIST 上 LR、SVM、DNN 两两之间在三个方向上的 MIN-DIST 与 INTER-DIST(Figure 4;l1 范数与 DREBIN 结果在 Figure 7,作者称结论相同)。
- 结果:对大多数模型对与方向,边界间距离小于测试点到边界的最小距离;对抗方向上最小距离最小,随机方向上边界更远。Figure 4 图注举例:LR 合法方向最小距离约 4,边界间距离低于 1。
- 例外:以 SVM 为源模型时对抗方向的边界间距离大得多,作者认为可能源于其 SVM 实现采用 one-vs-rest 策略。
对抗训练的影响
- 测了什么:一对 DNN,源为未防御模型,目标为对抗训练模型,重复距离测量。
- 结果:对抗方向的平均边界间距离从 0.32(目标未防御)增至 0.63(目标经对抗训练);迁移所需总扰动(最小距离 1.64 加边界间距离)仍小于范数 5 的扰动。
- 作者解读:对抗训练对决策边界的"移动"太小,不足以阻止迁移;作者认为这类防御抵御白盒攻击的原因是梯度掩盖。
模型无关扰动与 XOR 反例
- MNIST 3s vs. 7s(Table 1,ε=4):线性模型扰动后准确率 39%(∆=0.55)、二次模型 51%(∆=0.51)、DNN 43%(∆=0.68)、CNN 76%(∆=0.79);前三个模型的 φ 满足伪线性条件,CNN 不满足,但仍有 24% 扰动样本被误分类,作者称这是因为界较松。
- 全 MNIST 多类:用 l∞ 范数类均值差扰动(ε=0.3),准确率从线性模型的 2% 到 CNN 的 66%。
- DREBIN:平均修改 1,000 个二值特征中不到 10 个,线性模型准确率降至 65%,DNN 降至 72%。
- XOR 反例:MNIST 3s vs. 7s 上线性与二次模型准确率均超 98%,FGM 样本(l2 范数 4)迁移率超 60%;加入 XOR 伪迹后,线性模型仍被 FGM 欺骗、二次模型被翻转两个中心像素符号欺骗,但两种扰动互不迁移。
其他消融与分析
- Second-Order 方法:tanh 源模型下 Hessian 项很小,与梯度正交的最优解非对抗,作者认为二阶近似对寻找更多对抗方向用处不大(附录 B.2)。
- Convex Optimization:源模型上 93% 的测试输入可找到对抗样本,平均约 2 个正交方向;迁移率 17%(FGM 为 95%);70% 的输入没有任何成功扰动迁移到目标(附录 B.2)。
- 架构 C 在 l2 范数 5 下,LP 对 0% 的测试输入可解,而 FGSM 总能成功(附录 B 脚注 4)。
- Independent JSMA(DREBIN):89% 的输入至少找到一个成功扰动,平均 42 个独立扰动,其中平均 22 个迁移到目标模型(附录 B.2)。
有什么可以进一步探索的点?
作者指出 GAAS 的范数推广是开放问题,并给出 SVM 例外与人工反例;实验覆盖 MNIST 与 DREBIN 两类任务。
作者指出的局限与后续方向
- 范数推广:为 l∞ 等其他范数找到类似的最大正交扰动构造是一个开放问题(第 3.1 节)。
- SVM 例外:以 SVM 为源模型时对抗方向边界间距离定量上不同(大得多),作者认为可能源于其 SVM 实现采用 one-vs-rest 策略(第 4.2 节脚注 2)。
- 界的松紧:Theorem 2 的界预期在实践中较松,因为正交分量不太可能和 w 最大对齐(附录 C.2);CNN 不满足伪线性条件但仍有 24% 误分类,作者称界"expectedly somewhat loose"(第 5.1 节)。
- 反例的真实性:XOR 实验基于人工修改的数据集,作者提出值得考察真实数据集是否具有类似性质、从而导致低迁移性(第 5.2 节)。
- 模型窃取前提:作者注明,若攻击者能通过模型窃取恢复目标模型的足够近似,则任何白盒下脆弱的模型都可被攻击(第 5 节脚注 3)。
实验覆盖范围
- 数据集为 MNIST(含 3s vs. 7s 二分类与 XOR 变体)和 DREBIN 平衡子集(1,000 维特征)两个任务。
- 被测模型类别包括 LR、SVM、DNN(架构 C 及其两层变体)、CNN(架构 A、B)、线性与二次模型。
- 距离测量覆盖 l2 范数(正文)与 l1 范数(附录 D),含 MNIST 与 DREBIN。
- 对抗训练的影响只在一对 DNN(未防御源→对抗训练目标)上测量。
- 论文未报告各实验的样本量、重复次数与统计显著性检验。
总结一下论文的主要内容
估计对抗子空间维度并定量比较决策边界,给出迁移的充分条件与反例,作者认为防御迁移攻击或有可为。
一篇关于对抗样本可迁移性的分析论文,结合经验测量与形式化分析解释迁移为何发生、何时不发生。
- 问题:对抗样本跨模型迁移使黑盒攻击可行,但对抗子空间的维度与模型间决策边界的相似性此前未知。
- 方法:提出 GAAS 在损失一阶近似下寻找最大正交对抗方向集;定义合法、对抗、随机三方向上的 MIN-DIST 与 INTER-DIST 度量;对类均值差方向的模型无关扰动证明可迁移的充分条件(Theorem 2)。
- 子空间维度:MNIST 上两个全连接网络间,GAAS 平均找到 44.28 个正交对抗方向,其中 24.87 个迁移到目标模型;子空间内随机采样扰动欺骗源模型 99%、目标模型 89%。
- 决策边界:多数模型对与方向上,边界间距离小于数据点到边界的距离;对抗训练仅将对抗方向边界间距从 0.32 增至 0.63,迁移所需总扰动仍小于攻击预算 5,作者据此认为对抗训练未实质移动边界、其白盒防御效果源于梯度掩盖。
- 模型无关扰动:MNIST 3s vs. 7s 上类均值偏移扰动使线性模型准确率降至 39%、CNN 降至 76%(Table 1);DREBIN 上平均改不到 10 个特征使线性模型降至 65%、DNN 降至 72%。
- 结论:XOR 反例表明线性模型与二次模型可各自脆弱却互不迁移;作者认为迁移性并非非鲁棒模型的固有属性,设计针对迁移攻击的防御可能可行,即使模型对直接攻击仍脆弱。