硬标签流形:查询效率在寻找流形上对抗样本时的意外优势
Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples
作者提出用 noisy manifold distance oracle 解释 hard-label 攻击的流形信息泄漏,称降维变体使 FID-64 最多降两倍。
hard-label 黑盒攻击:攻击者仅获得模型查询返回的 top-1 标签,无梯度、无置信度等侧信息;目标为 K 类图像分类模型,生成与 x0 接近且被误分类的对抗样本;AE 变体假设攻击者只能访问测试集。
- hard-label 黑盒攻击只需 top-1 标签,是最现实的威胁模型,但降维带来的查询效率提升与样本是否落在数据流形上之间的关系尚不清楚。
- 作者提出 noisy manifold distance oracle 的信息论模型,推导流形-梯度互信息的闭式解,并把双线性降维(BiLN)和自编码器(AE)接入 Sign-OPT、HSJA 等攻击,用 FID-64 估计流形距离。
- 在 CIFAR-10 和 ImageNet 上,降维变体的 FID-64 普遍低于原攻击,作者称流形距离最多降两倍、查询效率最高提升 76%(Sign-OPT)和 28%(HSJA),且与模型鲁棒性无关。
- 作者称 AE 的流形描述粗糙、效果依场景而定;攻击者无法修改模型使其过参数化,该互信息增益轴留作未来工作;实验仅覆盖 CIFAR-10 与 ImageNet 各 100 个样本、25k 查询预算。
- 被测模型
- Natural CIFAR-10 networkMadry Adv.Tr.Resnet50Resnet50 (randomized smoothing)
- 基准
- CIFAR-10ImageNet
- 指标
- FID-64Avg. L∞ distortionAvg. L2 distortionsuccess rategradient deviation (L∞/L2)
Washington Garcia、Pin-Yu Chen、Somesh Jha 等研究者在论文中提出,图像分类模型上零阶硬标签攻击的查询效率与攻击者在数据流形中的移动路径相关。此前梯度级研究显示常规对抗样本会离开数据流形,而流形上对抗样本实为泛化误差;论文据此提出基于带噪流形距离预言机的信息论解释,即攻击者的梯度估计会泄露流形信息,数值实验表明流形与梯度间的互信息随有效问题维度和训练点数量变化。在真实数据集和多种使用降维的零阶攻击上,这一普遍行为使样本更贴近数据流形,流形距离度量最多减半,且与模型鲁棒性无关。作者认为,将流形与梯度间的互信息纳入考量有助于未来设计更鲁棒的模型,并避免敏感数据流形泄露。
深度解读
这篇论文试图解决什么问题?
解释降维 hard-label 攻击为何更易产生流形上的对抗样本,并提出信息论解释。
核心问题:zeroth-order hard-label 攻击的查询效率与对抗样本在数据流形上的位置之间有什么关系,论文提出信息论解释并利用它改进攻击。
- 问题场景:Stutz et al. (2019) 认为常规对抗样本会离开数据流形,而流形上的对抗样本实际是模型的泛化误差;产生流形上样本可利用模型固有的泛化误差并保持语义相似性。
- 现有不足:hard-label 攻击已用降维提升查询效率,但作者称降维与穿越数据流形的关系至今未被完全理解;真实流形难以描述,依赖近似流形会产生粗糙的对抗样本。
- 核心观察:作者认为查询效率与攻击者穿越流形的行为相关,降维虽缩小搜索空间,流形-梯度互信息却可能随有效维度和训练点数变化而增大。
- 论文提出:noisy manifold distance (NMD) oracle 的信息论模型;把 score-level 的降维技术扩展到 hard-label 攻击;用 FID 分数估计攻击者的流形信息增益;BiLN 超像素分组方法。
- 威胁模型:
- 目标:对 K 类图像分类模型生成对抗样本 x,使 x 接近 x0 且 f(x) ≠ f(x0)。
- 知识:hard-label 黑盒,仅获得查询返回的 top-1 标签,无梯度、无置信度。
- 能力:控制查询输入;AE 变体假设攻击者只能访问测试集训练自编码器。
- 受害系统:自然训练的 CIFAR-10 网络、Madry 对抗训练模型、ImageNet Resnet50 及随机平滑模型。
有哪些相关研究?
沿对抗样本几何解释、hard-label 攻击和流形泄漏三条线组织相关工作。
对抗样本的几何解释
- Szegedy et al. (2013)、Goodfellow et al. (2014)——发现对抗样本,假设其位于输入空间的低概率区域,线性性放大了该效应。
- Tanay & Griffin (2016)、Gilmer et al. (2018)——boundary tilting 与流形假设:训练测试集只占据子流形,决策边界靠近流形上的样本。
- Stutz et al. (2019)——认为常规对抗样本离开流形,流形上对抗样本是泛化误差;本文采用其 boundary-tilting 假设。
流形防御及其失效
- Jalal et al. (2019)、Samangouei et al. (2018)——基于把样本投影回数据流形的防御。
- Carlini et al. (2019)、Tramer et al. (2020)——论文称上述流形防御后来被自适应攻击击败。
黑盒攻击的演进
- 梯度级攻击(Papernot et al., 2016;Carlini & Wagner, 2016)——需要模型参数和较大查询预算。
- score-level 攻击(Chen et al., 2017;Ilyas et al., 2018)——只需置信度输出;Tu et al. (2019) 的 AutoZOOM 在 score-level 引入降维,本文将其扩展到 hard-label。
- hard-label 攻击——Boundary Attack (Brendel et al., 2017)、OPT-Attack (Cheng et al., 2019)、Sign-OPT (Cheng et al., 2020)、HSJA (Chen et al., 2019)、RayS (Chen & Gu, 2020)。
鲁棒模型的信息泄漏
- Engstrom et al. (2019)、Santurkar et al. (2019)——鲁棒模型梯度与数据有更高的视觉语义对齐;论文称本文公式描述的是自然模型和鲁棒模型双方的泄漏,与之不同。
- Schmidt et al. (2018)——鲁棒训练所需数据随维度增长;本文借用其高斯混合数据模型推导互信息。
基线与基准:基线攻击为原始 Sign-OPT、HSJA、RayS;基准为 CIFAR-10 和 ImageNet。作者将本文定位为用流形-梯度互信息统一解释降维 hard-label 攻击行为,并据此改进攻击设计。
论文如何解决这个问题?
用 NMD oracle 信息论模型解释泄漏,再把 BiLN/AE 降维接入 hard-label 攻击并用 FID-64 度量。
整体思路:把 hard-label 攻击的梯度估计视为从noisy manifold distance (NMD) oracle 泄漏流形信息的通道,先在 Schmidt et al. (2018) 的高斯数据模型上推导流形-梯度互信息,再把降维搜索接入现有攻击并用 FID-64 验证。
数据模型与互信息推导
- 高斯混合模型:采用 Schmidt et al. (2018) 的 (θ, σ)-Gaussian model,标签 y ∈ {±1} 均匀采样,x ~ N(y·θ, σ²I),流形由 (θ*, σ) 参数化。
- 权重设置:非鲁棒情形 ŵ = y·x(单样本);鲁棒情形 ŵ = (1/n)Σyᵢxᵢ,样本量 n 按公式 (1) 随 ε 和 d 缩放,常数 c2 控制训练点数的放大。
- 互信息闭式解:固定 d = 1,梯度分布为 Bernoulli,由对称性化简得到 I(G, M)ϵ = 2∫M+ p(1,x+) log (p(1,x+))/(pG(1)pM(x+)) dx+ + 2∫M+ p(−1,x+) log (p(−1,x+))/(pG(−1)pM(x+)) dx+(公式 2),含义是真实梯度与数据流形之间的互信息;数值实验用其黎曼近似(公式 3)。
- 数值实验设置:c 和 c1 固定为 0.5,变化 c2 ∈ {1, 5, 10, 15}、ε ∈ {0.0, 0.125, 0.250}、d ∈ [1, 10³],假设维度协独立、流形由 n 个点描述。
降维 zeroth-order 搜索
- 编码-解码框架:编码映射 E: R^d → R^d′、解码映射 D: R^d′ → R^d,对抗样本按 x = x0 + g(D(θ′)) (D(θ′))/(|D(θ′)|) 生成(公式 7),含义是在降维空间搜索方向再映射回原空间。
- 两种映射:自编码器(AE,近似描述流形,仅用测试集训练)和通道级双线性变换(BiLN,按固定缩放因子升降采样,无需训练,利用图像空间相关性)。
- 接入攻击:Sign-OPT 的梯度估计改为在降维高斯方向 {u′ᵢ ∈ R^d′} 上采样(公式 8);无目标情形 θ′ 随机初始化,有目标情形 θ′ = E(x_t);HSJA 的单点符号估计同样适用。
流形距离的估计
- FID-64:把对抗样本当作生成图像,用 FID 分数作为流形距离的替代度量;采用 Inception-V3 的 64 维 max pooling 层编码,可在不足 2048 样本时计算满秩 FID。
- 独立性说明:论文称实验不以 Inception-V3 为攻击目标,因此 FID 度量不依赖受害模型内部。
成功判定
- 攻击目标为 f(x) ≠ f(x0)(无目标攻击),以 Lp 失真、成功率和 FID-64 随查询的变化衡量;CIFAR-10 用 L∞ 版本(匹配 Madry 模型的正则化范数),ImageNet 用 L2 版本(匹配随机平滑的认证范数)。
论文做了哪些实验?
在 CIFAR-10/ImageNet 上对比降维攻击变体,FID-64 普遍下降,查询效率最高提升 76%。
实验设置
- 被测模型:CIFAR-10 自然网络(Cheng et al. 2020 开源实现)、Madry 对抗训练模型(L∞,ε = 0.031);ImageNet 预训练 Resnet50、Cohen et al. (2019) 随机平滑模型(σ = 0.5,ε ≃ 1.0,L2)。
- 攻击方法:Sign-OPT、HSJA 及其 BiLN、AE 降维变体;附录 D.2 另测 RayS 及 BiLN+RayS。
- 数据集与样本:CIFAR-10 与 ImageNet 各从测试集取 10 类 × 每类 10 个随机样本,共 100 个。
- 预算与指标:所有攻击运行 25k 查询、不提前停止;指标为平均 L∞/L2 失真、成功率、FID-64;仅报告无目标情形。
- 梯度偏差实验:Table 1 在自然 CIFAR-10 模型上、每个攻击变体 50 个样本,比较首次梯度估计与真实梯度的 L∞/L2 范数。
- 重复次数:论文未报告。
主结果
据 Table 2(CIFAR-10,ε = 0.031,4k/8k/14k 查询处的 Avg. L∞ / SR / FID-64):
表格较宽,可左右滑动
攻击变体 自然模型 4k 自然模型 14k Madry 4k Madry 14k HSJA 0.01 / 98.0 / 0.02 0.01 / 100.0 / 0.01 0.09 / 15.0 / 3.57 0.06 / 27.0 / 1.69 BiLN+HSJA 16 0.02 / 82.0 / 0.03 0.01 / 97.0 / 0.01 0.07 / 25.0 / 0.68 0.05 / 32.0 / 0.37 Sign-OPT 0.06 / 52.0 / 0.70 0.02 / 79.0 / 0.00 0.33 / 2.0 / 2.28 0.28 / 3.0 / 0.59 BiLN+Sign-OPT 16 0.09 / 21.0 / 0.01 0.06 / 36.0 / 0.00 0.37 / 2.0 / 0.08 0.33 / 3.0 / 0.04 AE+Sign-OPT 0.09 / 20.0 / 0.01 0.06 / 35.0 / 0.00 0.20 / 8.0 / 0.01 0.15 / 11.0 / 0.21 RayS 0.01 / 93.0→100.0 / 0.02 0.01 / 100.0 / 0.01 0.05 / 33.0 0.04 / 39.0 / 0.23 - 作者称降维变体的 FID-64 普遍更低,BiLN+Sign-OPT 最多低两个数量级,AE+Sign-OPT 峰值 0.28 后稳定在 0.004 附近(Figure 3b)。
- 在 Madry 模型上,BiLN+Sign-OPT 与 AE+Sign-OPT 的 FID-64 最终匹配自然模型的基线分数;作者据此认为流形信息泄漏与模型样本复杂度无关。
- 作者称 BiLN 降维对 HSJA、Sign-OPT 在鲁棒模型上分别带来最高 28% 和 76% 的查询效率增益;Figure 3a 中 BiLN+HSJA 在 Madry 模型 4k 查询处平均失真从 0.09 降到 0.07。
梯度偏差分析(Table 1)
- 测了什么:自然 CIFAR-10 模型上,各变体首次梯度估计与真实输入梯度的偏差(50 个样本平均)。
- 结果:Sign-OPT+BiLN 的 L∞ 偏差最低(4.067 ± 1.252),HSJA 最高(4.884 ± 1.208);L2 偏差同样 Sign-OPT 变体整体低于 HSJA 变体。
- 作者解读:HSJA 的单点估计噪声更大,按数据处理不等式互信息更低,这解释了 BiLN+HSJA 在鲁棒模型上 FID-64 未能匹配自然模型基线。
ImageNet 与 RayS 补充实验(附录 D.1、D.2)
- ImageNet(L2):8k 查询处 BiLN+HSJA、BiLN+Sign-OPT 成功率分别提高 1.4x 和 2.1x;Figure 4b 中 BiLN 变体的 FID-64 低于原始和 AE 变体。
- RayS(CIFAR-10):BiLN+RayS 各变体对查询效率影响很小(Figure 5a),FID-64 彼此差异不大(Figure 5b);作者称这是因为 RayS 不做显式梯度估计,且其自适应超像素搜索会自动调整尺度。
其他消融与分析
- 互信息数值实验(Figure 2):c2 = 1 时增大 ε 不改变互信息;c2 增大后互信息随 ε 上升,在 ε = 0.25 时最明显,低 d 处互信息更高。
- AE 变体的例外:作者称 AE+Sign-OPT 的成功依场景而定,AE 流形描述质量低,不允许对扰动做细粒度调整。
- BiLN+HSJA 的例外:在鲁棒模型上失真表现优于原 HSJA,但 FID-64 未匹配自然模型基线(作者归因于单点估计)。
有什么可以进一步探索的点?
作者指出 AE 描述粗糙、过参数化轴留作未来工作;实验仅覆盖两个数据集各 100 样本。
作者指出的局限与后续方向
- 过参数化轴留作未来工作(Section 3.2):攻击者无法修改模型使其过参数化,作者称这一互信息增益轴留待未来研究,本文聚焦攻击者可控制的有效维度。
- AE 流形描述粗糙(Section 4.3、5.2):AE 仅用测试集训练,近似会在对抗噪声上叠加额外失真;作者称 AE+Sign-OPT 的成功依场景而定,低质量的流形描述不允许细粒度调整。
- HSJA 单点估计的噪声(Section 6):作者假设单点方法因在线更新参考样本而更早离开流形,并用梯度偏差实验支持这一经验性论点。
- 利用流形描述选择超像素分组(Section 6):作者提出可让攻击学习流形描述、再用它选择图像中最相关的超像素分组,作为未来攻击设计方向。
- 指导鲁棒模型设计(摘要、Section 7):作者称将流形-梯度互信息纳入考量可为未来更好的鲁棒模型设计提供信息,避免敏感数据流形泄漏。
实验覆盖范围
- 被测模型共 4 个:CIFAR-10 自然网络、Madry 对抗训练模型、ImageNet Resnet50、Cohen et al. 随机平滑模型。
- 数据集为 CIFAR-10 和 ImageNet,各取 100 个测试样本(10 类 × 10 个);攻击预算 25k 查询,仅报告无目标攻击。
- 攻击覆盖 Sign-OPT、HSJA、RayS 及 BiLN/AE 降维变体;CIFAR-10 用 L∞、ImageNet 用 L2。
- 梯度偏差实验每个变体 50 个样本(Table 1);论文未报告实验重复次数。
- 互信息结论来自 d = 1 的解析推导和 d ∈ [1, 10³] 的数值近似(Figure 2),非真实模型上的直接测量。
总结一下论文的主要内容
信息论解释降维 hard-label 攻击的流形泄漏,FID-64 最多降两倍、查询效率最高提升 76%。
一篇关于 hard-label 黑盒对抗攻击行为的分析与改进论文。作者要解决的问题是:降维技术提升了 zeroth-order 攻击的查询效率,但这种效率与对抗样本是否落在数据流形上之间的关系此前未被理解。
- 方法:提出 noisy manifold distance (NMD) oracle 的信息论模型,在 Schmidt et al. (2018) 的高斯数据模型上推导流形-梯度互信息闭式解;把双线性降维(BiLN)和自编码器(AE)接入 Sign-OPT、HSJA,用 FID-64 估计流形距离。
- 理论结果:数值实验显示,训练点缩放因子 c2 足够大时,互信息在低维度 d 处随扰动 ε 增大而上升(Figure 2);作者称这可解释鲁棒模型梯度的高视觉对齐现象。
- 实验结果:CIFAR-10 上降维变体 FID-64 普遍低于原攻击,BiLN+Sign-OPT 最多低两个数量级,AE+Sign-OPT 稳定在 0.004 附近(Figure 3b);作者称流形距离最多降两倍,且与模型鲁棒性无关。
- 查询效率:作者称 BiLN 对 HSJA、Sign-OPT 在鲁棒模型上分别带来最高 28% 和 76% 的查询效率增益;ImageNet 上 8k 查询处成功率分别提高 1.4x 和 2.1x。
- 例外:BiLN+HSJA 在鲁棒模型上 FID-64 未匹配自然模型基线,作者归因于 HSJA 单点估计噪声更大(Table 1 中其梯度偏差最高,L∞ 为 4.884)。
- 作者结论:流形-梯度互信息可指导 hard-label 攻击设计(瞄准高层特征),并为未来鲁棒模型设计提供信息,避免数据流形泄漏。