查询高效的硬标签黑盒攻击:一种基于优化的方法
Query-Efficient Hard-label Black-box Attack:An Optimization-based Approach
作者提出 Opt-attack,把 hard-label 黑盒攻击重写为沿方向到决策边界的连续优化问题,作者称在 MNIST 上比 Decision-attack 省 3–4 倍查询。
hard-label black-box:攻击者不知道模型内部信息,只能通过查询获得输入对应的 hard-label 决策(top-1 预测类别),无概率输出;目标是在原始样本附近找到被误分类(或被判为目标类)的对抗样本。
- hard-label 黑盒模型只返回 top-1 类别、不给概率,白盒攻击目标函数变成不连续的阶梯函数,无法直接用梯度优化;此前唯一的 Decision-attack 查询量大且无收敛保证。
- 把攻击重写为沿方向 θ 到决策边界距离 g(θ) 的实值优化问题,用细粒度搜索加二分搜索通过 hard-label 查询评估 g,再用 Randomized Gradient-Free (RGF) 零阶优化求解,并给出收敛性分析。
- 在 MNIST、CIFAR-10、ImageNet 的 CNN 上,Opt-attack 以更少查询达到更小或相近的 L2 扰动(作者称 MNIST 上查询数减少 3–4 倍);在 HIGGS 和 MNIST 的 GBDT 上约 30K 查询内找到小扰动对抗样本。
- 作者称 ImageNet 上因限制查询数,黑盒攻击的扰动明显大于 C&W 白盒攻击;CIFAR 目标攻击中 Opt-attack 收敛到略差于 Decision-attack 的解。被测模型为三种 CNN 和 LightGBM 的 GBDT,每设置采样 N=100 张图像。
- 威胁模型
- hard-label black-box:攻击者不知道模型内部信息,只能通过查询获得输入对应的 hard-label 决策(top-1 预测类别),无概率输出;目标是在原始样本附近找到被误分类(或被判为目标类)的对抗样本。受害系统为 CNN 图像分类模型和 GBDT。
- 被测模型
- CNN (MNIST)CNN (CIFAR-10)ResNet-50GBDT (HIGGS)GBDT (MNIST)
- 基准
- MNISTCIFAR-10ImageNet-1000HIGGS
- 指标
- Avg L2 distortionaverage number of queriesattack success rate
研究者提出一种针对机器学习模型的硬标签黑盒对抗攻击方法,将攻击转化为通常连续的实值优化问题,可用任意零阶优化算法求解。在该设定下攻击者只能查询模型的硬标签决策,直接套用 CW、PGD 等白盒攻击需要最小化不连续的阶跃函数,无法用基于梯度的优化器求解;此前唯一方法是在决策边界上随机游走,查询量大且缺乏收敛保证。采用 Randomized Gradient-Free 方法时,新算法可给出到达驻点所需迭代次数的上界;在 MNIST、CIFAR 和 ImageNet 上攻击卷积神经网络的效果优于随机游走方法,还能用于攻击 GBDT 等离散、非连续的机器学习模型。
深度解读
这篇论文试图解决什么问题?
作者研究 hard-label 黑盒攻击:只能查询得到 top-1 类别时,如何用少量查询生成对抗样本。
核心问题:在只能查询获得模型 hard-label 决策(top-1 类别)的黑盒设置下,如何高效地生成对抗样本。
- 问题场景:作者认为许多真实系统不暴露模型参数,也不返回概率输出,只给出最终预测类别;白盒攻击和依赖 softmax 输出的 score-based 黑盒攻击都不适用。
- 现有方法不足:作者称把 C&W、PGD 等白盒攻击直接搬过来需要最小化一个不连续的阶梯函数,本质上是组合优化,无法用梯度法求解;此前唯一的 Decision-attack(Boundary Attack)基于边界随机游走,查询量大且缺乏收敛保证。
- 核心观察:沿某个方向 θ 到决策边界的距离 g(θ) 是实值且通常连续的函数,即使分类器本身不连续(如 GBDT),g(θ) 仍连续(Figure 1、Figure 3),因此可用零阶优化求解。
- 论文提出:Opt-attack——把攻击重写为最小化 g(θ) 的实值优化问题,用查询做二分搜索评估函数值,再用 RGF 零阶优化求解,并给出收敛速率保证;作者称这是 hard-label 黑盒设置下首个有收敛速率保证的攻击。
- 威胁模型:
- 攻击者目标:生成与原始样本 x0 接近、但被模型误分类(无目标)或被判为指定类别 t(有目标)的对抗样本。
- 攻击者知识:hard-label black-box——模型不暴露,攻击者只能通过查询获得对应的 hard-label 决策,无概率输出。
- 攻击者能力:对模型进行查询,探测输入对应的预测类别。
- 受害系统:CNN 图像分类模型(MNIST、CIFAR-10、ImageNet)和 GBDT(HIGGS、MNIST)。
有哪些相关研究?
相关工作分白盒攻击、score-based 黑盒攻击和唯一的 hard-label 方法 Decision-attack 三组。
白盒攻击
- C&W 攻击(Carlini & Wagner, 2017)与 EAD(Chen et al., 2018):把攻击写成 argmin Dis(x,x0) + c·L(Z(x)) 的优化问题,用梯度法求解;本文沿用其损失函数形式,并拿 C&W 作为白盒参照。
- PGD(Madry et al., 2018)与 FGSM(Goodfellow et al., 2014):把攻击写成约束优化用投影梯度下降求解,FGSM 是单步 PGD 的特例;DeepFool(Moosavi-Dezfooli et al., 2016)求解类似优化问题。
score-based 黑盒攻击
- ZOO(Chen et al., 2017):在可查询 softmax 输出的设置下重构损失函数并用零阶优化直接最小化;论文指出 score-based 设置能拿到概率输出,比本文的 hard-label 设置信息更多。
- AutoZoom(Tu et al., 2018):用自适应随机梯度估计和自编码器加速,降低 ZOO 的查询复杂度。
- Ilyas et al. (2017):用进化算法求解 score-based 攻击,并称其方法也可用于 hard-label 设置。
迁移攻击
- Papernot et al. (2017)、Bhagoji et al. (2017):训练替代模型模仿目标模型再做白盒攻击;论文引用他人结论称攻击替代模型通常带来更大扰动和更低成功率。
hard-label 黑盒攻击与基线
- Decision-based attack(Brendel et al., 2017):基于边界随机游走,论文称它是此前唯一的 hard-label 黑盒攻击,能找到与白盒攻击相当扰动的对抗样本,但搜索时间呈指数级、查询量大且无收敛保证。本文实验以它为基线(用作者在 Foolbox 中的实现和默认参数),基准为 MNIST、CIFAR-10、ImageNet-1000,另以 C&W 白盒攻击作参照。
作者将本文定位为:把 hard-label 攻击重写为连续实值优化问题,从而比 Decision-attack 更省查询,并且是作者所称的该设置下首个有收敛速率保证的攻击。
论文如何解决这个问题?
把攻击重写为沿方向到边界距离 g(θ) 的连续优化,用二分搜索评估 g,再用 RGF 零阶优化求解。
整体思路:不直接搜索对抗样本,而是搜索方向 θ,最小化沿该方向到决策边界的距离 g(θ),把组合问题变成通常连续的实值优化问题 Opt-attack。
问题设定与重写
- 目标:给定分类模型 f 和样本 x0,找 x 使 x 接近 x0 且 f(x) ≠ f(x0)(无目标)或 f(x) = t(有目标)。
- 核心定义:无目标攻击时 g(θ) = argminλ>0 { f(x0 + λ θ/(|θ|)) ≠ y0 },即沿方向 θ 从 x0 到最近对抗样本(决策边界)的距离;有目标攻击把条件改为预测等于目标类 t。图像输入有界时加入上下界。
- 优化问题:min_θ g(θ),最终对抗样本为 x* = x0 + g(θ)·θ/‖θ*‖。作者称 g(θ) 把方向映射为实值距离,通常连续——即使 f 本身不连续(如 GBDT、神经网络),g(θ) 仍连续(Figure 1d、Figure 3c/3d),因此可用零阶方法优化。
用查询评估 g(θ)(Algorithm 1)
- 初始化:对归一化 θ 做细粒度搜索,逐点查询 x0 + αθ, x0 + 2αθ, … 直到预测改变,再在该区间二分搜索定位边界;取他类样本方向时第一阶段有上界。
- 局部评估:已知解接近前值 v 时,先以比率 α = 0.01 增减 v 找到包含边界的区间,再二分搜索到停止容差 ε 以内,返回 g 的近似值。
零阶优化(Algorithm 2)
- 梯度估计:用 Randomized Gradient-Free (RGF) 方法,ĝ = (g(θ + β u) − g(θ))/β · u,其中 u 为零均值高斯随机向量,β 为平滑参数(所有实验设 β = 0.005)。
- 实现细节:高维问题中估计噪声大,每次采样 q = 20 个高斯向量取平均;步长不用理论建议的固定值,而用 backtracking line-search,作者称这增加查询数但更稳定、免调步长。作者称实践中 RGF 优于零阶坐标下降。
理论分析
- 收敛保证(Theorem 1):若 g 有 Lipschitz 连续梯度,函数值评估误差控制在 ε ~ O(βδ²) 且 β ≤ O(δ/(d·L1(g))),则达到平均梯度范数平方不超过 δ² 所需迭代数至多为 O(d/δ²);二分搜索可在 O(log δ) 步内达到所需精度。
- 非光滑情形:作者称用同一思路,g(θ) 非光滑但 Lipschitz 连续时可达 O(d²/δ³) 复杂度。证明细节在附录。
论文做了哪些实验?
在三个数据集的 CNN 和两个数据集的 GBDT 上对比 Decision-attack,Opt-attack 查询更少、扰动更小或相近。
实验设置
- 被测模型:MNIST 和 CIFAR-10 用同一 CNN(4 个卷积层、2 个 max-pooling、2 个全连接层,参数来自 C&W 论文,准确率分别为 99.5% 和 82.5%);ImageNet-1000 用 torchvision 预训练 ResNet-50(top-1 准确率 76.15%);GBDT 用 LightGBM 训练(HIGGS AUC 0.8457,MNIST 准确率 98.09%)。
- 数据集:MNIST、CIFAR-10、ImageNet-1000(CNN 攻击);HIGGS(二分类)和 MNIST(GBDT 攻击)。
- 基线:Decision-based attack(用作者在 Foolbox 的实现和默认参数);C&W 白盒攻击仅作参照(对参数 c 逐图二分搜索)。
- 指标:平均 L2 扰动和黑盒攻击的平均查询数;三种攻击成功率均为 100%。
- 样本量:每个设置从验证集随机采样 N = 100 张图像;有目标攻击按 Brendel et al. 的设置取目标类 t = (i+1) mod 10。
- 重复次数:论文未报告。
主结果
无目标攻击(据 Table 1,每方法三行对应不同停止条件):
表格较宽,可左右滑动
方法 MNIST Avg L2 / 查询 CIFAR-10 Avg L2 / 查询 ImageNet Avg L2 / 查询 Decision-attack 1.1222 / 60,293;1.1087 / 143,357 0.1575 / 123,879;0.1501 / 220,144 5.9791 / 123,407;3.7725 / 260,797 Opt-attack 1.188 / 22,940;1.049 / 51,683;1.011 / 126,486 0.2050 / 40,941;0.1625 / 77,327;0.1451 / 133,662 6.9796 / 71,100;4.7100 / 127,086;3.1120 / 237,342 C&W(白盒参照) 0.9921 / - 0.1012 / - 1.9365 / - - 作者解读:Opt-attack 一致地以更少查询取得更小扰动;作者称 MNIST 上查询数减少 3–4 倍,且 Decision-attack 在三个数据集上都收敛到更差的解。
- 与白盒的差距:MNIST、CIFAR 上黑盒攻击扰动略大于 C&W,作者认为这合理;ImageNet 上因限制查询数,黑盒攻击扰动明显大于 C&W,作者称增大查询数可缩小差距(Figure 4 给出 6 张图像的 log 扰动随查询数曲线,实线为 Decision-attack、虚线为 Opt-attack)。
有目标攻击
- 结果(Table 2):MNIST 上 Opt-attack 三档为 1.8522 / 46,248、1.7744 / 57,741、1.7114 / 73,293,Decision-attack 为 2.3158 / 30,103、2.0052 / 58,508、1.8668 / 192,018;C&W 为 1.4178。CIFAR-10 上 Opt-attack 为 0.2758 / 61,869、0.2369 / 141,437、0.2300 / 186,753,Decision-attack 为 0.2850 / 55,552、0.2213 / 140,572、0.2122 / 316,791;C&W 为 0.1901。
- 作者解读:MNIST 上作者称 Opt-attack 查询数比 Decision-attack 少 4 倍以上且收敛到更好的解;CIFAR 上前 60,000 查询两者效率相近,但 Opt-attack 收敛到略差的解。
- 示例质量:Figure 5 给出同一起点的有目标攻击示例对比,作者称 Opt-attack 以更少查询取得更好的结果。
攻击 GBDT
- 设置:对 LightGBM 训练的 GBDT 做无目标攻击,数据集为 HIGGS 和 MNIST。
- 结果(Table 3):HIGGS 上三档为 0.3458 / 4,229、0.2179 / 11,139、0.1704 / 29,598;MNIST 上为 0.6113 / 5,125、0.5576 / 11,858、0.5505 / 32,230。
- 作者解读:约 30K 查询即可在两个数据集上得到小扰动,作者称这首次揭示了 GBDT 模型的脆弱性——即使可解释性好、准确率与 CNN 相近,GBDT 在 Opt-attack 下仍脆弱,并提出树模型鲁棒性作为未来方向。
其他消融与分析
- 停止条件:改变停止条件可得到不同查询数与扰动的权衡(Table 1–3 各多行)。
- 平滑参数:所有实验固定 β = 0.005(Section 3.2)。
- 梯度估计采样数:所有实验固定 q = 20 个高斯向量平均(Section 3.2)。
- 求解器选择:作者称实践中 RGF 优于零阶坐标下降,未给数字。
有什么可以进一步探索的点?
作者提出树模型鲁棒性作为未来方向;实验覆盖三个 CNN、两个 GBDT,每设置 N=100。
作者指出的局限与后续方向
- ImageNet 上扰动偏大:作者称由于限制了查询数,ImageNet 上黑盒攻击的扰动比 C&W 白盒攻击差得多,增大查询数可缩小差距(Section 4.1.1)。
- CIFAR 有目标攻击收敛略差:作者称 CIFAR 上 Opt-attack 与 Decision-attack 前 60,000 查询效率相近,但收敛到略差的解(Section 4.1.2)。
- 树模型鲁棒性:作者提出树模型的鲁棒性问题是一个有趣的未来方向(Section 4.1.3)。
- 论文没有专门的 Limitations 小节,以上为作者在实验讨论和结论中写出的不足与方向。
实验覆盖范围
- 被测模型:MNIST/CIFAR 各一个同结构 CNN、ImageNet 一个 ResNet-50,共三个 CNN;GBDT 为 LightGBM 在 HIGGS 和 MNIST 上各一个模型。
- 攻击类型:CNN 上做了无目标和有目标攻击,GBDT 上只做了无目标攻击。
- 样本量:每个设置随机采样 N = 100 张验证集图像,三种攻击成功率均为 100%。
- 基线:黑盒基线只有 Decision-attack 一种;C&W 白盒攻击仅作参照。
- 未报告的信息:论文未报告重复次数和运行耗时;查询数只报告平均值,未报告方差或分布。
总结一下论文的主要内容
Opt-attack 把 hard-label 黑盒攻击变为连续优化问题,作者称比 Decision-attack 省 3–4 倍查询且有收敛保证。
一篇 hard-label 黑盒对抗攻击论文:攻击者只能通过查询获得模型的 top-1 预测类别,无概率输出、无模型内部信息。
- 要解决的问题:该设置下白盒攻击目标变成不连续的阶梯函数,无法梯度优化;此前唯一的 Decision-attack 查询量大且无收敛保证。
- 方法要点:定义 g(θ) 为沿方向 θ 到决策边界的距离,把攻击重写为 min_θ g(θ) 的实值优化——即使分类器不连续(如 GBDT),g(θ) 通常仍连续;用细粒度搜索加二分搜索通过 hard-label 查询评估 g,再用 RGF 零阶优化(β = 0.005、q = 20、backtracking line-search)求解;Theorem 1 给出 O(d/δ²) 的迭代复杂度,作者称这是该设置下首个有收敛速率保证的攻击。
- 主要结果:无目标攻击在 MNIST 上 Opt-attack 用 22,940 次查询达 Avg L2 1.188,Decision-attack 用 60,293 次达 1.1222(Table 1);作者称 MNIST 上查询数减少 3–4 倍、三个数据集上 Decision-attack 都收敛到更差的解;ImageNet 上因查询受限扰动明显大于 C&W 白盒参照;CIFAR 有目标攻击收敛略差于 Decision-attack。
- GBDT 结果:在 HIGGS 和 MNIST 的 LightGBM 模型上约 30K 查询内找到小扰动对抗样本(如 HIGGS 0.1704 / 29,598 次查询),作者称这首次揭示了 GBDT 的脆弱性。
- 作者结论:该优化框架通用、查询高效、有理论收敛保证,可用于神经网络之外的离散不连续模型;作者提出树模型鲁棒性作为未来方向。