利用无梯度优化与算子分裂方法设计黑盒对抗样本

1. 01这篇论文试图解决什么问题？

   作者针对黑盒对抗攻击查询复杂度高、失真度量与反馈设置受限的问题，提出基于 ADMM 的通用攻击框架。

   核心问题：如何在黑盒设置下生成对抗样本，同时支持多种失真度量与反馈类型，并把查询复杂度降下来。

   • 场景与动机：作者指出，DNN 在平均情形下表现好，但在对抗情形下可能被微小扰动误导，涉及人脸识别、自动驾驶、恶意软件检测等高可靠性场景；研究对抗样本是发展防御的基础。
   • 现有方法不足（按论文说法）：白盒攻击假设完全访问目标模型，不适用于实际黑盒系统；基于 surrogate 的迁移攻击在 surrogate 不准确时成功率低（在 ImageNet 等数据密集领域难训练合格 surrogate）；基于零阶梯度估计的 ZOO 攻击每次迭代需要大量查询，在查询受限场景不经济。
   • 核心思路：把攻击写成带失真项的优化问题，用算子分裂方法 ADMM 把黑盒损失与失真项解耦，再分别接零阶优化（RGE）和贝叶斯优化（BO），得到 ZO-ADMM 与 BO-ADMM 两种无梯度攻击。
   • 威胁模型：
     • 目标：把正确分类的图像 x0 加扰动后误分类到目标类 t（定向；ImageNet 也评估非定向）。
     • 知识：目标模型的内部结构与配置未知（black-box）。
     • 能力：只能提交输入并接收输出；score-based 设置可获得所有类别的 soft labels，decision-based 设置只能获得 hard label。
     • 受害系统与约束：图像分类 DNN；扰动逐像素不超过 ε（kδk∞ ≤ ε），像素归一化到 [0,1]。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三类：surrogate 迁移攻击、梯度估计类攻击、其他黑盒攻击；论文以 ZOO、boundary、query-limited、BanditsTD 等为基线。

   Surrogate（迁移）攻击

   • Papernot et al. [33]：用目标模型标注的数据训练 surrogate DNN，再对其施加白盒攻击。论文指出这类方法依赖 surrogate 质量，在 ImageNet 等数据密集领域成功率低。

   基于梯度估计的攻击

   • ZOO [10]：用零阶优化做坐标级梯度估计，再接 C&W 攻击；论文指出其每迭代需大量查询、计算开销大。
   • Narodytska & Kasiviswanathan [31]：用贪心局部搜索估计梯度，每步只扰动少量输入分量；论文指出其不显式最小化失真，噪声更易被察觉。
   • Ilyas et al. [20]：定义 query-limited、partial-information、label-only 三种设置，基于 NES 与蒙特卡洛近似；论文指出其只限制 l∞ 而不最小化某个 l_p 范数。
   • BanditsTD（Ilyas et al. [21]）：在 [20] 基础上利用时间先验与数据先验提高查询效率。

   其他黑盒攻击

   • Boundary attack [7]：decision-based，从大的对抗扰动出发沿边界随机游走缩小失真；论文指出其查询量大且无收敛保证。
   • Cheng et al. [11]：把 hard-label 黑盒攻击写成连续实值优化问题，用零阶算法求解；Hogan & Kailkhura [18]：hard-label 设置下的通用（图像无关）扰动。

   基线与基准：实验对比 C&W 白盒攻击 [8]（参考）、transfer attack [33]、ZOO [10]、boundary attack [7]、query-limited 与 label-only [20]、BanditsTD [21]，附录另比 AutoZoom [42]；数据集为 MNIST、CIFAR-10、ImageNet。

   作者将本文定位为：用 ADMM 统一支持多种 l_p 失真度量与 score-based/decision-based 两种反馈设置，同时借助 RGE 与 BO 降低查询复杂度。

   收起这一问

3. 03论文如何解决这个问题？

   用 ADMM 把攻击问题拆成失真项 z-step（闭式解）与攻击损失 δ-step（无梯度求解），得到 ZO-ADMM 与 BO-ADMM。

   整体思路：把对抗样本生成写成 min_δ f(x₀+δ,t)+γ D(δ)，s.t. (x₀+δ)∈[0,1]^d, |δ|_∞≤ϵ（f 为误分类损失，D 为失真函数），引入辅助变量 z 后用 ADMM 分裂求解，δ-step 用无梯度方法处理黑盒损失。

   问题形式化与损失函数

   • 通用形式：D(δ) 默认取 kδk22（作者称受 C&W l2 攻击启发），也可取其他 l_p 范数；只聚焦定向攻击，作者称非定向可类似实现。
   • score-based 损失：基于 log 概率的 C&W 式损失（Eq. 2），κ 通常设为 0；用 log 是为削弱主导类的影响。
   • decision-based 损失：f ∈ {−1, 1}，f = −1 即攻击成功（Eq. 3）；该损失非光滑、输出离散，作者称组合优化方法几乎无效。

   ADMM 分裂与 z-step

   • 分裂方案：引入 z 并加指示函数 I(z) 处理 [0,1] 与 l∞ 约束，构造增广拉格朗日，交替更新 z、δ 与乘子 u（Eq. 8–10）。
   • z-step 闭式解：D(z) = kzk22 时逐元素分解并有闭式解（Eq. 13）。
   • 多范数推广：D(z) 取 kzk0、kzk1 或 kzk1 + β/2·kzk22 时 z-step 只需小幅修改（proximal 算子，完整推导在附录 A）；作者称这对其他常为单一范数定制的黑盒攻击来说不易做到。

   δ-step 的无梯度求解

   • ZO-ADMM（RGE）：用前向差分随机梯度估计（Eq. 15），Q 个随机方向、平滑参数 ν；查询复杂度 O(Q)（坐标级估计为 O(dQ)），且前向差分需 Q+1 次查询，少于 NES 中心差分的 2Q。进一步用线性化 ADMM：把 f 替换为一阶泰勒展开加 Bregman 正则，得到闭式解（Eq. 17），每次只需一步梯度估计；作者引 [27] 称线性化 ADMM 对非凸问题有收敛证明。
   • BO-ADMM：把 δ-step 目标建模为高斯过程（ARD Matérn 5/2 核），用 expected improvement（EI）采集函数选点，再用投影梯度下降保证可行性（Eq. 24–25）。

   decision-based 的平滑与初始化

   • 平滑损失：对离散损失做随机平滑（Eq. 26），实践中用 N 个单位球内均匀样本做蒙特卡洛近似（Eq. 27）。
   • 初始化：把 δ 初始化为使扰动后图像属于目标类，作者称这比任意图像初始化更省查询。

   关键超参数（Section 6.1）

   • Q = 20（RGE），N = 10（平滑损失）；ν = 0.5（三个数据集）。
   • ρ = 10、γ = 1（MNIST）；ρ = 2000、γ = 10（CIFAR-10）；ρ = 1000、γ = 1（ImageNet）。
   • ε = 1（MNIST/CIFAR-10，作者称这是为与纯 l2 框架 ZOO 公平比较），ε = 0.05（ImageNet）；µ = 1 / 0.1 / 0.01（MNIST/CIFAR-10/ImageNet）。

   收起这一问

4. 04论文做了哪些实验？

   在 MNIST、CIFAR-10、ImageNet 上对比多种黑盒攻击，作者称 ZO-ADMM 在 ASR 接近的情况下查询数相对 ZOO 下降约 94%–99%。

   实验设置

   • 被测模型：MNIST 与 CIFAR-10 各用一个自训 CNN（4 卷积层、2 最大池化、2 全连接、softmax），测试准确率分别为 99.5% 与 80%；ImageNet 用预训练 Inception v3（top-5 准确率 96%）。
   • 数据集与样本量：MNIST/CIFAR-10 各选 200 张正确分类图像，每张对另外 9 类做定向攻击，每法共 1800 次攻击；ImageNet 选 100 张正确分类图像，定向攻击每张随机选 9/1000 个目标类，另做非定向攻击。
   • 基线：C&W 白盒攻击（参考）、transfer attack（经 C&W，κ = 20）、ZOO（ZOO-Adam 默认参数）、boundary attack、query-limited 与 label-only（ImageNet）、BanditsTD（ImageNet）；附录对比 AutoZoom 与 boundary。
   • 指标：ASR、l1/l2/l∞ 失真、首次成功所需查询数（query count on initial success）及相对 ZOO 的查询下降比例；decision-based 攻击从目标类图像出发即初始成功，其"首次成功查询数"指达到所报告 l2 失真时的查询数（Table 1 脚注 a）。
   • 成功判定：扰动图像被分入目标类（定向）或非原类（非定向）；论文未报告重复次数与统计显著性检验。
   • 硬件：NVIDIA GTX 1080 TI。

   主结果

   据 Table 1（MNIST/CIFAR-10，score-based 定向攻击）：

   表格较宽，可左右滑动

   数据集	方法	ASR	l2 失真	首次成功查询数	查询下降比例
   MNIST	C&W（白盒参考）	100%	1.962	-	-
   MNIST	Transfer (via C&W)	30.6%	4.545	-	-
   MNIST	ZOO	98.8%	1.977	12,161	0.0%
   MNIST	score-based ZO-ADMM	98.3%	1.975	493.6	95.9%
   MNIST	score-based BO-ADMM	87%	7.7	52.1	99.6%
   CIFAR-10	ZOO	97.6%	0.361	9982	0.0%
   CIFAR-10	score-based ZO-ADMM	98.7%	0.417	421	95.7%
   CIFAR-10	score-based BO-ADMM	84.1%	5.29	46.3	99.6%

   • 作者称 ZO-ADMM 的 ASR 与 l2 失真接近 ZOO 与 C&W 白盒攻击，查询数下降来自 Eq. 17 只需一步梯度估计。
   • 作者称 BO-ADMM 查询数更少但对扰动控制不精确，l_p 失真更大；附录 C 称 BO-ZO-ADMM（BO 初始化+ZO 精调）达到 ZO-ADMM 同等 l2 失真时 MNIST 需 380 查询、CIFAR-10 需 320 查询。
   • decision-based（Table 1）：ZO-ADMM 在 MNIST/CIFAR-10 上 ASR 均 100%，达到报告 l2 失真的查询数为 7,603 / 6,213，比 boundary attack（25,328 / 16,720）少约 60%；作者称 decision-based 的 l2 失真略大于 score-based 属意料之中。

   ImageNet 实验（Table 2）

   • score-based 非定向：ZO-ADMM ASR 98%、首次成功查询 891（相对 ZOO 降 94.3%）；ZOO 90% / 15,631；query-limited 100% / 4785；BanditsTD 94% / 1259。
   • score-based 定向：ZO-ADMM ASR 97%、查询 16,058（降 99.2%）；ZOO 78% / 2.11×10^6；query-limited 98% / 34,128；BanditsTD 未报告定向结果（Table 2 脚注 a：其主要探索非定向攻击）。
   • decision-based：ZO-ADMM 非定向 ASR 100%、定向 94%；label-only 定向 ASR 92%、查询 1.89×10^6，ZO-ADMM 定向为 1.52×10^6（脚注 c：decision-based 的"首次成功查询数"指达到 ZOO 首次成功时同等 l2 失真的查询数）。

   收敛与多范数

   • 收敛（Figure 2）：作者称 score-based ZO-ADMM 从零失真升到成功后再降 l2，decision-based 从目标类图像出发 l2 随查询下降；作者称 MNIST/CIFAR-10 数百次查询、ImageNet 数万次查询即可成功。图中可见 5 条曲线（score-based 三条、decision-based 两条），横轴查询数至 3×10^4，纵轴 l2 失真 0–15，均呈下降趋势。
   • 多 l_p 范数（Table 3，MNIST score-based）：ZO-ADMM 分别最小化 l0/l1/l2 时 ASR 均 100%；l0 版 l0 失真 18.5、l2 9.72；l1 版 l1 10.5、l2 2.71；l2 版 l1 22.09、l2 1.93。作者称方法能适配不同 l_p 范数。

   其他消融与分析

   • AutoZoom 对比（附录 D，Table A1，500 张图、同等 l2 失真）：ZO-ADMM 查询数 562 / 492 / 16,390（MNIST/CIFAR-10/ImageNet），AutoZoom 为 1821 / 1639 / 43,547；ASR 分别为 100% / 99% / 99% 与 100% / 99.2% / 98.3%。作者指出 AutoZoom 在低维隐空间生成扰动、计算成本更低。
   • ImageNet 补充对比（Table A2）：score-based ZO-ADMM 查询 1.6×10^5（query-limited 3.4×10^5）；decision-based ZO-ADMM ASR 93%、查询 1.5×10^6（boundary 85%、2.2×10^6）。
   • 附录 E（Figure A1/A2）：给出 l2 失真随查询数与 ADMM 迭代数的收敛曲线，并与 boundary 方法对比收敛；具体数值图上未标注。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未设专门小节讨论局限；实验覆盖三个图像分类数据集与三个分类模型，部分设置论文未报告。

   作者指出的局限与后续方向

   • 论文未专门讨论局限（无 Limitations/Discussion/Future Work 小节）。
   • Section 6.1：作者称 BO-ADMM 对扰动控制不够精确，需要更大扰动才能误导模型，因此 l_p 失真更大。
   • Section 6.1：作者称 BO-ADMM 存在局限，把 BO 与 ZO-ADMM 结合（BO-ZO-ADMM，附录 C）可得到更省查询的攻击。
   • Section 2.1（对迁移攻击的评述，非本文局限）：作者称 surrogate 不准确时迁移攻击成功率低，ImageNet 等数据密集领域难以训练合格 surrogate。

   实验覆盖范围

   • 被测模型共 3 个：MNIST 自训 CNN、CIFAR-10 自训 CNN、ImageNet 预训练 Inception v3（Section 6）。
   • 数据集为 MNIST、CIFAR-10、ImageNet；MNIST/CIFAR-10 每法 1800 次定向攻击，ImageNet 100 张图（定向每图 9 个目标类，另做非定向）（Section 6.1/6.2）。
   • 反馈设置覆盖 score-based 与 decision-based 两类；失真度量覆盖 l0、l1、l2 及 l∞ 约束（Table 3、附录 A）。
   • 对比方法覆盖 transfer、ZOO、boundary、query-limited、label-only、BanditsTD，附录另比 AutoZoom（Table 1、2、A1、A2）。
   • 论文未报告每次攻击的运行耗时、重复实验次数与统计显著性检验；ImageNet 上未做 transfer attack（Section 6.2：作者称其因 surrogate 训练难以扩展到 ImageNet）。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出 ADMM 黑盒对抗攻击框架（ZO-ADMM/BO-ADMM），称在三个图像分类数据集上以接近 ZOO 的 ASR 把查询数降低约 94%–99%。

   一篇黑盒对抗攻击方法论文：针对现有黑盒攻击失真度量单一、反馈设置受限、查询复杂度高的问题，把攻击写成带失真项的优化问题并用 ADMM 分裂求解。

   • 方法：z-step 处理失真与盒约束，l2 有闭式解，l0/l1/l1+l2 经 proximal 算子小幅修改即可；δ-step 用随机梯度估计（ZO-ADMM，配线性化 ADMM 一步求解）或贝叶斯优化（BO-ADMM）；decision-based 设置用蒙特卡洛平滑损失，并从目标类图像初始化。
   • MNIST/CIFAR-10（Table 1）：score-based ZO-ADMM 的 ASR 为 98.3% / 98.7%（ZOO 为 98.8% / 97.6%），首次成功查询数相对 ZOO 下降 95.9% / 95.7%；decision-based ZO-ADMM 的 ASR 均 100%，查询数比 boundary attack 少约 60%。
   • ImageNet（Table 2）：score-based ZO-ADMM 非定向 ASR 98%、定向 97%，查询数相对 ZOO 分别下降 94.3% 与 99.2%；decision-based 定向 ASR 94%，查询数低于 label-only。
   • BO-ADMM：查询数更少（MNIST 52.1、CIFAR-10 46.3）但 ASR 较低（87% / 84.1%）、失真更大；附录 C 称 BO-ZO-ADMM 结合后达到 ZO-ADMM 同等 l2 失真只需 380 / 320 查询。
   • 作者结论：该框架统一支持多种 l_p 失真度量与 score-based/decision-based 设置，作者称在不损失 ASR 与失真的前提下查询效率优于已有黑盒攻击。

   收起这一问

相关论文