ZOO：基于零阶优化的深度神经网络黑盒攻击，无需训练替代模型

1. 01这篇论文试图解决什么问题？

   作者提出 ZOO：不训练替代模型、只凭输入输出查询直接对黑盒 DNN 做零阶优化攻击。

   核心问题：在只能查询目标 DNN 输入与输出（置信度分数）、无法反向传播的黑盒设定下，如何高效生成对抗样本。

   • 场景与重要性：DNN 图像分类器被证明易受对抗样本攻击，作者认为这对自动驾驶交通标志识别等安全关键应用构成威胁；而真实系统通常不公开内部结构，白盒攻击难以实施。
   • 现有方法的不足：论文称，已有黑盒攻击主要训练替代模型（substitute model）再做白盒攻击并依赖迁移性，其效果受迁移损失限制，且难以扩展到 ImageNet 规模的大模型。
   • 核心观察：零阶优化只需目标函数值即可估计梯度，作者据此提出"伪反向传播"，让攻击"如同"白盒攻击一样直接作用于目标模型，避免迁移损失。
   • 论文提出的方法：ZOO（Zeroth Order Optimization）攻击——基于 C&W 攻击形式化改写损失函数，用零阶梯度随机坐标下降直接攻击，并配合攻击空间降维、分层攻击和重要性采样三种加速技术。
   • 威胁模型：
     • 攻击者目标：生成人眼难以察觉的对抗样本，使目标模型误分类（无目标）或分到指定类别（有目标）。
     • 攻击者知识：只能访问目标 DNN 的输入（图像）和输出（各类别置信度分数），不知内部结构与权重。
     • 攻击者能力：可自由、反复查询目标模型，但不能做反向传播；论文称此为 practical black-box 设定。
     • 受害系统：CNN 图像分类器，实验中为 MNIST/CIFAR10 模型和 ImageNet 上的 Inception-v3。

   收起这一问

2. 02有哪些相关研究？

   相关工作分白盒攻击、替代模型黑盒攻击、防御方法与零阶优化四组，本文以 C&W 攻击和 Papernot 等的替代模型攻击为对照。

   白盒（open-box）对抗攻击

   • FGSM（Goodfellow 等，2014）：在 L∞ 约束下用梯度符号生成对抗样本，是常用的基线攻击框架。
   • JSMA（Papernot 等，2016）：基于 Jacobian 显著图的贪心攻击，迭代修改最关键的像素。
   • DeepFool（Moosavi-Dezfooli 等，2016）：无目标攻击，把图像投影到最近的决策边界以最小化 L2 扰动。
   • C&W 攻击（Carlini & Wagner，2017）：把有目标攻击形式化为优化问题，用 logit 层表示和 L2 范数；论文称其为当时最强的攻击之一，并称其绕过了 10 种对抗样本检测方法。

   黑盒攻击与迁移性

   • 替代模型攻击（Papernot 等，2017；[34][35]）：通过自由查询训练替代模型，对其做白盒攻击再迁移到目标模型；论文指出这类方法的效果依赖迁移性，且 [35] 只在 MNIST 规模的小网络上展示成功。
   • Liu 等（2016）：展示了对 Clarifai.com 这一黑盒图像分类系统的成功攻击。
   • 通用扰动（Moosavi-Dezfooli 等，2016）：论文引用其结论——一个精心构造的通用扰动可以高概率使所有考虑的图像被误分类。

   防御方法

   • 检测类防御：用统计检验区分对抗与良性样本，如 feature squeezing；论文指出 C&W 攻击绕过了 10 种检测算法，对其"对抗样本与良性样本分布本质不同"的假设构成挑战。
   • 梯度与表示掩蔽：防御蒸馏（Papernot 等，2016）及其扩展；论文指出 C&W 攻击已能攻破防御蒸馏，但它仍被视为基线防御。
   • 对抗训练：联合对抗样本做数据增强与重训练；论文称 [27] 的鲁棒优化方法对 FGSM 和 C&W 攻击展示了较好的防御结果，代价是更大的模型容量。

   零阶优化

   • 零阶方法只需函数值即可估计梯度，其收敛性在优化文献中已被证明（[11][25][32]）；本文将其引入黑盒攻击。

   基线与定位：实验对照为白盒 C&W 攻击和基于替代模型的黑盒攻击（替代模型上分别跑 FGSM 与 C&W，[35]），基准为 MNIST、CIFAR10 和 ImageNet。作者将 ZOO 定位为不需要训练替代模型、通过"伪反向传播"直接攻击目标模型的黑盒方法，作者称其避免了替代模型的迁移损失。

   收起这一问

3. 03论文如何解决这个问题？

   ZOO 把 C&W 攻击改写为只依赖输出置信度的损失，用对称差分估计梯度做零阶坐标下降，再加三种加速技术。

   整体思路：把白盒 C&W 攻击的优化目标改造成只依赖模型输出置信度的形式，再用零阶优化（对称差分估计梯度 + 随机坐标下降）直接在目标模型上求解，从而不需要替代模型。方法名为 ZOO。

   问题设定与 C&W 形式化

   • 目标模型记为 F(x)：输入图像 x（p 维），输出 K 个类别的置信度分数向量。
   • C&W 攻击求解 minimize_x |x − x₀|₂² + c · f(x, t)，即最小化扰动 L2 范数与攻击损失之和，x 约束在合法图像空间 [0,1]^p。
   • 原 C&W 损失基于 logit 层表示 Z(x)：f(x,t) = max{max_{i≠t}[Z(x)]_i − [Z(x)]_t, −κ}，需要访问内部状态并做反向传播，因而是白盒攻击。

   黑盒化改造：损失函数与梯度估计

   • 新损失函数：f(x, t) = max{max_{i ≠ t} log[F(x)]_i − log[F(x)]_t, −κ}，只依赖输出置信度；作者称 log 运算可缓解训练良好的 DNN 输出分布过于倾斜的问题。无目标版本用原类别 t0 替换 t。
   • 对称差分估计梯度：ĝ_i ≈ [f(x+he_i) − f(x−he_i)] / 2h，h = 0.0001，估计误差为 O(h^2)；同一组评估还可免费得到坐标级 Hessian 估计。
   • 作者认为梯度无需精确，正如 FGSM 只用梯度符号也能成功。

   零阶随机坐标下降

   • 每次迭代随机选一个坐标，用估计的梯度（和 Hessian）近似求解该坐标的最优更新；朴素的全梯度估计每步需 2p 次评估，坐标下降每步只需 2 次函数评估。
   • ZOO-ADAM（Algorithm 2）：坐标级 ADAM 更新，β1 = 0.9、β2 = 0.999、ϵ = 1e-8。
   • ZOO-Newton（Algorithm 3）：用估计的梯度与 Hessian 做坐标级牛顿更新；Hessian 为负时退化为梯度更新。
   • 实现上每轮批量估计并更新 B = 128 个坐标。

   三种加速技术

   • 攻击空间降维：不直接优化 p 维扰动，而是优化低维变量 y（m < p），经上采样变换 D(y)（如双线性插值）映射到原图尺寸；例如 Inception-v3 用 m = 32×32×3 代替 p = 299×299×3。
   • 分层攻击：从小的攻击空间开始（如 32×32×3），当损失下降不明显时逐步升维（如到 64×64×3、128×128×3），兼顾搜索空间与效率。
   • 重要性采样：把图像分成 8×8 区域，按区域内像素值变化大小分配采样概率（取绝对值、4×4 max-pooling、上采样并归一化），优先更新对攻击更重要的像素；小攻击空间不使用。

   成功判定

   • 有目标攻击成功：对抗样本被分到目标类 t（损失中 max_{i≠t} log[F(x)]_i − log[F(x)]_t ≤ 0）；无目标攻击成功：被分到原类别以外的任何类。
   • 另报告一个技巧：首次找到有效攻击后重置 ADAM 状态，让优化器专注于降低 L2 扰动。

   收起这一问

4. 04论文做了哪些实验？

   在 MNIST/CIFAR10 上 ZOO 成功率接近白盒 C&W 并高于替代模型攻击；ImageNet 无目标成功率 88.9%。

   实验设置

   • 被测模型：MNIST 和 CIFAR10 使用与 C&W 论文（[8]，Table 1）相同的 DNN；ImageNet 使用 Inception-v3。替代模型攻击中目标模型与替代模型使用同一 DNN 架构。
   • 数据集与样本量：MNIST/CIFAR10 有目标攻击各随机选 100 张测试图、对 9 个非原类别各攻击一次共 900 次；无目标攻击各随机选 200 张测试图；均跳过原本被误分类的图。ImageNet 无目标攻击用 150 张测试图（排除小于 299×299 的图和原本误分类的图）。
   • 基线：白盒 C&W 攻击；替代模型黑盒攻击（替代模型上分别跑 FGSM 与 C&W，参照 [35] 的 CleverHans 实现）。
   • 指标：成功率（Success Rate）、平均 L2 扰动（Avg. L2）、单次攻击平均耗时。
   • 关键参数：c 从 0.01 起最多二分搜索 9 次；步长 η = 0.01；C&W 跑 1,000 次迭代，ZOO 在 MNIST 跑 3,000 次、CIFAR10 跑 1,000 次；每轮更新 128 个像素；κ = 0（除非另注明）。替代模型用 150 张留出图训练，5 个 Jacobian 增强轮次，λ = 0.1；FGSM 的 ϵ = 0.4；替代模型上的 C&W 设 κ = 20、2,000 次迭代。
   • ImageNet 参数：攻击空间 32×32×3，无目标攻击限 1,500 次迭代（约 20 分钟/张），固定 c = 10，步长 0.002。

   主结果

   据 Table 1（MNIST/CIFAR10）与 Table 2（ImageNet 无目标）：

   表格较宽，可左右滑动

   方法	设定	成功率	平均 L2	单次耗时
   白盒 C&W	MNIST 无目标	100%	1.48066	0.48 min
   替代模型+FGSM	MNIST 无目标	40.6%	-（L∞ 攻击）	0.002 sec (+6.16 min)
   替代模型+C&W	MNIST 无目标	33.3%	3.6111	0.76 min (+6.16 min)
   ZOO-ADAM	MNIST 无目标	100%	1.49550	1.38 min
   ZOO-ADAM	MNIST 有目标	98.9%	1.987068	1.62 min
   ZOO-ADAM	CIFAR10 无目标	100%	0.19973	3.43 min
   ZOO-ADAM	CIFAR10 有目标	96.8%	0.39879	3.95 min
   ZOO-ADAM	ImageNet 无目标	88.9%	1.19916	约 20 min

   • 表中 ZOO-Newton 行此处省略：MNIST 有目标成功率同为 98.9%，CIFAR10 有目标为 97.0%；替代模型+C&W 在 CIFAR10 有目标成功率仅 5.3%，为全表最低。
   • 作者称 ZOO 的成功率与 L2 扰动接近白盒 C&W，且高于替代模型黑盒攻击，尤其有目标攻击；作者认为这是因为 ZOO 继承了 C&W 的有效性且没有迁移损失。
   • 作者指出 FGSM 在部分实验中成功率较高是因为它用了较大的 ϵ = 0.4、引入的噪声比 C&W 多；作者也称 ADAM 变体在耗时和 L2 扰动上通常优于 Newton 变体。

   ImageNet 有目标攻击与消融

   • 设定：选一张无目标攻击都失败的"难"图（Inception-v3 以 97.0% 置信度判为 bagel），目标类设为原置信度仅 0.0006% 的 grand piano；攻击空间从 32×32×3 起，在迭代 2,000 和 10,000 时升至 64×64×3 和 128×128×3，共 20,000 次迭代，约 260 分钟。
   • 结果（Table 3）：全部技巧启用时攻击成功，首次有效攻击出现在迭代 15,227，最终 L2 为 3.425；去掉分层攻击则失败（最终损失 62.439）；去掉重要性采样仍成功但首次有效攻击推迟到迭代 17,403；不重置 ADAM 状态仍成功但最终 L2 为 3.47935。
   • 作者解读：作者称分层攻击对加速至关重要，重要性采样帮助提前 2,000 多次迭代找到首个有效攻击，重置 ADAM 状态能降低最终扰动；作者报告攻击后原类别置信度从 97% 降到约 0.6%，目标类从 0.0006% 升到 0.6% 以上（成为 top-1）。

   其他消融与分析

   • 降维有效性：ImageNet 无目标攻击仅用 32×32×3 攻击空间、1,500 次迭代即达 88.9% 成功率，评估的梯度数（192,000）少于图像像素总数（268,203）（4.3 节）。
   • 重要性采样示例：Figure 3 展示 bagel 图在 32×32×3 空间的噪声分布及据此生成的 64×64×3 采样概率，R 通道变化比其他通道更明显。
   • 可视化：Figures 4、5 展示 MNIST/CIFAR10 上 ZOO-ADAM、ZOO-Newton 与白盒 C&W 的对抗样本，作者称三者视觉质量相近；Figure 1 与附录 Figure 7 展示 ImageNet 上噪声几乎不可见的样本。
   • 替代模型攻击在 ImageNet 上的结果：Table 2 中记为 N.A.，作者称替代模型攻击难以扩展到 ImageNet，因为需要容量足够大的替代模型和大量代价高的 Jacobian 数据增强。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出加速、对抗训练与跨域扩展三个后续方向；实验仅覆盖三个图像分类数据集上的两类模型。

   作者指出的局限与后续方向

   • 迭代次数更多：作者指出 ZOO 因要近似梯度和做伪反向传播，优化过程比白盒攻击需要更多迭代（Conclusion and Future Work）。
   • 数据驱动加速：作者提出可在现有加速技巧之外，用数据驱动的方法在生成对抗样本时进一步提升黑盒攻击效率（Conclusion and Future Work）。
   • 用于对抗训练：作者提出 ZOO 可作为 DNN 鲁棒性的独立指标服务于对抗训练（Conclusion and Future Work）。
   • 扩展到其他领域：作者提出可把攻击适配到语音、时间序列、图等其他数据类型和 RNN 等其他模型架构（Conclusion and Future Work）。
   • 融入辅助信息：作者提出如何把数据集的侧信息（如专家知识）和已有对抗样本（如安全泄露与利用）融入黑盒攻击值得进一步研究（Conclusion and Future Work）。

   实验覆盖范围

   • 被测模型为 MNIST/CIFAR10 各一个 DNN（与 C&W 论文相同的架构）和 ImageNet 上的 Inception-v3，共三个图像分类模型（4.1、4.2、4.3 节）。
   • 样本量：MNIST/CIFAR10 有目标攻击各 900 次（100 张图 × 9 个目标类）、无目标攻击各 200 张图；ImageNet 无目标攻击 150 张图（4.2、4.3 节）。
   • ImageNet 有目标攻击只报告了 1 张选定图像的单个案例（4.3 节）。
   • 防御评测：论文未对任何防御方法做攻击实验，仅在引言和相关工作中讨论防御（1.3 节）。
   • 论文未报告攻击成功率之外的统计检验或重复实验的方差；ImageNet 无目标攻击的 1,500 次迭代上限由作者设定，作者称增加迭代可进一步提升成功率和扰动表现（4.3 节）。

   收起这一问

6. 06总结一下论文的主要内容

   ZOO 用零阶优化把 C&W 白盒攻击搬到黑盒设定，无需替代模型，成功率接近白盒并可扩展到 ImageNet。

   一篇黑盒对抗攻击论文，提出 ZOO（Zeroth Order Optimization based black-box attack），解决只能查询目标 DNN 输入输出、无法反向传播时生成对抗样本的问题，作者认为替代模型路线受迁移损失限制且难以扩展到大模型。

   • 方法要点：把 C&W 攻击的损失改写为只依赖输出置信度的 hinge 形式（取 log），用对称差分估计梯度与 Hessian，以零阶随机坐标下降（ADAM 或 Newton 变体，每轮更新 128 个坐标）直接优化目标模型；针对大模型再加攻击空间降维、分层攻击和重要性采样三种加速技术。
   • MNIST/CIFAR10：ZOO-ADAM 无目标成功率均为 100%，有目标分别为 98.9% 和 96.8%，L2 扰动接近白盒 C&W（如 MNIST 无目标 1.49550 对 1.48066），高于替代模型黑盒攻击（MNIST 有目标仅 7.48%–26.74%）（Table 1）。
   • ImageNet：对 Inception-v3 的无目标攻击在 32×32×3 攻击空间、1,500 次迭代内成功率 88.9%，平均 L2 为 1.19916（白盒 C&W 为 0.37310）（Table 2）；替代模型攻击在该设定下记为 N.A.，作者称其难以扩展。
   • 有目标攻击案例：对一张无目标攻击都失败的 bagel 图，ZOO 在 20,000 次迭代内成功将其误分类为 grand piano，首次成功在迭代 15,227；消融显示去掉分层攻击则失败（Table 3）。
   • 作者结论：作者称 ZOO 达到了与白盒 C&W 攻击相当的效果、优于替代模型黑盒攻击，且不存在迁移损失；后续方向包括数据驱动加速、用于对抗训练和扩展到其他数据域。

   收起这一问

相关论文