Gradient Confusion Defense（GCD）：通过梯度混淆缓解基于分数的黑盒查询攻击

1. 01这篇论文试图解决什么问题？

   作者要在不重训练、不降top-1的前提下，削弱分数型黑盒查询攻击。

   如何在不重训练、不改变 top-1 的前提下，削弱必须返回置信分数的分类器所面临的分数型黑盒查询攻击。

   • 部署场景：作者指出模型常经云 API 等远程接口部署，调用方只有查询访问，白盒假设往往不成立。分数型攻击仍可凭 logits 或类概率估计梯度，在实用预算内构造对抗样本，作者因此把黑盒鲁棒性视为部署要求。
   • 现有不足：作者称已有防御大多向响应注入随机性。这可增加方差或拖慢优化，但不显式控制输出暴露的梯度；对手可对随机性取平均，或提高查询预算来恢复稳定估计。
   • 核心观察：作者把问题改写成模型应向对手暴露何种梯度。目标不是加噪，而是让估计梯度或搜索方向偏离能缩小分类间隔的方向。
   • 本文提案：提出 Gradient Confusion Defense（GCD）。它是免重训练的确定性测试时包装，改写返回概率，使暴露的 logit 梯度对齐到与真实对抗损失梯度错开的方向，并保持 top-1 与有界 ℓ1 失真。
   • 威胁模型：
     • 目标：在半径 R 的 ℓp 球内生成对抗样本。untargeted 指预测不等于真标签 k；论文也定义了 targeted。实验只做 untargeted。
     • 知识：score-based black-box。摘要写无参数、无架构；引言写无参数、无梯度、无训练数据。查询返回分数或概率向量，而不是仅标签。
     • 能力：可自适应查询，次数不超过预算 Q。用有限差分做零阶梯度估计，或用随机搜索最小化最大概率与次大概率之差。
     • 受害系统：固定的预训练分类器。GCD 不改其参数与训练，只替换返回给查询者的概率向量。

   收起这一问

2. 02有哪些相关研究？

   相关工作分为分数查询攻击与随机化或输出操纵防御；GCD以确定性梯度混淆区分。

   论文按攻击能否看到分数、以及防御发生在训练还是测试时来组织相关工作。

   分数型查询攻击

   • 零阶估计：Chen et al. (2017) 的 ZOO 与 Ilyas et al. (2018, 2019) 用有限差分或零阶优化，从 logits 或类概率估计梯度。
   • Bandit-TD（Ilyas et al., 2019）：把梯度估计写成 bandit 问题，利用相继梯度的时间相关和图像空间结构。
   • 搜索类：SquareAttack（Andriushchenko et al., 2020）用局部方形扰动做随机搜索，只接受降低损失的提议。BruSLeAttack（Vo et al., 2024）针对 ℓ0，在缩减像素集合上用合成图像的取值替换，并用历史操纵结果引导贝叶斯搜索。

   决策型查询

   • 只用标签：Cheng et al. (2020)、Chen and Gu (2020)、Chen et al. (2020)、Reza et al. (2023) 沿决策边界搜索。论文称决策型往往更费查询；第 3 节称分数型通常更强，也更难防御。预备知识另列 transfer-based（Papernot et al., 2017），实验不走该路线。

   训练期防御

   • 对抗训练：AT（Tramèr et al., 2018; Salman et al., 2019; Rice et al., 2020）在对抗样本上训练；后续加入数据增强（Rebuffi et al., 2021）、去噪（Salman et al., 2020）和集成（Liu et al., 2018）。论文称 AT 往往代价高，且可能降低干净准确率；许多此类防御主要针对白盒，并可能在混淆梯度下变脆（Athalye et al., 2018a）。

   查询场景的输出操纵

   • AAA（Chen et al., 2022）：后处理返回 logits，用替代损失包住原损失，使退化相近但梯度斜率相反，把优化引向错误方向。
   • 随机缩放与加噪：RLS（Dashtbani et al., 2026）用随机系数乘 logits。Boundary defense（Aithal and Li, 2022）向输出加噪，RND（Qin et al., 2021）向输入加噪，以提高成功攻击所需查询。
   • 随机化谱系：引言还将 Xie et al. (2018)、He et al. (2019)、Wang et al. (2021)、Hung-Quang et al. (2024) 等列入防御文献，并称其中大多数引入随机性，能增加方差或拖慢优化，但不显式控制暴露梯度。

   基线与基准：实验对照为 iRND、oRND、RFD、RLS、AAA-sine；攻击为 BanditAttack、SquareAttack、SignAttack、BruSLeAttack；数据为 CIFAR-10 与 ImageNet。

   作者把 GCD 放在免重训练的分数型黑盒测试时防御中：用确定性改写去对齐一个故意错开的梯度方向，而不是只加随机扰动。第 5.2 节进一步称，AAA 主要在输出空间翻转局部斜率，GCD 则按 Jacobian 优化输入空间中暴露的方向。

   收起这一问

3. 03论文如何解决这个问题？

   GCD在测试时解约束优化，使暴露的logit梯度对齐到与真实对抗梯度错开的方向。

   GCD 包在固定分类器外：不改权重，把返回概率从 ŷ 改成 ỹ，使对手根据输出恢复的对抗损失梯度偏离真实梯度，从而增加成功所需查询。

   对抗损失与两类攻击

   • 分类器输出 softmax 概率。对抗样本满足 ‖xadv−x‖p≤R。untargeted 要求预测不等于真标签 k。
   • 分数型攻击常用的损失 f 是概率向量最大分量减去次大分量。压低 f 会削弱当前 top 预测相对最强竞争类的置信。
   • 梯度估计：在高斯方向上做有限差分，得到平滑损失的梯度估计，再做投影梯度下降。每步需查询目标模型。
   • 随机搜索：采样方向，只在一步改进信号为负时接受。防御若翻转该符号，就会接受有害步或拒绝有用步。对手实际看到的是修改后概率上的损失 f̃。

   约束优化

   • 混淆目标写成 argmin_ỹ⟨∇_x f(x),∇_xf̃(x)⟩。约束是原概率与返回概率的 ℓ1 距离不超过失真预算 ξ，且 ỹ 落在概率单纯形上。
   • 作者给出两个目的：内积变小会使估计梯度错开，并可翻转随机搜索的接受符号；ℓ1 约束用来保住分数的可用性。另要求 top-1 下标不变。
   • ỹ 同时出现在目标与梯度中，直接求解有循环依赖。因 ℓ1 约束要求输出接近，作者用 z≈z̃ 的局部近似，令两边 Jacobian 近似相同，把内积改写到 J(x)=∇x z(x) 上。作者称该近似在实验中带来稳定改进，正文未单列近似误差。
   • 优化前不知道 ỹ 的最大与次大类，故用 ŷ 的对应下标构造 ∇z f̃。

   目标方向与求解

   • 在上述近似下，作者给出的 logit 梯度目标为 ∇_z^∗f̃(z(x))=−α J(x)^⊤ J(x)∇_z f(z(x))，其中 α→∞。作者称该向量的范数对 GCD 是否成功不重要，实验取 α=1。
   • 该方程对 ỹ 是非线性系统，且还要满足 ℓ1 与单纯形约束，故不直接求解。实际求解的是：在 ℓ1≤ξ 下，让 ∇z f̃ 尽量对齐上述目标方向。解出后按分量和做归一化。
   • 求解器用 trust-region 内点法（Conn et al., 2000），经 scipy 实现。若 ỹ 的最大分量下标偏离 ŷ，就把两者的差额加回原 top、从新 top 减去，强制 argmax 不变。
   • 实验取 ξ=0.5。ImageNet 上 ỹ 维数大，只在目标 logit 梯度的 top-10 与 bottom-10、共 20 个分量上优化，其余在归一化前固定为 ŷ。作者称这 20 个对目标影响最大。

   理论分析模型

   • 第 4.1 节用分析用目标 fdef=λf+(1−λ)f̃，λ 每次查询独立服从 Bernoulli(p)。这不是第 4.2 节的实现；实现每次都返回优化后的向量，对应作者建议的 p=0。
   • 假设 4.1 要求 f 与 f̃ Lipschitz；假设 4.2 要求梯度 Lipschitz。Theorem 4.3 还要求 |f−f̃|≤ε，并讨论平滑参数足够小的零阶优化。作者称，把负且幅度大的混淆内积放进界中后，攻击者需更多步数 T 才能把平均梯度范数压到阈值以下；p→0 时 (1−p)/p 会放大该项。推导在附录 B。
   • Theorem 4.4 针对 d≥2 的高斯搜索方向：一步符号错误概率有下界，主项随两梯度夹角增大，平滑修正随步长 μ→0 变小。推导在附录 C。作者据此称，应让 f̃ 在函数值上接近 f、在梯度上错开。附录 C.3 称高斯方向因其旋转不变，且用来近似实践中各向同性采样的符号行为。

   收起这一问

4. 04论文做了哪些实验？

   CIFAR-10与ImageNet上GCD的干净准确率下降为0%；多组ASR低于无防御，ViT上并非一律最低。

   实验设置

   • 数据与模型：CIFAR-10 用预训练 ResNet-18；ImageNet 用 Torchvision 预训练的 ResNet-50 与 ViT-B/16。每个数据集随机抽 N=1000 张测试图。
   • 攻击：untargeted 的 BanditAttack（ℓ2、ℓ∞）、SquareAttack（ℓ2、ℓ∞）、SignAttack（ℓ∞）。BruSLeAttack（ℓ0）见于 Table 1，Table 2 未列。查询预算 Q=1000。
   • 扰动预算：CIFAR-10 输入缩放到 [0,255]，ℓ∞ 的 ε=12.75（归一化 0.05），ℓ2 的 ε=255（归一化 1.0）。ImageNet 输入在 [0,1]，ℓ∞ 的 ε=0.05；ℓ2 沿用原实现（Bandit 为 1275，Square 为 5）。
   • 基线与 GCD：iRND 对输入加高斯噪声 σ=0.01；oRND 对输出 logits 加高斯噪声 σ=1.0；RFD 向中间特征加噪；RLS 将 logits 乘以 [0.5,10] 上的均匀系数；AAA 只测 AAA-sine（temperature 1，deviation 0.5，attractor interval 4，calibration weight 5，learning rate 0.1，100 次内层迭代）。作者援引 Chen et al. (2022) 称 AAA-linear 易受自适应攻击。GCD 取 ξ=0.5，ImageNet 只优化 20 个分量。
   • 指标：ASR 是预算内攻击成功的样本比例；Average Queries 是成功攻击的平均查询数；另报 Clean Accuracy Drop。论文未写 LLM 评审、人工一致性或重复次数。
   • 自适应：Table 4 把 EOT 与 Pendulum 放进 Square Attack，k=10，评 1000 张 ImageNet、模型为 ViT-B/16。Max 取两种变体中 ASR 更高者。

   主结果

   下表为 ASR，无防御与 GCD。CIFAR-10 的 ResNet-18 据 Table 1，ImageNet 的两行据 Table 2。Q=1000，untargeted。平均查询与 BrusLe-ℓ0 未放入表内。

   表格较宽，可左右滑动

   模型与防御	Bandit-ℓ2	Bandit-ℓ∞	Square-ℓ2	Square-ℓ∞	Sign-ℓ∞
   ResNet-18 无防御	82.68%	98.03%	87.76%	99.38%	98.97%
   ResNet-18 GCD	0.94%	28.12%	4.15%	30.71%	14.53%
   ResNet-50 无防御	46.73%	87.05%	81.45%	99.47%	91.33%
   ResNet-50 GCD	3.34%	35.65%	13.22%	47.94%	20.17%
   ViT-B/16 无防御	38.17%	76.46%	70.64%	97.90%	80.05%
   ViT-B/16 GCD	3.35%	21.94%	12.38%	33.83%	21.44%

   • 相对同表无防御行，GCD 的 ASR 都更低，且 Table 1–2 中 GCD 的 Acc. Drop 均为 0%。作者称这是在保持预测的同时压低攻击成功率，并在摘要与第 6 节称达到 state-of-the-art。
   • 作者称在非 transformer 上 GCD 优于几乎所有基线。表外反例：ResNet-18 的 Bandit-ℓ∞，RLS 为 25.11%，GCD 为 28.12%；ResNet-50 的 Square-ℓ∞，AAA 为 47.06%，GCD 为 47.94%。
   • ViT-B/16 的 Square-ℓ2、Square-ℓ∞、Sign-ℓ∞ 上，更低的 ASR 来自 RLS（10.29%、30.36%、13.39%）或 AAA（10.9%、26.74%、15.1%），不是 GCD。BrusLe-ℓ0 只在 Table 1：无防御 79.78%，GCD 38.59%。

   与其他防御及输出偏移

   • 准确率下降：RLS 三行均为 0%。AAA 在 ResNet-18、ResNet-50、ViT-B/16 上为 0.1%、0.3%、0%。iRND 为 1%、0.2%、0.2%；oRND 为 0.6%、1.7%、1.8%（Table 1–2）。作者称 iRND、oRND 以准确率换鲁棒性，保护也更弱；AAA 与 RLS 能保持准确率，但对自适应攻击更脆弱。
   • ℓ1：Table 3 在 1000 张 ImageNet 上比较 ŷ 与防御输出，未写架构。GCD 为 min 0.07、avg 0.58、max 1.25。iRND、oRND、RLS、AAA 的 avg 为 0.11、0.26、0.33、0.28。作者称 GCD 偏移更大，与塑造分数以错开梯度、而不只是加噪相一致。
   • 平均查询：该指标只对成功样本平均。Table 1 中 GCD 对 Square-ℓ2 为 20.95，无防御为 466.29。不能把较小均值直接读成失败样本也更早停止。

   梯度夹角

   • Figure 1：10 张 ImageNet 测试图，每色对应 200 次 square-ℓ∞ 迭代；虚线与数字是每样本平均夹角。图中文字未写架构。GCD 标注包括 24.5°、29.9°、36.0°、46.8°、47.4°、49.0°、49.4°、51.7°、68.9°、84.4°。作者称许多接近约 50°，并称这是系统性偏差。AAA 的标注为 0.0°；作者称其几乎暴露真实方向。
   • RLS：图中可见 0.0°、0.5° 以及 55.4°、55.9°、58.4°、66.5°。作者称还有接近 90° 的角度，并猜测部分概率被映成 one-hot，使防御后梯度接近 0。Figure 1 的文字标注未见 90°。
   • Figure 2：10 张 CIFAR-10、100 次 Square Attack。作者称 AAA 平均夹角很快落到约 8°–10°，GCD 维持约 25°–28°，许多样本在 30°–45°。作者称差别在于错开能否沿整条轨迹保持，并称这与 Theorem 4.4 一致。正文的 CIFAR-10 模型是 ResNet-18；图注未另写架构。

   自适应攻击

   • 在 Square Attack 上加入 EOT 与 Pendulum，k=10，ViT-B/16，1000 张 ImageNet。EOT 对 k 次随机化输出取平均；PendulumAttack 迭代估计并利用防御模式。论文未把该协议扩展到另外两个模型。
   • Table 4 的 ASR/平均查询：AAA 为 EOT 21.94%/85.44、Pen-Square 40.53%/306.08、Max 40.53%；RLS 为 36.19%/215.83、23.55%/85.44、Max 36.19%；GCD 为 24.04%/159.69、30.12%/209.33、Max 30.12%。
   • 作者把 Max 当作主结果，称在“取两种变体中更成功者”的设定下，GCD 比 AAA 和 RLS 更耐自适应攻击。分变体看，EOT 上 AAA 的 ASR 更低，Pen-Square 上 RLS 更低。作者称 Figure 2 有助于解释该对比，但本身不建立因果：平均针对方差，不去掉确定性方向偏差；Pendulum 可利用 AAA 的振荡结构。

   其他消融与分析

   • 论文未报告 ξ、p 或 ImageNet 全 1000 类相对 20 分量子集的 ASR 对照。
   • RFD 写入实验设置，Table 1–2 未给 ASR 或 Acc. Drop。
   • Table 1：iRND 的 BrusLe-ℓ0 ASR 为 82.9%，高于无防御 79.78%。
   • Table 2：oRND 在 ResNet-50 上的 Bandit-ℓ2 ASR 为 51.47%，高于无防御 46.73%。
   • Table 2：oRND 在 ViT-B/16 上的 Sign-ℓ∞ ASR 为 81.44%，高于无防御 80.05%。
   • 作者称式 (7)(15)(16) 优化的是与 Jacobian 复合后的输入空间方向，AAA 没有做这一步。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者只指出Jacobian带来约15%推理开销，并计划探索替代优化。

   作者指出的局限与后续方向

   • Jacobian 开销：第 6 节称有一项局限需要讨论：GCD 需要计算 Jacobian，增加计算开销，推理时间大约增加 15%。
   • 后续方向：同一节称未来工作可以探索替代优化方法，以及绕过该障碍的做法。
   • 论文没有另设 Limitations 小节。除此之外，正文未再把某项结果明确写成局限或未来工作。

   实验覆盖范围

   • 模型与数据：CIFAR-10 为预训练 ResNet-18；ImageNet 为 Torchvision 预训练的 ResNet-50 与 ViT-B/16。每个数据集随机抽 N=1000 张测试图（第 5.1 节）。
   • 主协议：untargeted，Q=1000。Table 1–2 含 Bandit-ℓ2/ℓ∞、Square-ℓ2/ℓ∞、Sign-ℓ∞；BrusLe-ℓ0 只在 Table 1。扰动预算按第 5.1 节的 ε。效用指标是 Clean Accuracy Drop，论文未报告绝对干净准确率。
   • 对照防御：表中有 iRND、oRND、RLS、AAA-sine 与 GCD。设置文字还列入 RFD，表中未给出其 ASR 或准确率下降。
   • 自适应与夹角图：Table 4 为 ViT-B/16、1000 张 ImageNet、k=10 的 EOT 与 Pen-Square。Figure 1 为 10 张 ImageNet、每样本 200 次 square-ℓ∞ 迭代，未写架构。Figure 2 为 10 张 CIFAR-10、100 次 Square Attack 迭代。
   • 论文未报告的量：重复次数、targeted 的 ASR、不同 ξ 或不同 p 的 ASR，以及 ImageNet 全量优化相对 20 分量子集的 ASR。第 4.1 节的 Bernoulli(p) 切换没有对应实验扫描。相关工作讨论了 decision-based 攻击，正文未给出它们在 GCD 上的 ASR。

   收起这一问

6. 06总结一下论文的主要内容

   GCD用Jacobian约束改写返回概率，在零干净准确率下降下降低多种分数黑盒攻击的ASR。

   GCD 是针对分数型黑盒查询攻击的测试时防御：分类器权重不变，只改返回给查询者的概率向量。

   • 问题：远程接口通常只提供查询和置信分数。作者认为，只向输出加随机性挡不住加大预算或对随机性取平均的对手，因此要主动把暴露梯度偏离开真实对抗损失梯度。
   • 做法：在 ℓ1 预算内保持 top-1，用 logits 的 Jacobian 构造错开方向，再用 trust-region 内点法求返回概率。实验取 ξ=0.5；ImageNet 只优化 20 个分量。分析用的随机切换不是实现本身，作者建议始终返回修改后的分数。Theorem 4.3 与 4.4 分别讨论零阶优化所需步数和随机搜索的一步符号错误。
   • 主结果：CIFAR-10（ResNet-18）与 ImageNet（ResNet-50、ViT-B/16）各 1000 张、Q=1000、untargeted。GCD 的干净准确率下降均为 0%。ResNet-18 上 Square-ℓ2 的 ASR 从 87.76% 到 4.15%，Sign-ℓ∞ 从 98.97% 到 14.53%（Table 1）。ResNet-50 上 GCD 的 Bandit-ℓ2 为 3.34%、Square-ℓ∞ 为 47.94%（Table 2）。ViT 上 Square-ℓ∞ 从 97.90% 到 33.83%，但 Square-ℓ2、Square-ℓ∞、Sign-ℓ∞ 的 ASR 高于 RLS 或 AAA。
   • 自适应与结论：ViT-B/16 上，EOT 与 Pendulum 中 ASR 更高者，GCD 为 30.12%，AAA 为 40.53%，RLS 为 36.19%（Table 4）。作者称 GCD 用确定性方向偏差应对分数型查询攻击，并称其为 state-of-the-art；第 6 节同时称 Jacobian 使推理时间大约增加 15%。

   收起这一问

相关论文