机器学习模型的状态化防御尚不能抵御黑盒攻击
Stateful Defenses for Machine Learning Models Are Not Yet Secure Against Black-box Attacks
作者提出自适应黑盒攻击策略 OARS,作者称其增强的攻击对 Blacklight 等四种有状态防御的 ASR 从接近 0% 升至接近 100%。
黑盒威胁模型:攻击者只能通过 MLaaS 平台的公开 API 查询模型,获得标签(hard-label)或类别概率(score-based),无法访问模型或训练数据;攻击是 model agnostic 的,不知道是否部署了 SDM 及具体是哪种;受害系统是部署了有状态防御(SDM)的查询接口,SDM 全程运行,可拒绝查询或封禁账号。
- 有状态防御(SDM)通过跟踪查询历史、拒绝相似查询来抵御黑盒攻击,Blacklight 等对现有攻击报告了 0% ASR。作者要回答:类似白盒领域的教训,SDM 能否被更强的自适应黑盒攻击攻破。
- 提出 OARS(Oracle-guided Adaptive Rejection Sampling):把 SDM 的拒绝/封禁行为当作 oracle,先用二分搜索微调攻击采样分布的参数(adapt),再从微调后的分布中拒绝采样以避开碰撞(resample),改造攻击的梯度估计、步长和边界定位三个环节。
- 将 OARS 应用于 NES、Square、HSJA、QEBA、SurFree、Boundary 六种攻击,在 CIFAR10、ImageNet、CelebaHQ、IIoT Malware 上评测四种 SDM。作者报告每个数据集×防御组合都至少有一种 OARS 攻击达到 99% 以上 ASR,而标准和 query-blinding 基线大多低于 5%。
- 作者在 Limitations 一节写明未考虑迁移攻击,也未评测 AAA、AdvMind 等其他黑盒攻击检测方法。实验覆盖四种 SDM、六个攻击、四个主数据集,每配置 100 个样本(CIFAR10 另有 1000 样本);文本域仅有初步实验。
- 被测模型
- BlacklightPIHAIIoT-SDAOSDResNet-20 (CIFAR10)ResNet-152 (ImageNet)ResNet-152 (CelebaHQ)5 Conv + FC (IIoT Malware)BERT
- 基准
- CIFAR10ImageNetCelebaHQIIoT MalwareIMDB
- 指标
- ASRquery countfalse positive rate
威斯康星大学麦迪逊分校与密歇根大学研究者在 CCS 2023 论文中提出 OARS 自适应黑盒攻击策略,显示 Blacklight、PIHA、OSD、IIoT-SDA 四种状态化防御对此类攻击高度脆弱。OARS(Oracle-guided Adaptive Rejection Sampling)先用初始查询推断防御的相似性检测机制,再据此设计后续查询,在避开碰撞检测的同时继续构造对抗样本。研究者将其应用于 NES、HSJA、QEBA、SurFree、Square、Boundary 六种黑盒攻击,在 CIFAR10、ImageNet 等数据集和 100k 查询预算下,最佳增强版攻击对四种防御的成功率从接近 0% 升至接近 100%,在线 API 的额外查询成本仅 $1-18。面对提高碰撞阈值等防御重配置,攻击仍保持高成功率;作者称 OARS 增强攻击可作为检验未来状态化防御的新基准。
推荐理由论文提出的 OARS 自适应攻击使效果最好的黑盒攻击对四种状态化防御的成功率从近 0% 升至近 100%,为检验状态化防御提供了新基准。
深度解读
这篇论文试图解决什么问题?
作者提出自适应黑盒攻击 OARS,作者称现有有状态防御(SDM)可被其攻破,ASR 从接近 0% 升至接近 100%。
核心问题:针对黑盒查询攻击的有状态防御(SDM)能否被自适应黑盒攻击攻破。
- 问题场景:MLaaS 平台(如 Clarifai、Amazon Rekognition)只暴露查询 API,黑盒攻击需反复查询相似样本来估计梯度或沿边界行走。SDM(如 Blacklight、PIHA)跟踪查询历史、拒绝"过于相似"的查询(即碰撞),作者称 Blacklight 对多种攻击达到 0% ASR。
- 现有方法不足:作者称,现有自适应手段 query-blinding 通过对查询做随机变换来规避检测,但难以平衡攻击效用与检测规避,变换越强越容易规避检测、却越破坏优化过程;Blacklight 等声称能击败 query-blinding。
- 核心观察:作者的关键洞察是 SDM 的动作模块会"泄露"其相似度检测过程和参数的信息——攻击者可以利用拒绝/封禁行为作为 oracle 来调整后续查询,使其既避开碰撞又继续推进攻击。
- 论文提出:自适应黑盒攻击策略 OARS(Oracle-guided Adaptive Rejection Sampling),分两阶段:先用初始查询模式推断 SDM 防御的关键性质,再利用这些性质设计后续查询。作者将其应用于六种黑盒攻击,并报告对四种 SDM 的 ASR 从接近 0% 升至接近 100%。
- 威胁模型:
- 目标:在扰动预算内构造对抗样本(NES、HSJA、QEBA 为 targeted,Square、SurFree、Boundary 为 untargeted)。
- 知识:black-box,只能查询模型获得标签(hard-label)或类别概率(score-based);攻击是 model agnostic 的,不知道是否部署了 SDM 及具体是哪种。
- 能力:通过注册账号与公开 API 交互;不关闭或暂停 SDM,SDM 全程可拒绝查询或封禁账号。
- 受害系统:部署了 SDM 的 MLaaS 分类器。
有哪些相关研究?
相关工作分四组:黑盒攻击、有状态防御(SDM)、query-blinding 自适应攻击,以及其他黑盒攻击检测方法。
黑盒查询攻击(被 OARS 改造的六个攻击)
- NES(Ilyas et al., 2018)——score-based 攻击,用高斯采样的有限差分估计损失梯度,再做投影梯度下降。
- Square(Andriushchenko et al., 2020)——score-based 攻击,在逐渐缩小的方块内施加 ℓp 有界随机扰动。
- HSJA(Chen et al., 2020)、QEBA(Li et al., 2020)、SurFree(Maho et al., 2021)、Boundary(Brendel et al., 2017)——四个 hard-label 攻击:HSJA 二分定位边界并估计梯度;QEBA 在低维子空间采样;SurFree 不做梯度估计、沿极坐标方向随机搜索;Boundary 从随机初始化的对抗样本开始做 boundary walk。
有状态防御模型(SDM,本文的攻击对象)
- OSD(Chen et al., 2020)——用对比损失训练的神经相似度编码器提取特征,per-account 查询库,对 50 近邻的平均 ℓ2 距离做检测,动作是封禁账号;论文指出 Sybil 账号可使其被平凡攻破。
- Blacklight(Li et al., 2022)——用 Pixel-SHA 概率哈希做特征提取,全局哈希表查询库,对归一化汉明距离做近似最近邻搜索,动作是拒绝查询;作者转述其报告对所有黑盒攻击 0% ASR,且每天重置一次查询库时最快成功攻击约需 3 年。
- PIHA(Choi et al., 2023)——与 Blacklight 类似但提出新的感知哈希算法(低通滤波、HSV/YCbCr 色彩空间、Local Binary Patterns)。
- IIoT-SDA(Esmaeili et al., 2022)——面向工业 IoT 恶意软件分类,用 Mahalanobis 对比损失训练神经编码器,per-account 查询库、11 近邻、拒绝查询;论文称其为 OSD 与 Blacklight 的组合。
query-blinding(现有自适应手段、本文基线)
- Query-blinding(Chen et al., 2020)——对查询做随机图像变换(旋转、平移、缩放、高斯噪声)以规避检测,再用 revealing 函数恢复原输出估计。论文指出其难以平衡攻击效用与检测规避,且 Blacklight 等声称能击败它。
其他黑盒攻击检测方法(论文未评测)
- AAA(Chen et al., 2022)——后处理方法,周期性修改 logits 损失曲线以误导 score-based 攻击;AdvMind(Pang et al., 2020)——推断攻击者意图的检测模型。论文称二者与 SDM 正交,未纳入评测。
基线与基准:基线攻击配置为 standard 与 query-blinding 两种(均含仅 resample 的变体);防御基线为上述四种 SDM 的默认配置;数据集为 CIFAR10、ImageNet、CelebaHQ、IIoT Malware。
作者将本文定位为:类似白盒领域"缺乏自适应攻击评估导致鲁棒性被高估"(Athalye et al., 2018)的教训,为 SDM 提供自适应攻击基准,用于检验未来的有状态防御。
论文如何解决这个问题?
OARS 把 SDM 的拒绝行为当 oracle:先二分搜索微调采样分布参数(adapt),再拒绝采样避开碰撞(resample),改造攻击的三个环节。
整体思路:SDM 通过拒绝"相似"查询来阻断攻击,而其接受/拒绝行为本身泄露了相似度检测的信息。OARS(Oracle-guided Adaptive Rejection Sampling)把 SDM 当作 oracle,采用 adapt + resample 两阶段策略:先微调参数化提议分布使采样查询的碰撞率低于阈值,再从该分布拒绝采样,丢弃碰撞查询、重采替代查询。
问题设定与 SDM 抽象
- 论文将 SDM 形式化为六个组件(Figure 1):分类器 F、特征提取器 h、查询库 Q、相似度过程 s、动作函数 action,以及碰撞判定;动作分拒绝查询(Blacklight、PIHA、IIoT-SDA)和封禁账号(OSD)两类。
- 攻击目标:对受害样本 xvic 找到 xadv 使 f(xadv) ≠ y 且 ||xadv − xvic|| ≤ ϵ;CIFAR10/ImageNet/CelebaHQ 用 ℓ∞ 与归一化 ℓ2 的 ε=0.05,IIoT 用 ε=0.2,查询预算 100k。
三个攻击环节的自适应改造
- 估计梯度:原攻击从固定分布采样(如 NES 的 N(0, σ²I));OARS 保留分布形式、把参数(如 σ)作为可调参数,用 Algorithm 1 的 oracle 引导二分搜索在 [σ_lo, σ_hi] 内找使碰撞率低于 cr 的最优参数,再按 Algorithm 2 拒绝采样得到 n 个有效样本(最多重试 getries 次,至少 1 个有效样本即继续)。
- 步长:原攻击用固定步长(如 NES 的 λ·sgn(∇L));OARS 构造步长的提议分布(NES 用 λ-scaled Rademacher,HSJA 用半径 λ 球面均匀分布),同样二分微调 λ 后采样。
- 定位边界:原攻击在当前点与受害样本间二分插值;OARS 定义带终止距离 r 的二分搜索 φ(r),用均匀提议分布 U(0,a) 微调上界 a,失败时复用上次搜索的倒数第二个查询重采。
防御类型诊断测试
- 针对 OSD 这类封禁账号的防御,论文设计两步诊断:账号 A 重复查询输入 x 直到被检测;再用账号 B 查询同一 x,若被检测则判定为全局查询库,否则为 per-account。代价为 A 上检测所需查询数、B 上一次额外查询和一个额外账号。
对六个攻击的具体应用
- OARS-NES:改梯度估计与步长(Table 2 汇总各攻击被改造的环节,Square 无梯度估计环节)。
- OARS-Square:对每种方块尺寸微调"避免碰撞所需的最小方块数"的提议分布。
- OARS-HSJA / OARS-QEBA:改梯度估计、步长与边界定位;QEBA 与 HSJA 改法相同。
- OARS-SurFree:改极坐标步长与最终边界定位;OARS-Boundary:改 η_δ(随机方向步长)与 η_ε(回移距离)两个超参的调整。
- 关键参数(Table 8,附录 B):二分搜索 stps 多为 5–10 步、每点采样 sam 多为 20、目标碰撞率 cr 多为 0 或 0.05;超参按数据集设定、不随 SDM 改变,作者称每个数据集选超参约需 1000 次查询的一次性成本。
论文做了哪些实验?
在 4 个数据集、4 种 SDM、6 个攻击上评测:作者报告每个数据集×防御组合都有 OARS 攻击达 99% 以上 ASR。
实验设置
- 被测防御与模型:Blacklight、PIHA 在 CIFAR10(ResNet-20,91.73%)、ImageNet(ResNet-152,78.31%)、CelebaHQ(ResNet-152,89.55%)上评测;OSD 仅在 CIFAR10;IIoT-SDA 在 IIoT Malware(5 Conv + FC,97.46%)(Table 3)。
- 攻击:NES、Square(ℓ∞ score-based),HSJA、QEBA、SurFree、Boundary(ℓ2 hard-label);NES、HSJA、QEBA 为 targeted,其余 untargeted。
- 攻击配置:standard、query-blinding 两个基线,standard+resample、query-blinding+resample、adapt+resample(完整 OARS)三个本文配置,共五种。
- 防御配置:默认配置——Blacklight 窗口 20(CIFAR10)或 50、量化步长 50、阈值 0.5;PIHA 块 7x7、阈值 0.05;OSD 50 近邻、阈值 1.44;IIoT-SDA 11 近邻、阈值 0.21。
- 指标与样本:ASR 与平均查询数(仅对成功攻击计平均);每配置 100 个样本,targeted 攻击目标类均匀随机;CIFAR10 另有 1000 样本的扩展结果(Table 9)。查询预算 100k。
主结果
Table 4(ASR / 查询数,仅列 adapt+resample 即完整 OARS 与 standard 基线;"—"表示基线因碰撞无成功样本):
表格较宽,可左右滑动
数据集 防御 攻击 Standard OARS CIFAR10 Blacklight NES 0% / — 99% / 1540 CIFAR10 Blacklight Square 0% / — 93% / 218 CIFAR10 Blacklight HSJA 0% / — 82% / 1615 CIFAR10 Blacklight QEBA 0% / — 98% / 1294 CIFAR10 Blacklight SurFree 0% / — 81% / 145 CIFAR10 Blacklight Boundary 0% / — 98% / 3302 ImageNet Blacklight NES 0% / — 100% / 10551 CelebaHQ PIHA QEBA 0% / — 100% / 6984 (Table 4 共 4 数据集 × 2 防御 × 6 攻击,此处省略其余行;完整表中 OARS 最低的一格为 IIoT Malware 上 OARS-Boundary 对 IIoT-SDA 的 30% / 398。)
- 作者称,standard 与 query-blinding 基线除 Square 等少数情形外 ASR 均低于 5%,Blacklight 对所有 standard 攻击为 0%。
- 作者称,完整 OARS 配置下多数攻击 ASR 超过 80%、许多超过 90%,每个数据集×防御组合都至少有一个攻击达到 99% 以上。
- 仅 resample 的配置对 Square、SurFree 提升较大(如 SurFree 对 PIHA 在 ImageNet、CelebaHQ 上 100%),但 NES、HSJA、QEBA 无明显改善;作者据此认为 adapt 与 resample 两个机制都重要。
对 OSD(封禁账号型)的攻击
- 用诊断测试判定 OSD 为 per-account 后直接跑标准攻击(Table 5):六个攻击 ASR 均为 98%–100%,其中 Square 平均 2 个账号、SurFree 3 个,NES 18 个、HSJA 21 个;诊断成本约 50 次额外查询和 1 个额外账号已计入。
防御重配置与集成
- 提高阈值:Blacklight 阈值从 0.5 提到 0.7 时,作者报告误报率从 0.2% 升至 0.9%(约 100 万张 tiny images),且所有攻击 ASR 仍高于 63%;Figure 3 显示攻击查询两两距离随阈值增大而右移,作者称攻击会自动调大查询间距。
- 改特征提取器超参(Table 6,CIFAR10,Blacklight 5 种 (w,q) 配置):每种配置下都有攻击达 99% ASR,所有攻击 ASR 均不低于 80%。
- 替换特征提取器与集成:把 Blacklight 的特征提取器换成 PHash、PDQ,OARS-NES 仍达 99%、96% ASR;Blacklight+PIHA 集成(Table 7,CIFAR10)下 OARS-Square 95%、OARS-QEBA 91%、OARS-Boundary 89%,standard 攻击全为 0%。
攻击成本与文本域初步实验
- 作者报告多数 OARS 攻击在 1 万次查询内完成;以 MLaaS 每千次查询 1–1.5 美元计,额外成本最低不足 1 美元,最高约 18 美元(HSJA 攻击 ImageNet,hard-label targeted 设置)。
- 文本域(§5.2):作者先验证 Blacklight 使 TextFooler 对 BERT 分类器的 ASR 从 100% 降为 0%(100 个样本);再把 OARS 思路搬到文本(以编辑距离 λ 参数化提议分布),报告 78% ASR、平均扰动 20% 单词,作者称改进 ASR 与降低扰动比例留作未来工作。
其他消融与分析
- CIFAR10 1000 样本扩展(Table 9,对 Blacklight):OARS-NES 96%、Square 93%、HSJA 86%、QEBA 97%、SurFree 83%、Boundary 99%,standard 全为 0%。
- 查询开销因素(§5.5):作者称类别数更多、输入维度更高开销更大;开销也可能与具体 SDM 有关,但现有 SDM 数量不足以得出结论。
- 例外:IIoT Malware 上 OARS-Boundary 仅 30% ASR,低于同表其他 OARS 攻击;论文未给出解释。
有什么可以进一步探索的点?
作者在 Limitations 中写明未考虑迁移攻击和 AAA、AdvMind 等检测方法;文本域与防御对策仅有初步结果。
作者指出的局限与后续方向
- 未考虑迁移攻击(§5.6 Limitations):作者认为迁移攻击是正交问题,已有专门防御可与有状态系统组合。
- 未评测 AAA、AdvMind 等其他黑盒攻击检测方法(§5.6):作者称它们与检测相似查询的 SDM 正交。
- 为 SDM 选择理想特征提取器仍是难题(§5.1):PHash、PDQ 未带来鲁棒性提升,作者将其留作未来工作。
- 随机化响应的动作函数与 SDM 集成需要更深入的研究才实用(§5.1):作者指出随机响应可能产生异常行为,集成会抬高误报率。
- 文本域的 OARS 仅初步验证(§5.2):作者将提高 ASR、降低扰动单词比例留作未来工作。
- 作者希望 OARS 成为检验未来 SDM 的基准(§6 Conclusion)。
实验覆盖范围
- 被测防御为 Blacklight、PIHA、IIoT-SDA、OSD 共四种;被测分类模型为 ResNet-20、ResNet-152、5 Conv + FC(Table 3),文本实验另用 BERT 分类器。
- 攻击覆盖六个黑盒攻击的五种配置;数据集为 CIFAR10、ImageNet、CelebaHQ、IIoT Malware,文本域为 IMDB 上的初步实验。
- 每个配置评估 100 个样本,CIFAR10 另有 1000 样本(Table 9);论文未报告重复实验次数。
- 防御重配置实验仅在 CIFAR10 上对 Blacklight 做(阈值、窗口/量化步长、换 PHash/PDQ、与 PIHA 集成)。
- 查询开销与 SDM 种类的关系:作者称需要更多 SDM 才能得出结论(§5.5)。
总结一下论文的主要内容
OARS 利用 SDM 泄露的拒绝信号做自适应拒绝采样,作者报告四种 SDM 在其增强的攻击下 ASR 从接近 0% 升至接近 100%。
一篇针对有状态防御(SDM)的自适应黑盒攻击论文。SDM 通过跟踪查询历史、拒绝相似查询来抵御黑盒攻击,Blacklight 等此前报告对现有攻击 0% ASR。
- 问题:作者类比白盒领域"缺乏自适应评估导致鲁棒性被高估"的教训,提出 SDM 的动作模块会泄露相似度检测的信息,可被攻击者利用。
- 方法:OARS 分两阶段——adapt 阶段以 SDM 为 oracle 二分搜索微调攻击采样分布的参数(如高斯方差 σ、步长 λ),resample 阶段从微调后的分布拒绝采样、丢弃碰撞查询;据此改造攻击的梯度估计、步长、边界定位三个环节,并应用于 NES、Square、HSJA、QEBA、SurFree、Boundary 六个攻击。
- 主结果:在 CIFAR10、ImageNet、CelebaHQ、IIoT Malware 上对 Blacklight、PIHA、IIoT-SDA,作者报告每个数据集×防御组合都至少有一种 OARS 攻击达到 99% 以上 ASR(Table 4),而 standard 与 query-blinding 基线大多低于 5%;对封禁账号型的 OSD,诊断测试后跑标准攻击,六个攻击 ASR 98%–100%、最少仅需 2 个账号(Table 5)。
- 防御侧评估:提高 Blacklight 阈值会使误报率从 0.2% 升至 0.9% 且 ASR 仍高于 63%;改特征提取器超参、换 PHash/PDQ、与 PIHA 集成均未能挡住 OARS(如集成下 OARS-Square 95%)。
- 成本:作者报告多数攻击 1 万次查询内完成,按 MLaaS 定价额外成本约 1–18 美元。
- 作者结论:现有 SDM 并非如之前认为的那样鲁棒,OARS 可作为检验未来有状态防御的基准;迁移攻击与其他检测方法未纳入评测,文本域仅有初步结果(78% ASR)。