跳到正文
原文

对抗样本与云端检测器：一项黑盒实证研究

Adversarial Examples Versus Cloud-based Detectors: A Black-box Empirical Study

arXiv· arXiv:1901.01223· IEEE Transactions on Dependable and Secure Computing 2019· Xurong Li, Shouling Ji, Meng Han, Juntao Ji, Zhenyu Ren, Yushan Liu, Chunming WuInstitute of Cyberspace Research and the College of Computer Science and Technology at Zhejiang University; School of Computer Science and Technology at Georgia Institute of Technology; College of Computing and Software Engineering, Kennesaw State University; Department of Electrical Engineering, Princeton University本站收录· 14 天前· 原文发表入选 攻击精选关注度38

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

作者提出四种黑盒攻击（IP、SP、SBLS、SBB）绕过五大云平台的图像检测服务，作者称 IP 攻击成功率约 100%、基于语义分割的攻击超过 90%。

威胁模型攻击者是云 API 的客户端，只能以 black-box 方式访问云 API，唯一可获得的数据是查询后 API 返回的反馈（标签和概率或分数），且只能进行有限次数的查询；攻击目标是让 violence、politician、pornography 等云检测服务把非法图像误判为 normal（untargeted）。

问题
云平台提供的 violence、politician、pornography 等图像检测服务结构比分类器复杂且以黑盒 API 形式开放，作者认为其对抗样本风险尚未得到足够研究。
方法
作者提出四种黑盒攻击：基于五种图像处理技术的 IP 攻击、结合语义分割的 SP 攻击、基于主体区域的局部搜索 SBLS 攻击和基于主体区域的边界 SBB 攻击，只需 API 返回的标签和概率/分数。
实验与结果
在 AWS、Azure、Google、Baidu、Alibaba 五家云平台上，作者报告 IP 攻击成功率约 100%，基于语义分割的攻击超过 90%（Table 2）；迭代攻击生成对抗样本最多不到 3000 次查询（Table 9）。
局限与可以继续做的
作者称对抗训练、输入检测、随机化等防御因模型由第三方托管而未能实验；Median Filter 可抵御多数 Salt-and-Pepper、SP、SBLS 攻击但会降低检测准确率；作者计划改进算法并研究通用攻击方法。
实验设置Baidu Cloud detector、Google Cloud detector 等 · ImageNet（100 张动物图像）、Google Images / Baidu Images（300 张人工标注图像，violence、politician、pornography 各 100 张） · success rate（top-1 misclassification）、L0 distance 等
被测模型
Baidu Cloud detectorGoogle Cloud detectorAlibaba Cloud detectorAWS detectorAzure detectorVGG16Resnet50InceptionV3Baidu animal classifier
基准
ImageNet（100 张动物图像）Google Images / Baidu Images（300 张人工标注图像，violence、politician、pornography 各 100 张）
指标
success rate（top-1 misclassification）L0 distancePSNRSSIM查询次数
AI 导读和推荐理由研究者提出四类结合语义分割的黑盒对抗样本攻击，在五家云平台的图像检测服务上成功率最高接近 100%。这四类攻击分别是图像处理、单像素、基于主体的局部搜索和基于主体的边界攻击，仅通过查询黑盒 API 生成对抗样本，部分迭代攻击只需数千次查询，所有实验使用平台免费额度完成。在 AWS、Azure、Google Cloud、Baidu Cloud 和 Alibaba Cloud 上，基于图像处理的攻击成功率达到约 100%，基于语义分割的攻击在暴力、政治人物和色情检测服务上超过 90%，不同平台对不同内容类型的检测强度存在差异。作者还讨论了对抗训练、输入检测、随机化和限制查询次数等潜在防御，并称已向相关云平台报告漏洞。

研究者提出四类结合语义分割的黑盒对抗样本攻击，在五家云平台的图像检测服务上成功率最高接近 100%。这四类攻击分别是图像处理、单像素、基于主体的局部搜索和基于主体的边界攻击，仅通过查询黑盒 API 生成对抗样本，部分迭代攻击只需数千次查询，所有实验使用平台免费额度完成。在 AWS、Azure、Google Cloud、Baidu Cloud 和 Alibaba Cloud 上，基于图像处理的攻击成功率达到约 100%，基于语义分割的攻击在暴力、政治人物和色情检测服务上超过 90%，不同平台对不同内容类型的检测强度存在差异。作者还讨论了对抗训练、输入检测、随机化和限制查询次数等潜在防御，并称已向相关云平台报告漏洞。

推荐理由论文在五家云平台实测四类黑盒攻击，比较不同图像审核服务在色情、暴力与政治内容上的脆弱程度，可供评估云内容审核的对抗风险。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者研究真实云平台图像检测服务在黑盒、有限查询下能否被对抗样本绕过。

    核心问题：真实云平台的图像检测服务（violence、politician、pornography 检测）在黑盒、有限查询条件下是否会被对抗样本绕过。

    • 场景与重要性：Google、AWS、Baidu、Alibaba、Azure 等云厂商以 API 形式提供图像分类与非法图像检测服务，网站依赖这些检测判断图片合法性；作者认为检测服务比分类器更复杂（含目标检测、图像分割甚至人工判断），其安全风险尚未得到足够关注。
    • 现有方法的不足：作者称针对标准目标检测算法的攻击难以直接用于云环境，因为云检测器包含多个复杂模块且以黑盒形式呈现；针对云分类器的攻击需要数十万到上百万次查询（如 Boundary Attack 对 ResNet-50 约 120 万次预测），在云 API 场景下成本不可接受。
    • 核心观察：作者假设图像中对分类结果贡献大的"关键像素"集中在语义主体区域，用语义分割定位这些像素再扰动，可以加速对抗样本生成并减少查询。
    • 论文提出的方法：作者提出四种黑盒攻击——Image Processing（IP）、Single-Pixel（SP）、Subject-based Local-Search（SBLS）、Subject-based Boundary（SBB），并在五家云平台上做实证研究，同时讨论了防御策略；作者称已向相关云平台报告漏洞并获得积极回应。
    • 威胁模型（Section 3.1）：
      • 攻击者目标：让检测器把非法图像误判为 normal，即 untargeted 的 top-1 misclassification。
      • 攻击者知识：攻击者是客户端，只能以 black-box 方式访问云 API，无训练数据、模型结构等先验知识。
      • 攻击者能力：唯一可获得的数据是查询后 API 返回的反馈（标签和概率或分数），且只能进行有限次数的查询。
      • 受害系统：五家云平台的 violence、politician、pornography 图像检测服务。

  2. 有哪些相关研究？

    相关工作分白盒攻击、黑盒攻击（替代模型、查询、决策型等）与防御三类，作者称本文面向更复杂的云检测器。

    白盒攻击

    • Szegedy 等 [8]、Goodfellow 等 [26]、Moosavi-Dezfooli 等 [35]、Carlini & Wagner [36] 等——白盒设定下快速准确地生成扰动较小的对抗样本；论文指出现实中攻击者通常无法获得模型内部参数，黑盒攻击更有威胁。

    黑盒攻击：替代模型与迁移

    • Papernot 等 [2]——训练替代模型逼近目标模型再生成对抗样本；论文指出其并非完全黑盒，攻击者需要了解训练数据分布。
    • Liu 等 [5]——用 ensemble 模型提升迁移性并攻击了 Clarifai.com；论文指出分类器与检测器差别大，对复杂检测器迁移性不好。

    黑盒攻击：查询型与决策型

    • Tramèr 等 [38] 等——通过大量查询获取模型内部信息（模型窃取）；论文指出对商业大模型不实用。
    • Chen 等 [4]（ZOO）、Bhagoji 等 [42]——基于梯度估计的黑盒攻击；论文指出高分辨率图像需要上百万次查询。
    • Brendel 等 [6]（Boundary Attack）——decision-based 攻击，从大扰动出发逐步收缩；论文指出其对高分辨率图像平均需 1,200,000 次查询，本文用语义分割加速。
    • Nina 等 [16]——单像素攻击与贪心局部搜索；论文指出其离线设定、初始扰动超出 RGB 范围、易陷入局部最优，难以用于云分类器或检测器，本文 SBLS 由其扩展而来。

    其他形式的黑盒攻击

    • Athalye 等 [43]——构造跨视角欺骗网络的 3D 实物；Hosseini 等 [19]——发现 Google Cloud Vision API 对噪声不鲁棒，本文把该实验扩展到五种图像处理技术和五家云平台；Oh 等 [44]——通过多次查询推断模型内部信息，论文指出对检测器不实用。

    防御相关工作

    • 对抗训练 [26][27][28]、输入检测 [29][30]（Carlini & Wagner [31] 称检测机制可被绕过）、随机化 [32][33]、噪声滤波 [19]。

    基线与基准：本文攻击与 Boundary Attack [6]、Nina 等 [16] 的局部搜索在设计上对照；SP 攻击的 random region 扰动作为 subject region 的对照基线。验证实验用 ImageNet 动物图像和 VGG16、Resnet50、InceptionV3、Baidu 在线分类器。

    作者定位：据其所知这是针对云检测器的黑盒攻击研究，无需训练数据、模型等先验知识，且把以往针对分类器的攻击扩展到更复杂的检测器。

  3. 论文如何解决这个问题？

    作者用语义分割定位主体像素，设计 IP、SP、SBLS、SBB 四种黑盒攻击，以 top-1 误判为成功标准。

    整体思路：先用语义分割模型 FCN 把图像像素按类别划分，识别出对检测贡献大的主体区域（violence 和 pornography 的主体类是 person，politician 的主体类是 face，见 Table 5），再只扰动这些关键像素，从而在 black-box、有限查询下生成对抗样本。

    问题设定与成功判定

    • 攻击目标：untargeted 攻击，采用 top-1 misclassification 标准——API 返回的最高概率标签与正确标签不同即成功；对检测任务，成功样本要求预测从 illegal 完全变为 normal（如从 VERY LIKELY 变为其他不算成功）。
    • 质量指标：L0 距离（被改动的像素数，||z||0 = #{i | zi ≠ 0}，z 为原图与对抗图之差）、PSNR（PSNR = 10log10(MAX2/MSE)，MAX=255，视觉正常图像典型值 20–40 dB）、SSIM（结构相似度）。
    • 图像格式：实验发现 JPEG 会在一定程度上妨碍对抗样本而 PNG 不会（PNG 无损压缩），因此所有图像以 PNG 保存并直接发送。

    IP 攻击（Image Processing）

    • 五种图像处理技术：Gaussian Noise、Grayscale Image、Image Binarization（Floyd-Steinberg dithering）、Salt-and-Pepper Noise（噪声密度 p）、Brightness Control（ADV = O + ε×255，ε∈[0,1]），处理后的图像直接作为对抗样本，无需查询。
    • 实现与参数：用 skimage、OpenCV、PIL 实现；按图像可见度取 ε 在 0.1–0.8、p 在 0.05–0.5（Figure 3）。

    SP 攻击（Single-Pixel）

    • 设计：在 Nina 等 [16] 单像素攻击基础上逐步增加被修改像素数，并结合语义分割；初始修改像素值为 0 或 255 以适配在线模型。
    • 三类扰动区域：subject region（属于主体类的全部像素）、non-subject region（不属于任何主体类的像素）、random region（随机选取，作为对照基线），用于验证语义分割的有效性。

    SBLS 攻击（Subject-based Local-Search）

    • 流程（Algorithm 1）：每轮从 subject 区域随机取 50 个像素，逐个以系数 P 扰动并查询 API（每轮 50 次检测），选出概率下降最多的 N=10 个像素正式扰动；若标签变为 normal 则返回，否则以该图为下轮初始图并扩大搜索位置（Locations+D），直到成功或达到轮数上限 R。
    • 参数：实验中 R=30、P=255、D=10；依赖 API 返回概率或分数，因此对只返回文字的 Google 检测器不适用。

    SBB 攻击（Subject-based Boundary）

    • 流程（Algorithm 2）：先把 subject 区域全部像素扰动为 non-subject 区域的平均 RGB 值（作者称此前实验显示背景色对主体识别影响大），使被判 illegal 的概率接近零；再按贪心策略逐步恢复像素——每轮计算当前图与原图的 L0 距离，按 Step = L0/10 + 100 随机恢复若干像素并查询，选择使正确分类概率上升最慢且仍被判 normal 的恢复方案，直到图像被正确分类，取上一轮的图为对抗样本。
    • 参数：实验中 D=30；为保证质量只保留恢复超过 80% 像素的对抗样本。

    评测方式

    • 语义分割验证：先在本地模型（VGG16、Resnet50、InceptionV3）和 Baidu 在线动物分类器上做 SP 攻击，比较不同扰动方法（P=0、P=255、P=2）和不同区域的效果。
    • 云平台评测：对五家云平台的检测服务直接查询 API，记录成功率、L0、PSNR、SSIM 和所需查询次数。

  4. 论文做了哪些实验？

    在五家云平台三类检测服务上评测四种攻击，作者报告 IP 约 100%、语义分割类攻击超 90%。

    实验设置

    • 被测系统：Baidu、Google、Alibaba、AWS、Azure 五家云平台的检测服务，检测类别为 violence、politician、pornography（各平台提供的服务不同，Table 2 中"–"表示该平台无该服务或未测）；验证实验用 VGG16、Resnet50、InceptionV3 和 Baidu 在线动物分类器。
    • 数据集：验证实验从 ImageNet 选 100 张动物图像；云平台实验从 Google Images 或 Baidu Images 人工选取并标注 300 张图像（三类各 100 张），统一缩放为 224×224×3，PNG 格式。
    • 数据筛选：先调用各检测器过滤，只保留作者与检测器都判为 illegal 的图像；Google 只保留 LIKELY 和 VERY LIKELY 的图像。筛选后各平台可用数量见 Table 7（如 Baidu pornography 95/100、violence 32/100；Azure pornography 54/100）。
    • 指标与判定：成功率为 top-1 误判（预测完全变为 normal）；质量用 L0、PSNR、SSIM；迭代攻击另统计查询次数。
    • 攻击参数：SBLS 设 R=30、P=255、D=10；SBB 设 D=30、Step=L0/10+100，只保留恢复超 80% 像素的样本；SP 初始像素值 0 或 255。
    • 重复次数：论文未报告每个条件的重复次数。

    主结果

    Table 2 给出四种攻击在各平台×检测服务上的成功率（"–"表示未报告/无该服务）：

    表格较宽，可左右滑动

    平台服务IPSPSBLSSBB
    Baiduviolence100%88%100%91%
    Baidupolitician100%96%60%82%
    Baidupornography100%13%34%46%
    Googleviolence100%8%–75%
    Googlepornography100%59%–78%
    Alibabaviolence100%49%72%67%
    Alibabapolitician100%86%46%67%
    Alibabapornography100%12%19%36%
    AWSpolitician100%84%––
    AWSpornography100%50%––
    Azurepornography100%91%54%80%

    （据 Table 2；Google 不做 SBLS 因其不返回概率或分数；AWS 不做 SBLS/SBB 因免费额度每月 5000 次查询不够。）

    • 作者解读：作者称 IP 攻击成功率约 100%，基于语义分割的攻击在不同检测服务上超过 90%；IP 和 SP 的成功率高于 SBLS 和 SBB，但 SBLS 和 SBB 生成的对抗样本质量更高。
    • 例外：SP 在 Baidu 和 Alibaba 的 pornography 上只有 13% 和 12%，作者称这两家对 pornography 的 SP 攻击更有抵抗力，并推测不同公司内容安全优先级不同。
    • 质量：SBLS 在 pornography 上的成功样本全部 SSIM>0.9、PSNR>20；对 Alibaba 的平均 L0 为 142，作者称约只改动全图 0.01%–0.6% 的像素。

    语义分割有效性验证（分类器）

    • 测了什么：在 100 张 ImageNet 动物图像上扰动 non-subject 区域全部像素，记录误分类率（Table 6）。
    • 结果：P=255 时 VGG16 为 0.8、Resnet50 为 0.58、InceptionV3 为 0.38、Baidu 在线分类器为 0.40；P=2 时 Baidu 为 0。
    • 作者解读：作者称 VGG16 最不鲁棒、InceptionV3 和 Baidu 最鲁棒；Figure 5 显示扰动 subject 区域比 random 区域更有效，用 subject 区域平均 RGB 值扰动 non-subject 区域效果最好，因此后续攻击聚焦 subject 区域。

    迭代攻击的查询开销

    • 测了什么：统计 SBLS 和 SBB 生成对抗样本所需查询次数的最大/中位/最小值（Table 9）。
    • 结果：最大查询数均小于 3000，超过一半不超过 1000；如 Baidu pornography 上 SBLS 中位 350、SBB 中位 1710；正文另报告 violence 上攻击 Baidu 的 SBLS 只需 200 次查询、平均改 38 个像素，politician 上 SBB 对 Baidu 和 Alibaba 平均 601 和 375 次查询。
    • 作者解读：作者称无需海量查询，免费额度即可完成攻击，因此把查询限制设为大阈值的防御无效。

    防御评测：噪声滤波

    • 测了什么：离线实现 Gaussian Filter 和 Median Filter，在送入云检测器前过滤图像，记录 IP 攻击成功率变化（Table 10），并在 SBLS/SBB 每轮迭代中模拟滤波。
    • 结果：Median Filter 把 pornography 上 SP 攻击成功率降到 5% 以下，把 violence 和 political 图像上 SP 成功率减半；Gaussian Filter 对 SP 几乎无影响、对 SBLS/SBB 影响很小；Median Filter 下 SBLS 无法工作，SBB 成功率约降 10%。
    • 作者解读：作者称 Median Filter 可抵御多数 Salt-and-Pepper、SP、SBLS 攻击，Gaussian Filter 可抵御多数 Gaussian noise 攻击，但难以部署统一滤波器同时防御所有攻击，且滤波会降低检测准确率。

    其他消融与分析

    • IP 参数影响（Figure 8）：pornography 上 Salt-and-Pepper 在 p=0.1 时对 Google、AWS、Azure 成功率达 100%，Baidu 和 Alibaba 需要更大噪声；Brightness 需要较大 ε。
    • SP 区域对比（Figure 9）：pornography 上 subject 区域扰动效果明显强于 random 区域；扰动 2000 像素时 Baidu 和 Alibaba 成功率仍低，而 Azure 达 91%。
    • SBLS 政治图像（Section 5.2.4）：Baidu 和 Alibaba 成功率 60% 和 46%，查询 222 和 382 次；Baidu 成功样本平均 L0 为 54、平均 SSIM 为 0.98。
    • SBB 质量（Figure 11）：pornography 上 SBB 样本相似度低于 SBLS；Baidu 最小 L0 为 84、最大 SSIM 为 0.97，Azure 最小 L0 为 48、最大 SSIM 为 0.98，多数 PSNR 超过 20。

  5. 有什么可以进一步探索的点？

    作者称托管模型限制了防御实验，计划改进算法并研究通用攻击与防御机制。

    作者指出的局限与后续方向

    • 防御未能实测（Section 6.2）：对抗训练、输入检测、随机化依赖被保护模型或训练数据，而检测器由第三方托管，作者称没有机会实验这些防御。
    • 统一滤波困难（Section 6.2）：作者称云检测器难以部署统一滤波器来同时防御所有攻击，且噪声滤波会降低模型准确率。
    • 输出精度防御的副作用（Section 6.2）：作者称若检测器只输出标签会阻碍迭代攻击，但对用户不友好、无助于理解检测结果。
    • 改进算法（Section 8）：作者计划进一步提升算法的有效性。
    • 通用攻击方法（Section 8）：作者称用少量查询攻击所有平台的通用方法是有意义的课题。
    • 防御机制设计（Section 8）：作者称设计针对这些云服务的防御机制很重要，例如在输出标签前做有效检测、区分恶意测试与正常样本。

    实验覆盖范围

    • 被测系统为 Baidu、Google、Alibaba、AWS、Azure 五家平台的 violence、politician、pornography 检测服务，以及 VGG16、Resnet50、InceptionV3 和 Baidu 在线动物分类器（Section 5）。
    • 云平台实验数据为 300 张人工标注图像（三类各 100 张），经检测器过滤后各平台可用 30–95 张不等（Table 7）；验证实验为 100 张 ImageNet 动物图像。
    • 防御评测只覆盖 Gaussian Filter 和 Median Filter 两种噪声滤波（Section 6.2）。
    • SBLS 未在 Google 上评测（不返回概率或分数），SBLS 和 SBB 未在 AWS 上评测（免费额度不足）（Section 5.2.2）。
    • 论文未报告每个条件的重复次数，也未报告攻击所用机器或耗时。

  6. 总结一下论文的主要内容

    作者提出四种黑盒攻击绕过五家云平台的图像检测服务，并评测了噪声滤波等防御。

    一篇针对真实云图像检测服务的黑盒对抗样本实证研究（TDSC 录用）。

    • 问题：云平台的 violence、politician、pornography 检测服务含目标检测、分割等多个模块且以黑盒 API 开放，作者认为其对抗样本风险缺乏研究；已有针对分类器的攻击需要数十万到上百万次查询，在云场景不实用。
    • 方法：用 FCN 语义分割定位主体像素（violence/pornography 为 person，politician 为 face），提出四种攻击：IP（五种图像处理技术直接生成）、SP（逐步增加扰动像素）、SBLS（主体区域局部搜索，每轮 50 次查询选概率下降最多的 10 个像素）、SBB（先把主体区域扰动为背景均值再贪心恢复像素）。成功标准为预测完全变为 normal，质量用 L0、PSNR、SSIM 衡量。
    • 结果：在 Baidu、Google、Alibaba、AWS、Azure 上，作者报告 IP 攻击成功率约 100%，基于语义分割的攻击超过 90%（Table 2）；例外是 SP 在 Baidu 和 Alibaba 的 pornography 上仅 13% 和 12%。
    • 查询开销：迭代攻击生成对抗样本最大查询数小于 3000，过半不超过 1000（Table 9），作者称免费额度即可完成。
    • 防御：Median Filter 可把 pornography 上 SP 成功率降到 5% 以下、使 SBLS 失效，Gaussian Filter 可抵御多数 Gaussian noise 攻击；作者称难以用统一滤波防御所有攻击且会损失准确率。
    • 作者结论：作者称云检测器容易被绕过，已向各平台报告漏洞并获积极回应，计划改进算法、研究通用攻击方法和防御机制。

相关论文

共同使用 ImageNet
再看 3 篇
共同使用 ImageNet
阅读原文IEEE Transactions on Dependable and Secure Computing 2019