简单的透明对抗样本
Simple Transparent Adversarial Examples
作者提出无需机器学习知识的透明对抗样本攻击,在 Azure Cloud Vision 上目标检测逃逸 ASR 为 52%,Google Cloud Vision 为 36%(Table 1)。
黑盒攻击:攻击者无需机器学习与编程知识,仅用公开在线工具(透明度工具、图片编辑器)修改图像,通过 web demo 界面查询 MLaaS 视觉 API;受害系统为 Google Cloud Vision、Microsoft Azure 计算机视觉、Sightengine、PicPurify 的目标检测与 OCR 服务。
- MLaaS 视觉 API 被用于高风险应用,但现有鲁棒性评估多关注需要专业知识的小噪声对抗攻击,作者认为这未覆盖任何人都能实施的简单操纵带来的威胁。
- 提出 Simple Transparent Adversarial Examples:用公开在线工具给图像加白色透明补丁以逃逸目标检测,或嵌入与背景 RGB 接近的隐形文字以骗过限时人类但被 OCR 识别。
- 在 50 张修改图像上,目标检测逃逸 ASR:Azure 52%、Google 36%、Sightengine 9%、PicPurify 2%(Table 1);40 张 OCR 测试图中 90% 骗过限时人类且被 Google OCR 识别。
- 作者在 A.2.4 指出:目标物体相对图像很小时难以施加透明补丁,且补丁可能让物体对人类也变得模糊。实验仅覆盖 4 个 API、各 50 张检测样本与 40 张 OCR 样本。
- 被测模型
- Google Cloud Vision APIMicrosoft Azure's computer vision APIsightengine.comPicPurify
- 基准
- Kaggle's Weapons DatasetCaltech 101Caltech-256
- 指标
- ASR平均修改约束(透明度百分比)平均查询次数
论文提出秘密嵌入(secret embedding)与透明对抗样本(transparent adversarial examples)两种简单的对抗图像生成方法,超越传统小噪声对抗攻击,用于评估商用视觉 API 的鲁棒性。作者在 sightengine.com、picpurify.com、Google Cloud Vision API 和 Microsoft Azure Computer Vision API 等真实部署的服务上测试,透明对抗样本对 Azure Cloud Vision 的攻击成功率为 52%,对 Google Cloud Vision 为 36%。90% 的图像嵌入了能骗过时间有限的人类视觉、但会被 Google Cloud Vision API 光学字符识别检出的秘密文本。作者称这些方法简单到非专家也能构造,对用于高风险应用的 API 构成威胁。
深度解读
这篇论文试图解决什么问题?
作者认为现有视觉 API 鲁棒性评估只关注需专业知识的小噪声攻击,忽略了任何人都能实施的简单操纵。
核心问题:MLaaS 视觉 API 的鲁棒性评估缺少对“无需专业知识、任何人都能做”的简单对抗操纵的覆盖。
- 场景与重要性:MLaaS 视觉 API(预建模型与算法)被部署到高风险应用,作者认为其对各类操纵的鲁棒性至关重要,而近期工作只评估了典型对抗攻击。
- 现有方法的不足:作者称当前对抗样本生成方法要求攻击者掌握受害模型知识(如白盒攻击的输入梯度)或大量预测查询(如黑盒攻击的梯度估计、替代模型训练),与攻击者可能没有机器学习技能和计算预算的真实场景不贴近。
- 核心观察:作者认为 ℓp 范数约束扰动这类既定威胁模型虽重要,但不能提供语义相似对抗样本的完整评估谱系;简单方法不需要计算能力,可能在真实世界更危险。
- 论文提出:两种简单对抗图像生成方法——透明补丁(transparent patch)逃逸目标检测、秘密嵌入(secret embedding)文字骗过限时人类但触发 OCR,并在 4 个真实部署的视觉 API 上评估。
- 威胁模型:
- 攻击者目标:使修改后的图像逃逸目标检测或被误分类;或嵌入文字使其被 Google Cloud Vision OCR 识别但骗过限时人类视觉。
- 攻击者知识:黑盒——不需要任何机器学习与编程知识,不了解模型内部。
- 攻击者能力:仅用公开在线工具(透明度工具、图片编辑器)修改图像,通过 web demo 界面查询 API,只需少量查询。
- 受害系统:Sightengine、PicPurify、Google Cloud Vision API、Microsoft Azure 计算机视觉 API 的目标检测与 OCR 服务。
有哪些相关研究?
相关工作分三类:需专业知识的对抗攻击、针对目标检测与云视觉 API 的攻击、简单变换类攻击;作者定位本文为更简单的补充。
经典对抗攻击(需专业知识)
- Szegedy et al. (2014)、Biggio et al. (2013)、Goodfellow et al. (2015)——发现深度神经网络易受对抗扰动影响,扰动后图像对人类仍语义相似。
- Madry et al. (2019)、Papernot et al. (2016)、Carlini & Wagner (2017)、Brown et al. (2017)、Hosseini & Poovendran (2018)——各类对抗攻击方法,论文称它们需要一阶或零阶优化等机器学习专长。
黑盒攻击与针对目标检测/云 API 的攻击
- Papernot et al. (2017)——实用黑盒攻击;论文指出这类方法需要数千次查询,成本高。
- Chen et al. (2017)——ZOO,基于零阶优化的黑盒攻击,无需训练替代模型。
- Liu et al. (2019)(DPatch)、Li et al. (2019)、Chen et al. (2019)(ShapeShifter)、Song et al. (2018)、Hosseini et al. (2017)、Goodman (2020)——针对目标检测器和 Google Cloud Vision API 的攻击;论文称它们都是需要机器学习与编程知识的小噪声对抗攻击。
OCR 对抗攻击
- Song & Shmatikov (2018)、Chen & Xu (2020)——用对抗文本图像/对抗水印攻击 OCR 系统;论文称当前 OCR 鲁棒性评估多围绕传统对抗样本。
- Elsayed et al. (2018)——生成同时骗过计算机视觉和限时人类的对抗样本;论文称其为与本文 OCR 攻击最接近的工作。
简单变换类攻击
- Engstrom et al. (2019)——仅用旋转和平移即可骗过 CNN。
- Goh et al. (2021)——非程序化的 Typographic 攻击。论文在 A.1 称这些简单变换可能也需要机器学习知识,而本文专注于透明区域与隐形文字嵌入。
基线与基准:论文未设数值基线方法对比;评测使用 Kaggle's Weapons Dataset(目标检测)和 Caltech 101、Caltech-256(OCR)。作者定位:本文方法是对现有对抗样本生成流程的补充,以更简单、非传统的操纵评估鲁棒性。
论文如何解决这个问题?
提出 Simple Transparent Adversarial Examples:透明补丁逃逸目标检测、秘密嵌入文字骗过限时人类,全程只用公开在线工具。
整体思路:用任何人都能操作的公开在线工具对图像做两类简单修改——加白色透明补丁、嵌入隐形文字——以评估部署中的视觉 API 的鲁棒性。方法名为 Simple Transparent Adversarial Examples,有双重含义:制作简单透明(无需机器学习知识),且修改方式是引入透明白色区域和秘密隐形文字。
问题设定
- 目标检测:对图像 x0 引入透明度受修改约束 ε 控制的白色透明补丁 p,使结果图像 x 被误分类或完全逃逸检测;ε 的取值要求修改后图像对人类仍无歧义且类别保持。
- OCR 秘密嵌入:寻找带嵌入文字 t 的图像 x,使 t 骗过限时人类视觉但被 Google Cloud Vision OCR 检测。RGB difference 定义为文字字体颜色与嵌入区域颜色在 R、G、B 三个通道上差值之和(A.3.1 脚注)。
目标检测攻击(A.2.1)
- 工具:onlinejpgtools.com 的 transparency maker;数据用 Kaggle's Weapons Dataset。
- 两种补丁方式:(1) 不自己选区域,由工具决定补丁位置;(2) 自己随机选取区域,用公开工具取该区域 RGB 值后施加补丁。
- 搜索流程:方式 (1) 从 10% 透明度起步,成功则向下、失败则向上以 5–10% 步长调整,直到找到既逃逸检测又对人类无歧义的最小透明度;方式 (2) 从 5% 起步,步长 1–2%。
OCR 秘密嵌入攻击(A.3.1)
- 工具:imagecolorpicker.com 取嵌入区域 RGB 值,Photopea 嵌入文字;数据用 Caltech 101 和 Caltech-256。
- 搜索流程:从字号 15 px、RGB difference 最小 30 起步;OCR 能识别则继续减小 RGB difference 或字号,不能识别则固定 15 px 增大 RGB difference,直到文字能被 OCR 识别但骗过限时人类。
- 参数权衡:作者观察到字号与 RGB difference 之间存在权衡——RGB difference 较大配较小字号(≤15 px)或 RGB difference 较小配较大字号(>15 px)较合适;较小 RGB difference 加较小字号是理想条件。
成功判定
- 目标检测:修改图像完全逃逸检测或被误分类均算成功(A.2.1 脚注);统计 ASR、平均修改约束(Avg ε1/ε2)和平均查询次数。
- OCR:嵌入文字被 Google Cloud Vision OCR 识别、但骗过限时人类视觉;论文未说明限时人类实验的具体人数与计时设置。
论文做了哪些实验?
在 4 个视觉 API 上各测 50 张透明补丁图(ASR 2%–52%),并在 40 张图上测 OCR 秘密嵌入(90% 骗过限时人类且被识别)。
实验设置
- 被测系统:Azure Cloud Vision、Google Cloud Vision(通用目标检测),Sightengine、PicPurify(武器检测),以及 Google Cloud Vision 的 OCR 服务;均通过 web demo 界面查询。
- 数据集:目标检测用 Kaggle's Weapons Dataset;OCR 用 Caltech 101 和 Caltech-256 的图像。
- 指标:ASR(攻击成功率,含逃逸检测与误分类)、平均修改约束 Avg ε1(不自选区域)/Avg ε2(自选区域)、对应平均查询次数。
- 样本量:目标检测每个 API 测 50 张修改图像;OCR 实验测 40 张图像。
- 基线与重复次数:论文未设数值基线,未报告重复次数;限时人类评估的人数与时间限制未说明。
主结果
据 Table 1(A.2.3),各 API 对透明补丁目标检测攻击的表现:
表格较宽,可左右滑动
API ASR Samples Tested Avg ε1 Queries for ε1 Avg ε2 Queries for ε2 Azure Cloud Vision 52% 50 39.37% 4 6.87% 3 Google Cloud Vision 36% 50 47.08% 5 6.71% 4 Sightengine 9% 50 43.25% 4 6% 2 PicPurify 2% 50 30% 3 NA NA - 作者的解读:作者承认本攻击 ASR 低于现有范数约束黑盒攻击,但认为其场景更真实、查询更少,更可能在真实世界发生。
- API 差异:作者认为 PicPurify 和 Sightengine 更鲁棒是因为它们专为武器检测设计,而 Azure 和 Google 是通用目标检测 API。
- 失败案例的影响:作者观察到攻击不成功的案例中,修改仍会显著降低检测准确率(论文未给出具体数字)。
OCR 秘密嵌入实验
- 测了什么:40 张来自 Caltech 101/256 的图像嵌入隐形文字,测试 Google Cloud Vision OCR 与限时人类视觉。
- 结果:90% 的图像骗过限时人类且被 Google Cloud Vision OCR 识别;作者另报告在字号很小且 RGB difference 设为 0 的样本上,对限时人类和 OCR 双方均达到接近 100% 的逃逸率(示例见 A.4 的 Figure 6,字号 5 px、RGB difference 0)。
- 可行参数:Table 2(A.3.4)列出 10 组成功配置,字号 9–15 px、Min RGB difference 20–79;Figure 4 展示的案例中 9 px 可被 OCR 识别而 8 px 不能。
其他消融与分析
- 补丁区域选择:自选区域(ε2)的平均透明度(6%–6.87%)低于工具自选(ε1 的 30%–47.08%),查询次数也更少(Table 1)。
- 图示案例:Figure 1 展示 55% 透明度使图像被 Google Cloud Vision 误分类为 hat;Figure 9 展示 28% 透明度逃逸 Sightengine 武器检测。
- Venn 图定位:Figure 7 中作者将本攻击归类为——目标检测场景只骗过深度神经网络;OCR 场景骗过限时人类,且在 RGB difference 与字号都很小时同时骗过 OCR 与人类。
有什么可以进一步探索的点?
作者在 A.2.4 与 A.6 指出小目标补丁困难等局限和三个未来方向;实验仅覆盖 4 个 API、样本量 50/40。
作者指出的局限与后续方向
- 小目标难以打补丁(A.2.4):若要补丁的物体(如枪)相对图像整体很小,可能难以施加透明补丁;即使打上,物体对人类也可能变得完全模糊。
- 扩展到其他物体(A.6):未来方向之一是能否对枪以外的物体施加透明补丁,使其对人类仍无歧义但逃逸目标检测。
- 对抗训练模型的鲁棒性(A.6):作者认为值得观察对抗训练模型对这类简单攻击的鲁棒性;本文主要聚焦公开部署的 API,因为攻击者可通过 web 界面轻松查询。
- 可行防御(A.6):作者提出值得探索哪些现有防御可能用于抵御该攻击。
实验覆盖范围
- 被测系统:目标检测覆盖 Azure Cloud Vision、Google Cloud Vision、Sightengine、PicPurify 共 4 个 API;OCR 仅测 Google Cloud Vision 的 OCR 服务。
- 样本量:目标检测每个 API 50 张修改图像(Table 1);OCR 实验 40 张图像;Table 2 列出 10 组成功的 OCR 参数配置。
- 数据来源:目标检测图像来自 Kaggle's Weapons Dataset,OCR 图像来自 Caltech 101 和 Caltech-256。
- 未报告的信息:论文未报告限时人类评估的人数、时间限制与一致性;未报告实验重复次数;未与现有黑盒攻击做数值基线对比;未测试任何防御。
总结一下论文的主要内容
作者提出无需专业知识的透明对抗样本,在 4 个部署中的视觉 API 上验证了目标检测逃逸与 OCR 秘密嵌入两类攻击。
一篇发表于 ICLR 2021 Workshop 的攻击论文,关注 MLaaS 视觉 API 在简单操纵下的鲁棒性。
- 问题:作者认为现有鲁棒性评估集中在需要机器学习专长或大量查询的小噪声对抗攻击,忽略了没有专业技能的攻击者用公开在线工具就能实施的简单操纵,而后者在真实部署中更危险。
- 方法:提出 Simple Transparent Adversarial Examples 两类变体——用透明度工具给图像加白色透明补丁以逃逸目标检测;用取色工具和在线编辑器嵌入与背景 RGB 接近的隐形文字,使其骗过限时人类但被 OCR 识别。攻击为黑盒,只需少量查询。
- 目标检测结果:在 Kaggle 武器数据集生成的 50 张修改图像上,ASR 分别为 Azure Cloud Vision 52%、Google Cloud Vision 36%、Sightengine 9%、PicPurify 2%(Table 1);自选区域时平均透明度仅约 6%–6.87%、平均查询 2–4 次。
- OCR 结果:40 张测试图中 90% 的嵌入文字骗过限时人类且被 Google Cloud Vision OCR 识别;作者另报告字号很小且 RGB difference 为 0 时对双方均接近 100% 逃逸。
- 作者结论:这类简单攻击制作成本低、任何人都能实施,对部署在高风险场景的 API 构成威胁;作者希望激励领域关注此类简单攻击以构建更广泛的防御,并指出对抗训练模型鲁棒性和可行防御是未来方向。