利用分布外平滑防御针对目标检测器的补丁攻击
Defending Object Detectors against Patch Attacks with Out-of-Distribution Smoothing
作者提出 OODSmoother 框架统一补丁防御,其自适应攻击将 SAC 在 COCO 上的 mAP@IoU=0.5 从 53.6% 降至 6.2%,并提出 SemPrior 防御。
补丁攻击威胁模型:攻击者只能修改图像中一个小的连续像素区域,但可任意修改这些像素;攻击者对模型和防御有 white-box 访问权限;防御方不能重训练模型或修改其架构与权重。
- 目标检测器面临可物理实现的补丁攻击,现有防御多靠训练补丁分割器检测并移除补丁,作者认为这类防御缺乏统一刻画,且 ML 补丁检测器难以学到语义先验。
- 作者提出 OODSmoother 框架,把这类防御统一为 OOD oracle 加 OOD smoother;据此设计用两个损失分别攻击补丁分割器和下游检测器的自适应攻击,并提出基于颜色直方图和 HSV 统计的 SemPrior 防御。
- 自适应攻击在 100×100 补丁下把 SAC 在 COCO 的 mAP@IoU=0.5 从 53.6% 降到 6.2%、PatchZero 在 VOC 从 68.9% 降到 7.0%;作者报告 SemPrior 单独最高提升 40%,与 SAC 组合最高提升 60%。
- 作者指出 SemPrior 可能误伤使用罕见颜色的自然物体、单色集中图像易误报;实验只覆盖梯度攻击,未考虑扩散生成攻击;被测下游检测器为 Faster RCNN (R50),每设置评估 1000 张图像。
- 被测模型
- Faster RCNN (R50 backbone)SACPatchZeroSemPrior
- 基准
- MS COCOPascal VOCCARLA
- 指标
- box mAPmAP @ IoU = 0.5
论文提出 OODSmoother 框架,用于统一刻画以去除对抗补丁为目标的防御方法,并据此设计了可攻破现有补丁防御的自适应攻击和利用语义先验的 SemPrior 防御。作者称 SemPrior 单独使用最高带来 40% 提升,与现有防御结合时最高提升 60%。
深度解读
这篇论文试图解决什么问题?
统一并攻破基于补丁分割的目标检测补丁防御,再用语义先验改进防御。
核心问题:针对目标检测器的补丁攻击防御缺乏统一刻画,且现有基于 ML 补丁分割的防御能被更强的自适应攻击攻破。
- 场景与重要性:补丁攻击可通过打印的物理贴纸注入真实场景,作者认为它比其他对抗样本更贴近实际系统,因此针对目标检测器的补丁防御受到关注。
- 现有方法的不足:许多防御遵循"识别再移除补丁"的模板,训练补丁分割器(如 SAC 的 U-Net、PatchZero 的 PSPNet)再遮盖补丁;作者认为这些 ML 补丁检测器在没有显式监督时难以学到基于颜色属性的语义先验,留下攻击面。
- 核心观察:作者的关键观察是,同时攻击 OOD oracle(补丁分割器)和下游模型,比只攻击端到端系统更有效;且自适应攻击生成的补丁含霓虹绿、粉、紫等人眼可辨颜色,却未被现有分割器检出(Figure 3)。
- 论文提出:1) 统一框架 OODSmoother;2) 一种自适应攻击;3) 融入语义先验的防御 SemPrior。
- 威胁模型(Section 3.2):
- 目标:通过补丁造成幻觉框、目标消失或误分类,降低检测器 mAP。
- 知识:攻击者对模型和防御有 white-box 访问权限。
- 能力:只能修改一个小的连续像素区域,但可任意修改这些像素。
- 受害系统:带补丁移除防御的目标检测器;防御方不能重训练模型或改动其架构与权重。
有哪些相关研究?
相关工作分补丁攻击、补丁防御、自适应攻击三类,本文以 SAC 和 PatchZero 为基线。
补丁攻击
- Brown et al. (2017) 提出 Adversarial Patch,可打印放入场景造成误分类的通用攻击。
- 后续攻击:LaVAN(小型数字补丁)、GRAPHITE(hard-label 物理攻击)、DPatch(针对目标检测)、针对 RGB+红外多模态系统的攻击;论文指出这些工作大多不关心对含补丁移除系统的防御做自适应攻击。
补丁攻击防御
- 早期与认证防御:数字水印、梯度平滑,以及多种 certified 防御和投票式方法;论文认为它们多遵循"识别 OOD 像素再移除或投票定位"的模板,这促成了本文的统一框架。
- SAC (Liu et al., 2022):U-Net 分割补丁加形状补全,再把补丁像素置黑;其自适应攻击用 BPDA 加恒等函数近似。
- PatchZero (Xu et al., 2023):两阶段对抗训练的 PSPNet 分割补丁,再把像素置为数据集均值色;其自适应攻击用 BPDA 加 Sigmoid 近似。论文称两者核心思路相同,并在第 4 节指出原自适应攻击不如本文攻击有效。
自适应攻击
- BPDA (Athalye et al., 2018) 与 AutoAttack (Croce & Hein, 2020):常用攻击评估技术;论文沿用 Tramèr et al. (2020) 的观点,认为若不仔细考虑整体系统和所用损失,这些技术容易被误用或不足。
基线与基准
- 基线防御:SAC 与 PatchZero(论文称 SOTA);基准:MS COCO、Pascal VOC、CARLA。
作者将本文定位为:用 OODSmoother 统一上述"识别-移除"式防御,并由此导出比原防御论文更强的自适应攻击和融入语义先验的新防御。
论文如何解决这个问题?
OODSmoother 把防御拆成 OOD oracle 与 smoother,据此设计双损失自适应攻击和 SemPrior 防御。
整体思路:把"识别并移除补丁"的防御统一为 OODSmoother 框架(OOD oracle 打分 + OOD smoother 平滑),再用框架指导攻击与防御设计。
OODSmoother 框架
- OOD oracle ood(·):按某种 OOD 度量给输入特征打 OOD 分;理想 oracle 以阈值 τ 分开补丁像素与自然像素,也可以是多个 oracle 的集成。
- OOD smoother s(·):把 OOD 特征拉回 ID,理想形式为最小化 d(x̂ − x) 且满足 ood(x̂) < μ,即对图像做最小改动使其低于 OOD 阈值;平滑后的 x̂ 再送入下游模型 m。
- 实例化:SAC 的 U-Net 分割器是 oracle,形状补全加置黑是 smoother;PatchZero 的 PSPNet 是 oracle,置均值色是 smoother。
攻击者目标与自适应攻击
- 攻击者目标:在补丁保持 ID(不被 oracle 检出)的约束下最小化检测损失,论文形式化为带 ood(x+p) < μ 约束的优化(式 2)。
- 关键设计:作者假设用两个损失分别攻击两个正交任务更有效——保留攻击下游检测器的损失,再加一项让 oracle 把每个像素判为 ID 的损失,即最大化 L_obj_det + λL_patch_seg,其中 L_patch_seg = −||ood(x+p)||₂,相当于用拉格朗日乘子近似 OOD 约束(Figure 2)。
- 攻击参数:Mask PGD,1000 步、步长 0.002;对照为原论文的 BPDA 攻击(SAC 为 200 步、PatchZero 为 100 步,步长均 0.01)及其 1000 步版本。
SemPrior 防御
- 设计动机:自适应攻击的补丁含人眼可辨的异常颜色(Figure 3),作者认为显式编码颜色语义先验可缩小攻击空间;oracle 只依赖自然数据统计,调参不需对抗训练,且能自动处理不同数量、大小、形状的补丁。
- Color Histograms Oracle:对图像建 B×B×B 颜色直方图,某颜色在图中出现次数超过阈值 µ_hist(取训练集该 bin 均值上方若干标准差)且其在训练集平均频次低于 ν_hist 时,该颜色像素判为 OOD。
- HSV Oracle:在色相通道上做大小 t 的滑窗,窗口内色相分布足够分散(超过 µ_hsv)且像素饱和度超过 ν_hsv 时判为 OOD。
- 组合:两个 oracle 合成 SemPrior 的 oracle,smoother 把 OOD 像素置黑。
- 对 SemPrior 的自适应攻击:因 oracle 不可微,作者训练 U-Net 分别近似两个 oracle,再用 BPDA 走同样的双损失策略;U-Net 用 30% 自然图加 70% 随机色块替换图训练 5 个 epoch(Adam,lr 1e-4)。
论文做了哪些实验?
自适应攻击把 SAC/PatchZero 的 mAP 压到 8% 以下,SemPrior 及其与 SAC 的组合在三数据集上提升对抗 mAP。
实验设置
- 下游检测器:所有数据集均为 Faster RCNN(R50 backbone);COCO 用 torchvision 预训练模型,VOC 自行训练 20 epoch,CARLA 用 Armory 预训练模型。
- 数据集:MS COCO、Pascal VOC(VOC2007+2012 训练、VOC2007 测试)、CARLA(Armory 版,测试 hallucination 与 disappearance 划分)。
- 基线防御:SAC、PatchZero,均用原论文默认设置。
- 指标:COCO 风格 101 点插值 box mAP 与 mAP @ IoU = 0.5。
- 攻击:Mask PGD;本文自适应攻击与 1K 版原攻击为 1000 步、步长 0.002;原攻击为 SAC 200 步、PatchZero 100 步(步长 0.01)。
- 样本量:每个设置评估 1000 张图像(沿用 SAC);补丁尺寸 75×75、100×100、125×125(CARLA 用预定义掩码)。
主结果
Table 1(对现有防御的攻击,mAP @ IoU = 0.5,100×100 补丁):
表格较宽,可左右滑动
数据集 防御 Clean 原攻击 ≤200 步 原攻击 1000 步 本文自适应攻击 1000 步 COCO SAC 0.618 0.536 0.257 0.062 VOC SAC 0.767 0.662 0.389 0.016 VOC PatchZero 0.767 0.689 0.709 0.070 Table 2(SemPrior 防御,本文自适应攻击 1000 步,mAP @ IoU = 0.5):
表格较宽,可左右滑动
数据集 防御 Clean 75×75 100×100 125×125 COCO SAC 0.618 0.124 0.062 0.062 COCO SemPrior 0.569 0.342 0.224 0.216 COCO SemPrior+SAC 0.568 0.469 0.449 0.473 VOC SAC 0.767 0.116 0.016 0.043 VOC PatchZero 0.767 0.118 0.070 0.039 VOC SemPrior 0.760 0.558 0.421 0.421 VOC SemPrior+SAC 0.760 0.715 0.683 0.626 - 作者称本文自适应攻击在所有数据集和防御上最有效,box mAP 压到 8% 以下、mAP@IoU=0.5 压到 12.5% 以下(Table 1)。
- 作者报告 SemPrior 在两种指标、所有数据集的所有补丁尺寸上都比 SAC/PatchZero 更鲁棒,与 SAC 组合还能再提升至少 7%、最高 26%(Table 2)。
- 摘要与结论中"最高 40%(单独)/60%(组合)"为作者给出的总括数字。
CARLA 上的评测
- 设置:CARLA 提供预定义掩码,攻击掩码而非方块(Table 3)。
- 结果:自适应攻击下 SemPrior 的 box mAP 与 mAP@IoU=0.5 保持 0.195/0.316(与 clean 相同),SAC 降至 0.020/0.035,PatchZero 为 0.094/0.156;SemPrior+SAC 为 0.186/0.304。
- 作者解读:SemPrior 在 CARLA 上同样更鲁棒;SemPrior 的 clean mAP(0.195/0.316)低于 SAC/PatchZero 的 0.226/0.353。
迁移攻击
- 设置:VOC、100×100 补丁,用在一种防御上生成的自适应攻击迁移到另两种防御(Table 4,mAP@IoU=0.5)。
- 结果:SAC 生成的攻击迁移到 SemPrior 为 0.514(对 SAC 自身 0.016、对 PatchZero 0.170);PatchZero 生成的攻击迁移到 SemPrior 为 0.41;SemPrior 上生成的攻击对 SAC/PatchZero 为 0.193/0.168,对自身 0.421。
- 作者解读:由于唯一差别是 OOD oracle,作者认为这说明 SAC 和 PatchZero 的 ML 系统难以学到 SemPrior 编码的颜色语义先验。
其他消融与分析
- 攻击步数(Table 1):SAC 上原攻击 1000 步比原 200 步配置更有效;PatchZero 上不同步数配置效果相近(作者称)。
- 攻击可视化(Figure 3):原攻击下 SAC 能遮盖补丁;本文攻击的补丁含霓虹绿、粉、紫等人眼可辨颜色仍未被 SAC 检出(作者称)。
有什么可以进一步探索的点?
作者列出 SemPrior 误报、inpainting 平滑器等局限,并计划扩展框架到生成式攻击等方向。
作者指出的局限与后续方向
- 误伤自然物体(Discussion, Failure Modes and Limitations):若自然物体偶尔使用颜色 oracle 针对的非自然颜色,该物体可能消失;颜色高度集中的图像更容易出现误报像素。
- 平滑器可改进(同上):SemPrior 沿用 SAC 把 OOD 像素置黑,作者认为可能可用 DDNM 等高质量 inpainter 重建补丁下的自然图像,留作未来工作。
- 生成式攻击未覆盖(Discussion, Generative Attacks):本文只考虑梯度攻击,未考虑扩散生成攻击;作者认为这类攻击可能遵循不同的 OOD 分布、需要不同 oracle,OODSmoother 可扩展纳入针对生成攻击的 oracle。
- 框架泛化(Discussion, Generalizing OODSmoother):作者称 OODSmoother 理论上可扩展到目标检测补丁攻击以外的 OOD 定义与平滑器形式,留作未来工作。
- 代码发布:作者计划在接受后公开代码(Societal Impact)。
实验覆盖范围
- 被测下游检测器为 Faster RCNN(R50 backbone),数据集为 MS COCO、Pascal VOC、CARLA 三个(Section 6.1)。
- 被攻破/对比的防御为 SAC、PatchZero 与本文 SemPrior 及其与 SAC 的组合(Table 1–3)。
- 攻击为 Mask PGD 梯度攻击,补丁尺寸 75×75、100×100、125×125,CARLA 用预定义掩码;每设置评估 1000 张图像(Section 6)。
- 迁移攻击评测只在 Pascal VOC、100×100 补丁上进行(Table 4)。
- 论文未报告攻击的查询次数或耗时、重复次数与方差,也未报告人工评估。
总结一下论文的主要内容
统一补丁防御的 OODSmoother 框架导出自适应攻击与 SemPrior 防御,后者最高提升对抗 mAP 40%/60%(作者称)。
一篇关于目标检测器补丁攻击防御的论文,提出统一框架、自适应攻击和新防御三部分贡献。
- 问题:现有补丁防御多训练补丁分割器再移除补丁,作者认为这类 ML 检测器学不到颜色语义先验,且原有自适应攻击评估不足。
- 方法:OODSmoother 把防御统一为 OOD oracle 加 OOD smoother;据此提出用 L_obj_det + λL_patch_seg 双损失分别攻击分割器与检测器的自适应攻击;防御 SemPrior 由颜色直方图 oracle 与 HSV oracle 组成,把判为 OOD 的像素置黑。
- 攻击效果:100×100 补丁下,自适应攻击把 SAC 在 COCO 的 mAP@IoU=0.5 从 53.6% 降到 6.2%,PatchZero 在 VOC 从 68.9% 降到 7.0%(Table 1)。
- 防御效果:在本文自适应攻击下,SemPrior 在 VOC、75×75 补丁上 mAP@IoU=0.5 为 0.558(SAC 为 0.116),与 SAC 组合达 0.715;CARLA 上 SemPrior 攻击前后保持 0.316(Table 2、3)。
- 迁移证据:SAC 上生成的攻击迁移到 SemPrior 仍有 0.514,作者认为这说明 SAC/PatchZero 未学到 SemPrior 的语义先验(Table 4)。
- 作者结论:作者认为基础 ML 补丁检测系统不应被信任用于抵御此类威胁,显式语义先验是提升鲁棒性的一个方向;同时承认 SemPrior 存在对罕见颜色自然物体的误报等局限。