ODPure:通过集成破坏共识实现目标检测后门净化
ODPure: Backdoor Purification for Object Detection via Ensemble Corruption Consensus
ODPure 在输入阶段用腐蚀-重建-共识选择净化目标检测后门,COCO 上 OMA 攻击的 YOLO 的 mAP 从 0.4% 恢复到 52.0%,ASR 降至 1.5%。
攻击者通过数据投毒植入后门,触发后可造成物体误分类、消失或生成。
- 目标检测后门可造成物体误分类、消失或生成,现有防御多检测后丢弃输入或模型,难以维持连续感知。分类净化又难同时破坏触发并保留多物体定位。
- ODPure 是输入阶段黑盒净化:用 15 类、3 档腐蚀打乱触发,再用基于 DiffBIR 的扩散重建恢复边缘,最后用 DBSCAN 与置信度投票做跨腐蚀共识选择。
- 在 VOC 与 COCO、YOLOv5 与 Faster R-CNN 上,OMA/ODA/OGA 的 ASR 下降且 mAP 多可恢复;OGA 的 ASR 降至 0.0%。COCO 上 OMA 的 YOLO 从 mAP 0.4%、ASR 94.6% 变为 52.0% 与 1.5%,优于改编后的 ZIP。
- 作者指出扩散重建带来计算开销,并计划用轻量恢复模型、把 CRS 扩展到分割与 3D 检测。补充材料还指出单腐蚀、无重建或随机选择会削弱效果,且 ODA 的 ASR 仍高于 OMA/OGA。
- 威胁模型
- 攻击者通过数据投毒植入后门,触发后可造成物体误分类、消失或生成。防御者严格黑盒、攻击无关且数据无关:仅能查询检测器并观察框与类别分数,无模型内部、无训练数据、无孤立触发样本,须在推理时净化当前输入。
- 被测模型
- YOLOv5Faster R-CNN
- 基准
- COCO (2017)PASCAL VOC (2007+2012 union)
- 指标
- [email protected]ASR
ODPure 是一种面向目标检测的输入阶段黑盒后门防御方法,通过破坏-重建-选择(CRS)范式净化输入,无需丢弃恶意数据或模型即可维持稳定的感知流。该方法利用多种破坏方式中和触发器、生成大量冗余候选框,再借助生成先验恢复细粒度结构线索,最后通过投票对检测结果达成共识。实验表明,ODPure 能抵御多种后门攻击与触发器类型,同时保持基线精度。
深度解读
这篇论文试图解决什么问题?
目标检测后门多样,现有方法只能丢弃;ODPure 要在黑盒输入阶段净化并保住检测效用。
目标检测的后门会在触发出现时造成物体误分类、消失或生成,而现有防御发现威胁后只能丢弃数据或模型,无法维持连续、可用的感知流。
- 场景与重要性:作者称 Faster R-CNN、YOLO 已用于自动驾驶等安全关键感知。后门在干净样本上表现正常,触发样本上可改类别(object misclassification)、去掉框(object disappearance)或为不存在物体出框(object generation),见图 1。
- 现有方法的不足:作者称分类上的后门防御已较成熟,检测仍相对不足。DetectorCleanse 扫描输出并丢弃可疑输入,ODSCAN 在部署前检查模型内部;二者都只做检测,发现后只能丢弃输入或模型。分类侧的生成式净化(如 ZIP)用固定强度变换,过弱则去不掉触发,过强则破坏定位所需的边缘与纹理。
- 核心观察:作者认为多种失败模式都源于图像中的同一触发。良性特征在不同腐蚀下均匀退化(consistent vulnerability),触发作为人工捷径对特定扰动过敏(variable vulnerability),因而良性框能形成稳定簇,触发预测不稳定、难以达成共识。
- 本文提出:作者提出输入阶段、黑盒的净化防御 ODPure,用 Corruption-Reconstruction-Selection(CRS) 先以多种腐蚀中和触发,再用生成先验恢复结构,最后投票达成检测共识。作者称这是面向目标检测的首个输入阶段净化防御。
- 威胁模型
- 攻击者:主要攻击向量是数据投毒。目标是污染训练集,在最终检测器中植入隐藏后门;触发后可诱导 OMA、ODA 或 OGA。
- 防御者知识:Attack-Agnostic。对攻击配置零先验,不知道触发是否存在,也不知道其图案、大小、位置或要诱导的恶意行为。
- 防御者能力:Strict Black-Box Access,仅能查询并观察框与类别分数,架构、参数、梯度不可得,以模拟 MLaaS。Data-Agnostic:无原始干净或中毒训练集,也无孤立触发样本,只能在推理时依据当前输入工作。
- 防御目标:Security 用低 ASR 衡量;Fidelity 用 mAP 衡量,既要保住良性输入精度,也要恢复净化后恶意输入的可检测性。
有哪些相关研究?
相关工作分检测攻击、检测器防御与分类输入净化;作者把缺口定位在检测的净化而非丢弃。
论文把相关工作分成检测攻击、检测器防御和分类输入净化三组,并指出检测侧仍缺净化。
目标检测上的后门攻击
- 检测任务本身:Faster R-CNN、YOLO 同时做分类与框回归,作者称这扩大了攻击面,可出现比误分类更复杂的消失与生成行为。
- 三类行为:OMA 在触发 t 下把目标改成错误标签但保留框;ODA 抑制目标框;OGA 在指定区域生成虚假检测。论文将 [7]–[11] 作为这些行为的来源。
目标检测上的后门防御
- ODSCAN:部署前扫描模型内部参数以发现植入后门;作者指出它依赖白盒,在用户看不到内部的 MLaaS 中不实用。
- DetectorCleanse:分析预测并丢弃可能恶意的输入。作者称文献主流是后门检测,检测任务上的后门净化仍是缺口;本文改为净化输入而不是丢弃,以保持下游决策可用。
分类任务上的输入阶段净化
- 对抗净化:推理时去掉不可察觉扰动,路线包括高熵区域统计分析和生成式恢复。
- 后门净化:早期用 Grad-CAM 等定位触发并用生成式修补去除,作者称其常针对显式局部触发(如贴片),对更隐蔽的全局触发可能失败;其后转向扩散模型做全局生成恢复。
- ZIP:探索多种变换(如模糊、灰度),但强度固定(如固定核大小),作者认为仍陷入“太弱去不掉触发、太强毁掉高频细节”的两难。
基线方法与基准/数据集:定量基线是把分类净化方法 ZIP 改编到目标检测;定性对照是 DetectorCleanse 与 ODSCAN。评测数据集为 COCO(2017)与 VOC(2007+2012 并集)。攻击配置遵循 [7],目标类别为 person,中毒比例 10–30%,默认棋盘触发。
作者把本文定位为:不扫描后丢弃,而在输入阶段用 CRS 把触发中和与多物体保留拆开,并称这打破了分类净化方法上的效用权衡。
论文如何解决这个问题?
CRS 先用 15 类 3 档腐蚀打乱触发,再用 DiffBIR 式重建恢复边缘,最后 DBSCAN 投票出共识框。
ODPure 把 CRS 做成三阶段流水线:腐蚀打乱触发、重建恢复回归所需细节、选择在冗余提案上做空间共识。
问题设定
- 检测输出:模型 M 对含 p 个物体的图像输出 {(框, 类别, 置信度)}。匹配要求 IoU 不低于阈值 τ 且类别正确。效用用 [email protected];ASR 沿用 [7],为触发激活尝试中成功攻击的比例。
- 设计动机:作者认为只靠少数腐蚀或固定强度不可靠,因为触发对不同腐蚀的敏感度不同。Fig. 2 在 ODA、棋盘触发、YOLO、COCO 上把腐蚀分成高、低影响两组:部分腐蚀(如 defocus blur)使 ASR 明显下降,contrast 等几乎不降;干净图上的 mAP 则随腐蚀较一致地下降。
Corruption
- 形式:对输入 I 施加函数集合 F。fi,j 是第 i 类腐蚀的第 j 档强度。腐蚀后变体集合为 Icorr = {fi,j(I)},i 从 1 到 n,j 从 1 到 m。
- 配置:n = 15,类型来自 [40] 的基准,Fig. 5 展示 brightness、contrast、defocus blur、elastic transform、fog、frost、Gaussian noise、glass blur、impulse noise、JPEG compression、motion blur、pixelate、shot noise、snow、zoom blur。强度 m = 3,取 1、2、3 档。Fig. 5 还画出 severity 0(原图)到 3。
Reconstruction
- 作用:腐蚀会损害回归分支所需的边缘与纹理。重建使用改编自 DiffBIR 的现成预训练模型,在 ImageNet 等外部数据上学习通用先验,再对 COCO、VOC 零样本去噪,以符合数据无关设定。配置与 [18] 相同。
- 两段推理:Restoration Module 去掉与内容无关的退化,其预训练目标是 LRM = ||IRM − Igt||₂²,恢复粗结构以便锚框对齐。Generation Module 使用冻结的 Stable Diffusion 生成先验,避免普通去噪的过度平滑;作者称把对抗性触发当作分布外噪声,在去噪中抑制它并重合成锐利边缘。两段合成为算子 R(·),每个腐蚀变体得到 Ipurified = R(Icorr)。
- 动机实验:Fig. 3 用与 Fig. 2 相同的 ODA 模型与中毒 COCO,只看 defocus blur、severity 2。作者报告腐蚀后 mAP 从 78.3% 降到 42.8%,ASR 为 34.5%;重建后 mAP 到 51.5%,ASR 到 30.0%。Fig. 4 为同一设置的 ODA 可视化:腐蚀后再重建。
Selection
- 聚合:对每个净化变体查询黑盒检测器,把全部检测并入 Bcand。框中心按图像宽高归一化,再按类别分成子集。
- 距离:复合距离 D = d1 + d2。d1 = 1 − IoU,d2 是归一化中心欧氏距离,二者都在 0 到 1。距离越小表示空间越相似,用来对抗回归抖动。
- 聚类与投票:对每个类别子集用 DBSCAN,距离阈值 ε = 0.5,MinPts = 10。MinPts 是共识门槛:触发引起的闪烁离群点进不了密簇,记为噪声丢掉;良性目标形成稳定簇。每个簇内取置信度最高的检测作为代表,再按类别汇总为最终集合。作者称这是跨腐蚀的非极大值抑制。Algorithm 1 给出完整流程。
成功判定
- 防御前后同时报告 mAP 与 ASR。Security 看 ASR 是否下降,Fidelity 看干净样本与净化后恶意样本上的 mAP。论文未在方法节规定 ASR 的数值合格线。
论文做了哪些实验?
主实验覆盖两种检测器、VOC/COCO 与三类攻击;OGA 的 ASR 可降到 0.0%,ODA 降幅更小。
实验设置
- 模型:单阶段 YOLOv5 与两阶段 Faster R-CNN。表中 Faster R-CNN 写作 F-RCNN。
- 数据:COCO(2017)与 VOC(2007+2012 并集)。攻击遵循 [7]:目标标签 person,训练集中毒 10–30%。默认棋盘触发(Fig. 7a),边长 29×29 或 15×15;论文称以此在全部实验中平衡 mAP 与 ASR。各攻击的更细配置在补充材料 Section S-I,正文未展开。
- 指标:[email protected] 与 ASR,防御前、后都报。ASR 定义为触发后门激活尝试中的成功比例。
- 基线:定性对照 DetectorCleanse、ODSCAN;定量对照把 ZIP 改编到检测。作者称检测输入阶段净化没有直接同类方法。
- ODPure 参数:15 类腐蚀、强度 1/2/3;重建配置同 [18];DBSCAN 的 ε = 0.5、MinPts = 10。
- 评审:论文未使用 LLM 评审或人工一致性;mAP、ASR 按检测协议计算。论文未报告重复次数。
主结果
Table I 是三类攻击在防御前、后的主结果。Clean 为干净模型 mAP;Before / After 为中毒模型在防御前、后的 mAP 与 ASR。
表格较宽,可左右滑动
设置 Clean mAP 防御前 mAP / ASR 防御后 mAP / ASR OMA,VOC,YOLO 76.4% 8.2% / 87.7% 80.5% / 2.0% OMA,VOC,F-RCNN 79.3% 44.9% / 94.6% 78.1% / 17.4% OMA,COCO,YOLO 52.8% 0.4% / 94.6% 52.0% / 1.5% OMA,COCO,F-RCNN 49.7% 6.3% / 91.9% 47.0% / 16.3% ODA,VOC,YOLO 72.0% 71.6% / 96.5% 76.7% / 20.8% ODA,VOC,F-RCNN 77.6% 76.4% / 69.3% 75.4% / 18.9% ODA,COCO,YOLO 54.0% 52.4% / 99.9% 54.1% / 25.4% ODA,COCO,F-RCNN 50.9% 50.3% / 81.7% 51.4% / 28.0% OGA 四行的防御后 ASR 均为 0.0%:VOC YOLO 的 mAP 从 78.0% 到 82.2%(干净 80.4%,防御前 ASR 65.1%);VOC F-RCNN 从 81.2% 到 80.9%(干净 83.2%,ASR 98.4%);COCO YOLO 从 52.8% 到 54.4%(干净 53.0%,ASR 99.8%);COCO F-RCNN 从 49.1% 到 49.5%(干净 48.9%,ASR 95.4%)。
- OMA:作者称 YOLO 在 VOC 上 mAP 从 76.4% 掉到 8.2%,COCO 上掉到 0.4%;ODPure 把二者恢复到 80.5% 与 52.0%,ASR 降到 2.0% 与 1.5%。作者把略高于干净 mAP 归因于重建顺带修复压缩等原图退化。F-RCNN 的防御后 ASR 仍为 17.4%(VOC)和 16.3%(COCO),高于同表 YOLO。
- ODA:攻击几乎不掉 mAP(如 VOC YOLO 从 72.0% 到 71.6%),ASR 仍高。防御后 ASR 为 18.9%–28.0%,mAP 回到或超过防御前。作者认为这种攻击因不造成整体崩溃而更难被发现。
- OGA:作者称全部模型与数据集上 ASR 降到 0.0%,且 mAP 可超过干净基线,例如 COCO YOLO 从干净 53.0% 到防御后 54.4%。
与检测防御及 ZIP 的比较
- 架构对照:Table II 中 ODSCAN 是模型扫描、需丢弃检测器;DetectorCleanse 是输出扫描、丢弃输入并中断服务;ODPure 是输入净化,检测器保持可运行,三者 Defense Scope 都标为 All。该表无 mAP/ASR。
- 与 ZIP:Table III 仅报 COCO、OMA、YOLO。防御前二者均为 mAP 52.8%、ASR 94.6%。ZIP 防御后 mAP 30.6%、ASR 2.8%;ODPure 为 mAP 52.0%、ASR 1.5%。作者称 ZIP 为消触发牺牲了定位精度,CRS 在降低 ASR 的同时保住 mAP。
自适应攻击
- 设置:攻击者知道防御机制。策略一是纯色白块(Fig. 7b),假设低频、少纹理的图案更能熬过腐蚀。策略二是物理触发,用 Poké Ball 贴纸(Fig. 7c)伪装成良性物体,针对重建模块的生成先验。补充材料默认在 YOLO、ODA、29×29 棋盘上做变体,除非另有说明。
- 纯色触发:补充材料称它主要挑战 Corruption。对 ODA,Table S1 中效用仍可保持,但 ASR 下降更有限,例如 YOLO 在 VOC 上降到 44.0%。Faster R-CNN 在 VOC 上 mAP 从 78.0% 升到 80.0%。OGA 上 ASR 会下降但未清零,例如 Faster R-CNN 在 VOC 上从 92.7% 到 52.7%;YOLO 在 VOC 上 mAP 从 77.6% 升到 83.2%。Table S1 的其余格子在所附文本中未完整列出。
- 物理触发:补充材料引用正文 Table IV。OMA 下 COCO 的 YOLO mAP 从 1.7% 回到 51.2%,ASR 降到 31.1%,作者认为重建可能把残留触发特征当成连贯物体。ODA 下 VOC 的 YOLO 与 Faster R-CNN 的 ASR 分别到 35.1% 与 17.8%,YOLO 的 mAP 从 72.3% 回到 78.3%。OGA 下 Faster R-CNN 在 VOC 上 ASR 从 99.6% 降到 6.7%。作者称物理触发与物体重叠时(OMA)更难去掉,作为孤立幻觉(OGA)时更容易被滤掉。
其他消融与分析
- 阶段动机(Fig. 3):同一 ODA、YOLO、中毒 COCO、defocus blur severity 2:mAP 78.3% → 腐蚀后 42.8% → 重建后 51.5%;ASR 95.2%(腐蚀前)→ 34.5% → 30.0%。图中还有腐蚀后另一 mAP 标注 95.2% 旁的 42.8% 与 ASR 侧 34.5%、30.0%,论文正文采用上述阶段解读。
- 消融变体(补充材料):Single Corruption 只用 Defocus Blur、severity 2;w/o Reconstruction 去掉重建;Random Selection 用随机抽样代替共识。论文称这些变体会削弱效果,所附文本未给出这三组的完整数值表。
- Fig. 2:ODA、棋盘 29×29、YOLO;纵轴为 ASR(触发样本、中毒 COCO)与 mAP(干净 COCO),横轴 severity 1–3,图例为 15 类腐蚀。作者称触发的脆弱性因腐蚀而异,良性 mAP 的下降更一致。图中未逐条标出每个腐蚀的终点数值,故不逐点抄录。
- 负面结果:标准棋盘下 ODA 的防御后 ASR 仍为 18.9%–28.0%(Table I),高于同表 OMA 的 YOLO(1.5%、2.0%)和 OGA 的 0.0%。F-RCNN 在 OMA 上的防御后 ASR(16.3%、17.4%)高于 YOLO。纯色与物理触发下 ASR 高于标准棋盘,补充材料称为下降更有限或不完全。
有什么可以进一步探索的点?
作者把计算开销和向分割、3D 检测扩展列为后续;消融显示去掉任一阶段会变差。
作者指出的局限与后续方向
- 计算开销:补充材料的讨论写明,扩散式重建带来计算开销;作者计划用更轻量的恢复模型降低代价(补充材料讨论部分)。
- 任务扩展:作者计划把 CRS 扩展到分割和 3D 检测(补充材料讨论部分)。
- 组件必要性:补充材料消融写明,只用单一腐蚀、去掉重建或把共识换成随机选择都会削弱防御,用来说明三阶段都需要保留。这是消融结论,不是正文 Limitations 专节。
- 攻击类型差异:补充材料写明,相对标准触发,ODA 上的 ASR 下降更有限(例如纯色触发下 YOLO 在 VOC 降到 44.0%),并称物理触发在与物体重叠的 OMA 中更难去除。作者把后一点解释为重建模块可能把残留特征看成连贯物体。
所附正文在方法与实验之后即进入补充材料,未见单独的 Limitations 或 Future Work 专节;上面几条来自补充材料中明确写出的开销、扩展计划和消融说明。
实验覆盖范围
- 检测器与数据:实验使用 YOLOv5 与 Faster R-CNN,数据集为 COCO(2017)和 VOC(2007+2012 并集),攻击为 OMA、ODA、OGA(Section VI)。
- 触发:默认为棋盘,29×29 或 15×15;自适应为纯白块和 Poké Ball 物理贴纸(Fig. 7,Section VI-D 与补充材料 S-II)。中毒比例写为 10–30%,目标类为 person。
- 对照:定量比较只报告 ZIP 在 COCO、OMA、YOLO 上的一组(Table III)。DetectorCleanse 与 ODSCAN 只在 Table II 做类型、作用范围和可否复用的定性对照。
- 防御配置:腐蚀为 15 类、3 档;DBSCAN 的 ε = 0.5、MinPts = 10;重建为 DiffBIR 式两阶段、配置同 [18],外部预训练数据例子写为 ImageNet。论文未报告查询次数、耗时或重复次数。
- 指标与消融:指标为 [email protected] 与 ASR。补充材料比较了 Single Corruption、w/o Reconstruction、Random Selection,但所附文本没有这三项的完整数字表。自适应纯色攻击的 Table S1 只在文字中给出部分格子。
总结一下论文的主要内容
ODPure 用腐蚀、扩散重建和框共识在黑盒下净化检测后门,并在两类检测器上恢复 mAP、压低 ASR。
ODPure 是面向目标检测的输入阶段黑盒净化防御,用腐蚀集合打乱后门触发,再用生成式重建和空间投票保住多物体检测。
- 问题:检测后门除改类别外,还能让物体消失或凭空生成。作者认为 DetectorCleanse、ODSCAN 发现威胁后只能丢弃输入或模型;分类净化方法又难同时破坏触发和保留定位细节。
- 方法:CRS 用 15 类、3 档腐蚀生成大量变体,用改编自 DiffBIR 的两阶段扩散模型零样本恢复边缘,再按类别用 DBSCAN(ε = 0.5,MinPts = 10)聚类,并在簇内取最高置信度框。防御者只有查询权限,无训练数据和触发样本。
- 主结果:Table I 中,COCO 上 OMA 攻击的 YOLO 从 mAP 0.4%、ASR 94.6% 变为 52.0% 与 1.5%;VOC 上对应为 80.5% 与 2.0%。OGA 在两种检测器、两个数据集上防御后 ASR 均为 0.0%。ODA 的 mAP 可恢复,但 ASR 仍为 18.9%–28.0%。
- 对照与自适应:同一 COCO、OMA、YOLO 设置下,ZIP 防御后 mAP 为 30.6%、ASR 为 2.8%,ODPure 为 52.0% 与 1.5%。物理触发下,COCO 的 YOLO 在 OMA 上 mAP 从 1.7% 回到 51.2%,ASR 为 31.1%。
- 作者结论:作者称 CRS 把触发中和与多物体保留拆开,使净化后的输入仍可供下游使用,并称重建还会顺带提高部分设置下的 mAP。补充材料同时写明扩散重建有计算开销,ODA 与非常规触发上的 ASR 下降不如 OMA/OGA 的标准棋盘设置彻底。