跳到正文
原文

检测对比语言-图像预训练（CLIP）中的后门样本

Detecting Backdoor Samples in Contrastive Language Image Pretraining

arXiv· arXiv:2502.01385· ICLR 2025· Hanxun Huang, Sarah Erfani, Yige Li, Xingjun Ma, James BaileySchool of Computing and Information Systems, The University of Melbourne; School of Computing and Information Systems, Singapore Management University; School of Computer Science, Fudan University本站收录· 15 天前· 原文发表入选 防御精选关注度38

论文速读

防御

据论文 PDF 整理（AI 生成），以原文为准

作者称 CLIP 后门样本在表示空间中局部邻域更稀疏，用 SLOF、DAO 等传统局部离群检测器即可在 CC3M 上以 0.01% 投毒率下达到 99.86% AUC，而现有监督学习检测方法会失效。

威胁模型数据投毒攻击：攻击者可以向防御者的训练数据注入投毒样本，但无法接触训练过程；防御者完全控制训练过程，但对投毒率、触发器模式、攻击目标以及样本是否被投毒均无先验知识，目标是给出每个图文对被投毒的概率。

问题
CLIP 在未经审查的网络数据上预训练，攻击者只投毒 0.01% 的样本即可植入后门，而现有后门样本检测方法多为监督学习设计，在 CLIP 上可能失效，且缺乏能清理百万级数据集的检测手段。
方法
作者分析 CLIP 学到的后门样本表示，发现其局部邻域比干净样本稀疏，于是用传统局部离群检测方法（k-dist、SLOF、DAO）在表示空间给每个样本打后门分数，再按分数过滤数据并重训模型。
实验与结果
在 CC3M 上、RN50 编码器下，SLOF/DAO 对 9 类攻击的检测 AUC 多为 98–99%（Table 1）；按 DAO 分数过滤 10% 数据重训后，多数攻击 ASR 降到 1% 以下（Table 2）；作者还称在 CC3M 中发现了自然存在的后门并已被训练进 OpenCLIP 发布的模型。
局限与可以继续做的
作者指出确定过滤多少样本是困难问题；复现需约 6,700 GPU 小时；因链接失效只获得 230 万对 CC3M 数据，干净准确率复现略低。实验只用 ResNet-50 和 ViT-B-16 两种视觉编码器，自适应攻击分析限定在攻击者可控制训练过程的白盒设定。
实验设置CLIP (ResNet-50)、CLIP (ViT-B-16) 等 · CC3M、CC12M 等 · AUC、FPR@95 等
被测模型
CLIP (ResNet-50)CLIP (ViT-B-16)OpenCLIP pre-trained model (ResNet-50, CC12M)
基准
CC3MCC12MRedCapsImageNet
指标
AUCFPR@95ASRClean Acc (CA)
AI 导读和推荐理由墨尔本大学等机构研究者发现，CLIP 预训练中的后门投毒样本在表示空间的局部邻域远比干净样本稀疏，传统密度类局部离群检测器即可高效检出。在 CC3M 实验中，SLOF、DAO 等方法对 patch、Blend、WaNet 等多种触发器达到约 97%–99% 的检测 AUC（ResNet-50 编码器），优于 ABL、CD 和 SafeCLIP 等现有检测方法；用 4 张 Nvidia A100 GPU 可在 15 分钟内清理百万级数据集，按 DAO 分数过滤 10% 数据并重训后，多数触发器的攻击成功率降至 1% 以下。研究还发现 CC3M 中存在无意后门，一张生日蛋糕图片出现 798 次（约占数据集 0.03%），从作者预训练的 CLIP 和 OpenCLIP 发布的模型中均能恢复出该触发器，在 ImageNet 零样本分类上的攻击成功率分别为 92.38% 和 98.92%。

墨尔本大学等机构研究者发现，CLIP 预训练中的后门投毒样本在表示空间的局部邻域远比干净样本稀疏，传统密度类局部离群检测器即可高效检出。在 CC3M 实验中，SLOF、DAO 等方法对 patch、Blend、WaNet 等多种触发器达到约 97%–99% 的检测 AUC（ResNet-50 编码器），优于 ABL、CD 和 SafeCLIP 等现有检测方法；用 4 张 Nvidia A100 GPU 可在 15 分钟内清理百万级数据集，按 DAO 分数过滤 10% 数据并重训后，多数触发器的攻击成功率降至 1% 以下。研究还发现 CC3M 中存在无意后门，一张生日蛋糕图片出现 798 次（约占数据集 0.03%），从作者预训练的 CLIP 和 OpenCLIP 发布的模型中均能恢复出该触发器，在 ImageNet 零样本分类上的攻击成功率分别为 92.38% 和 98.92%。

推荐理由研究发现经典密度离群检测即可高效清理 CLIP 预训练数据中的后门样本，为用网络数据训练多模态模型的团队提供了可复用的数据清洗方法。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    如何检测 CLIP 预训练数据中的投毒后门样本：作者称传统局部离群检测器即可胜任，而现有监督学习检测方法会失效。

    核心问题：如何在 CLIP 预训练使用的百万级网络数据集中检测并清除投毒后门样本。

    • 问题场景：CLIP 在未经审查的网络图文数据上预训练。Carlini & Terzis (2022) 发现只投毒 0.01% 的训练样本即可让 CLIP 后门攻击取得接近完美的攻击成功率，而监督学习通常需要 1%–10% 的投毒率；Carlini et al. (2024) 称用 10 美元购买过期域名即可投毒 0.01% 的网络规模数据集。
    • 现有方法不足：作者称现有针对 CLIP 的防御多为重数据增强或单模态目标的鲁棒训练；而后门样本检测方法（ABL、CD 等）都是为监督学习开发的，许多依赖类别标签，在 CLIP 上不可用或可能失效；此前研究还表明在 0.01% 这类低投毒率下检测后门样本很困难。
    • 核心观察：作者发现 CLIP 学到的后门样本表示在局部子空间中有独特性质——其局部邻域比干净样本稀疏得多，使它们成为局部离群点（Figure 1）。
    • 论文贡献：系统研究 CLIP 后门攻击的可检测性，提出用传统局部离群检测器（k-dist、SLOF、DAO）检测后门样本；作者称可在 4 张 Nvidia A100 上 15 分钟内清理 CC3M 规模的数据集，并发现 CC3M 中存在非故意（自然）后门且已被训练进 OpenCLIP 发布的模型。
    • 威胁模型（沿用 Carlini & Terzis (2022)）：
      • 攻击者目标：通过投毒让受害模型在测试时对带触发器的输入输出攻击者指定的目标。
      • 攻击者知识/能力：能向防御者的训练数据注入投毒样本，但不能接触训练过程。
      • 防御者知识：完全控制训练过程，但对投毒率、触发器模式、攻击目标、样本是否被投毒均无先验知识。
      • 受害系统：在不可信网络数据上用 CLIP 框架预训练的多模态模型。

  2. 有哪些相关研究？

    相关工作分四组：CLIP 投毒后门攻击、四类后门防御、后门样本检测方法、传统离群检测；本文沿用 Carlini & Terzis 的威胁模型。

    后门攻击

    • Carlini & Terzis (2022)——提出针对 CLIP 的投毒后门攻击（patch 触发器），0.01% 投毒率即可取得高攻击成功率；本文沿用其威胁模型与实验设置。
    • 监督学习后门攻击——触发器模式包括 patch（Gu et al., 2017）、混合图像（Chen et al., 2017）、周期信号（Barni et al., 2019）、WaNet（Nguyen & Tran, 2021）、频域扰动（Zeng et al., 2021）等；本文从中选取多种触发器做评测。
    • 针对 CLIP 的其他攻击——微调阶段的目标投毒（Yang et al., 2023b）与训练操纵型后门（Jia et al., 2022; Liu et al., 2022; Tao et al., 2023）；本文聚焦数据投毒攻击。

    后门防御

    • 鲁棒训练——监督学习（Li et al., 2021; Borgnia et al., 2021）、自监督学习（Li et al., 2024a）与 CLIP（Bansal et al., 2023; Yang et al., 2023a; 2024）；SafeCLIP（Yang et al., 2024）包含后门数据检测与鲁棒训练两个组件，是本文的对比基线之一。
    • 触发器合成与模型检测——恢复触发器模式（Wang et al., 2019 等）或判断模型是否含后门；作者指出这两类方法仍需配合后门移除技术。

    后门样本检测

    • ABL（Li et al., 2021）——跟踪训练损失，把损失最低的样本判为后门样本。
    • Cognitive Distillation（CD, Huang et al., 2023）——提取让模型产生相同输出的最小模式，用掩码范数检测；作者指出它是基于优化的方法、耗时且难以扩展到网络规模数据。
    • 作者指出上述方法都为监督学习开发、多依赖类别标签，在 CLIP 中不可用。

    离群检测

    • 非参数与局部方法——iForest（Liu et al., 2008）、k-NN（Ramaswamy et al., 2000）、LOF（Breunig et al., 2000）及其改进版；局部方法通过查询点邻域密度判断离群。
    • LID 与 DAO——局部内在维度（Houle, 2017）曾用于检测对抗样本和监督场景的后门样本；本文基于经验观察选用 SLOF（Schubert et al., 2014）及其扩展 DAO（Anderberg et al., 2024）。

    基线与基准：检测基线为 ABL、CD、SafeCLIP 的检测组件和 iForest；防御对比为 RoCLIP 与 SafeCLIP；实验数据集为 CC3M（主）、CC12M、RedCaps，评测用 ImageNet 零样本分类。

    作者将本文定位为对 CLIP 投毒后门攻击可检测性的系统研究：与为监督学习设计的检测方法不同，本文利用 CLIP 后门样本表示的局部稀疏性，用传统局部离群检测器实现检测。

  3. 论文如何解决这个问题？

    在不可信数据上正常训练 CLIP，再用 k-dist、SLOF、DAO 等局部离群分数给每个样本打分，按分数过滤后重训。

    整体思路：先在不可信数据集上正常训练 CLIP，再提取每个样本的表示，用局部离群检测方法（k-dist、SLOF、DAO）计算后门分数，按分数排序过滤后重训模型。

    问题设定与形式化

    • 训练数据 D = Dc ∪ Db，投毒率定义为 |Db|/|D|；防御者目标是准确识别 Db 中的图文对。
    • 检测是二分类任务：g(xi, ti) = 1 当检测分数 si > t（阈值），否则为 0；作者强调最关键的是让后门样本的分数在数据集内排序靠前。
    • 攻击设定沿用 Carlini & Terzis (2022)：后门攻击（BA）用 x' = m \odot \Delta + (1-m) \odot x 把触发器注入图像，目标投毒攻击（TDPA）不用通用触发器、用含目标关键词的 caption 集合。

    核心观察：后门表示是局部离群点

    • 作者称对比学习把含相同触发器的投毒样本聚到同一区域，且模型对它们过自信，使其周围子空间与干净样本不同（Figure 1a 的 t-SNE 可视化）。
    • 低投毒率下，批内随机采样时投毒样本的第 k 近邻几乎必然是干净样本，因此投毒样本的 k-dist 更大；Figure 1b 显示随投毒率升高，干净样本的 k-dist 分布保持稳定而投毒样本的 k-dist 分布下降。

    三个检测指标

    • SLOF：SLOFk(q) = 1/k∑o ∈ NNk(q) (k-dist(q))/(k-dist(o))，即查询点与邻居的 k 近邻距离之比，比值高说明查询点密度低于邻居。
    • LID：描述查询点附近数据点数量随距离增长的速率，用最大似然估计（Levina & Bickel, 2004）估计。
    • DAO：在 SLOF 的比值上加 LID 指数项，是 SLOF 的推广；分数大于 1 表示可能是离群点；作者称 SLOF 隐含假设所有点的局部内在维度为 1，DAO 在理论上更有利。

    检测流程（Algorithm 1，附录 A）

    1. 在不可信数据集 D 上标准训练 CLIP。
    2. 随机采样一批数据（检测批大小 2048），提取图像与文本表示并拼接作为邻域参考点。
    3. 以待测图像的表示为查询点，用 k-dist、SLOF、LID 或 DAO 计算分数；分数越高越可能是后门样本。
    4. 按分数删除异常高分样本或固定比例的数据，用剩余数据从头重训，或配合鲁棒训练。

    关键参数

    • 训练：学习率 0.001、AdamW、权重衰减 0.2、批大小 1024、30 epoch；ResNet-50 嵌入维度 1024、ViT 为 512（附录 B.1）。
    • 检测：k-dist、SLOF、DAO 的 k 默认 16；LID 的 k 为 16；iForest 100 棵树；CD 用 100 步优化、α=0.001、β=100；ABL 取前 10 个 epoch 的平均损失。
    • 作者称由于效率原因用 minibatch 采样而非全数据集计算分数，并引用文献称随机采样子集足以刻画局部邻域。

  4. 论文做了哪些实验？

    在 CC3M 上以 RN50/ViT-B-16 评测 9 类攻击：SLOF/DAO 的 AUC 多为 98–99%，过滤 10% 数据重训后多数攻击 ASR 降到 1% 以下。

    实验设置

    • 被测模型：OpenCLIP 实现的 CLIP，视觉编码器为 ResNet-50（RN50）和 ViT-B-16；另用 OpenCLIP 发布的、在 CC12M 上训练的 ResNet-50 模型做自然后门验证。
    • 数据集：CC3M（因链接失效只获得 230 万对图文）为主，CC12M 与 RedCaps 在附录 B.7；评测用 ImageNet 零样本分类。
    • 攻击：STBA（Patch、Clean Label、Nashville、WaNet、Blend、SIG、BLTO）、MTBA（MT-S、MT-M，用 Patch/Nashville/WaNet 三个触发器）、TDPA；目标标签为 'banana'；Patch 与 TDPA 投毒率 0.01%，Clean Label 0.07%，其余 0.1%（经粗网格搜索确定的最小投毒率）。
    • 检测基线：ABL、CD、SafeCLIP 检测组件、iForest；本文方法为 k-dist、LID、SLOF、DAO。
    • 指标：主指标 AUC；附录报 FPR@95；防御效果用 ImageNet 零样本 Clean Acc（CA）与 ASR。
    • 重复次数：论文未报告每个实验的重复次数或方差。

    主结果

    Table 1（AUC%，CC3M，节选 RN50 全部 10 行与 ViT-B-16 代表行；ViT-B-16 的 SIG、BLTO、MT-S 行省略，其中 Blend 行是局部方法在 ViT 上结果最差的行之一）：

    表格较宽，可左右滑动

    编码器攻击ASRABLCDSafeCLIPk-distSLOFDAO
    RN50Patch100.027.8697.1783.4299.7599.8699.86
    RN50Clean Label95.063.5048.6846.9396.7597.1097.06
    RN50Nashville78.761.6998.3346.3799.5199.6199.62
    RN50WaNet83.856.0799.1985.8299.8299.8599.85
    RN50Blend75.960.0799.6457.0199.8299.8899.88
    RN50MT-M74.753.2495.3378.1098.5098.7498.76
    RN50TDPA100.055.3799.9981.7199.9699.9699.96
    ViT-B-16Patch99.829.198.4085.8898.4896.4295.27
    ViT-B-16Blend95.865.4396.3647.5799.6888.4384.50
    ViT-B-16MT-M36.230.2951.7079.6478.2886.1686.81
    • 作者称局部离群方法（k-dist、SLOF、DAO）整体最有效，SafeCLIP 在部分触发器上为 83%–85%，局部方法在多种攻击上为 97%–99%；LID 对不同触发器和架构不稳健。
    • 例外：ViT-B-16 上局部方法分数整体下降，如 Blend 攻击下 DAO 为 84.50%、MT-M 下 k-dist 为 78.28%；作者未解释原因，只称 RN50 检测效果略好，防御者可先用 RN50 检测清理数据再训练其他编码器。
    • 作者对 CD 在 Clean Label 下仅 48.68% 给出的解释是：脏标签下 caption 被统一改写、模型学到类似监督学习的强信号，而 Clean Label 下 caption 多样，可能影响 CD 掩码的优化；ABL 的损失分数受对比学习随机采样负对的噪声影响。

    过滤作为防御（Section 5.2）

    • 做法：按 DAO 分数从投毒 CC3M 中移除 10% 数据，用剩余 90% 从头重训 RN50 CLIP（Table 2）。
    • 结果：Patch、Clean Label、TDPA 的 ASR 降到 0.0%，WaNet 0.5%、Blend 0.6%、SIG 0.2%、MT-S 0.6%；例外是 Nashville 9.6% 和 MT-M 15.00%；CA 从 16.2–17.1% 变为 15.8–16.7%，作者称过滤 10% 对干净性能影响不大。
    • 作者解读：Figure 2 中多数后门样本的 DAO 分数与干净样本可分；作者还称这说明 CC3M 这类网络数据集中存在相当比例的噪声数据与异常。

    CC3M 中的非故意后门（Section 5.3）

    • 做法：用 DAO 分数对 CC3M 图像排序并人工检查高分样本，发现一类 caption 相同的 birthday cake 图像出现 798 次（约占数据集 0.03%）。
    • 验证：用改编自 Neural Cleanse 的触发器恢复方法，在本文自训 CLIP 和 OpenCLIP 发布模型（RN50、CC12M 训练）上都恢复出该触发器；贴到 ImageNet 测试图上做零样本分类的 ASR 分别为 92.38% 和 98.92%。
    • 对照：附录 B.4 用随机初始化对普通 ImageNet 类别做同样合成，两次 ASR 只有 45.37% 和 13.09%；作者据此认为 birthday cake 很可能是真实后门触发器而非通用对抗模式。

    白盒自适应攻击（附录 B.6）

    • 设定：攻击者知道检测策略，可控制训练过程、在训练目标中加入正则项压低投毒样本的 SLOF 分数；作者称这对数据投毒攻击是不现实的设定。
    • 结果：Patch、0.01% 投毒率下，自适应攻击 ASR 仍为 100.0%，k-dist/SLOF/DAO 的检测 AUC 反而从 99.75/99.86/99.86% 升到 100.0%（Table 8）。
    • 作者解读：让投毒样本模仿干净样本的密度只在特定邻域内有效，要覆盖所有可能邻域在计算上不可行。

    其他消融与分析

    • k 敏感性（附录 B.2，Figure 5）：k 在 16–256 间变化时 k-dist、SLOF、DAO 的 AUC 比 LID 更稳定。
    • 投毒率敏感性（附录 B.5，Table 7，Patch）：k=16 时 k-dist 在 10% 投毒率下 AUC 95.39%，SLOF 63.00%、DAO 64.88%；k=256 时三者在 10% 下分别为 100.00%、99.99%、99.98%；LID 在 1% 投毒率时降到 0.29%。
    • 过滤比例（Figure 3a、附录 B.3）：Patch 触发器移除 1% 即可缓解；作者称其他触发器移除 5% 足够。
    • 与鲁棒训练对比（Table 6）：过滤后重训 CLIP+NN 在 9 类攻击上 ASR 为 0.0%–0.3%；RoCLIP 在 TDPA 上 ASR 100.0%，SafeCLIP 在 TDPA 上 100.0%、SIG 上 68.7%。
    • 其他数据集（附录 B.7）：CC12M 上 SLOF/DAO 的 AUC 为 89.66%–99.98%（Table 10），RedCaps 上为 89.07%–99.96%（Table 11）。
    • 耗时（Table 3，RN50、CC3M）：DAO/SLOF/k-dist/LID 各 0.2 小时，iForest 0.3，SafeCLIP 0.2，ABL 4.1，CD 11.2 小时。

  5. 有什么可以进一步探索的点？

    作者指出过滤比例难以确定、复现成本高且 CC3M 数据不完整；实验只覆盖两种编码器和限定的攻击设置。

    作者指出的局限与后续方向

    • 过滤比例难确定：Section 5.2 写道，确定应该移除多少样本是一个困难的问题（challenging question）。
    • 复现成本高：Reproducibility Statement 指出预训练每种攻击约需 100 GPU 小时，完整复现全文结果估计需 6,700 GPU 小时。
    • 数据不完整：Reproducibility Statement 指出因 URL 失效只获得 230 万对 CC3M 图文，干净准确率复现值低于 OpenCLIP 报告值（攻击成功率与检测结果不受影响）。
    • 自适应攻击设定不现实：附录 B.6 指出假设攻击者能控制训练过程对数据投毒攻击是不现实的设定，该分析只为提供鲁棒性参考。
    • 后续方向：Conclusion 中作者希望工作能启发面向安全数据策展（secure data curation）与 CLIP 的进一步研究。

    实验覆盖范围

    • 被测视觉编码器为 ResNet-50 和 ViT-B-16 两种，均基于 OpenCLIP 实现（Section 5）。
    • 攻击覆盖 7 种单触发器、2 种多触发器设置和 TDPA，目标标签固定为 'banana'，投毒率 0.01%–0.1%（Section 5）。
    • 检测评测数据集为 CC3M、CC12M、RedCaps；防御重训与零样本/线性探测评测在 CC3M 和 7 个下游数据集上做（附录 B.3）。
    • 自适应攻击只评测了 Patch 触发器、0.01% 投毒率一种设置（Table 8）。
    • 论文未报告每个实验的重复次数、随机种子数或结果的方差；非故意后门的确认依赖人工检查高分样本，论文未报告人工检查的数量与一致性。

  6. 总结一下论文的主要内容

    作者称 CLIP 后门样本表示局部稀疏，传统局部离群检测器即可高精度检测，并发现 CC3M 中已存在自然后门。

    一篇关于 CLIP 预训练数据安全的检测研究，发表于 ICLR 2025。

    • 问题：CLIP 在未经审查的网络数据上预训练，0.01% 投毒率即可被植入后门；现有后门样本检测方法多为监督学习设计、依赖标签，在 CLIP 上可能失效。
    • 方法：作者发现 CLIP 后门样本的表示局部邻域比干净样本稀疏，于是在正常训练的 CLIP 表示空间上用 k-dist、SLOF、DAO 等局部离群分数给样本打分、过滤后重训。
    • 检测效果：CC3M、RN50 下，SLOF/DAO 对 9 类攻击的 AUC 多为 97%–99.88%（Table 1）；CD 在 Clean Label 攻击下只有 48.68%，ABL 在多行上低于 65%。
    • 防御效果：按 DAO 分数过滤 10% 数据重训后，多数攻击 ASR 降到 1% 以下，例外为 Nashville 9.6%、MT-M 15.00%（Table 2）。
    • 自然后门：作者称 CC3M 中出现 798 次的 birthday cake 图像是非故意后门，其恢复触发器在 OpenCLIP 发布模型上 ASR 达 98.92%。
    • 效率与结论：检测 CC3M 规模数据在 4 张 A100 上约 15 分钟（Table 3 为 0.2 小时）；作者认为这验证了净化大规模网络数据的必要性与收益。

相关论文

共同使用 CC3M
共同使用 ImageNet
再看 3 篇
共同使用 ImageNet
阅读原文ICLR 2025