对比学习的投毒与后门攻击

1. 01这篇论文试图解决什么问题？

   作者称未过滤的互联网抓取数据使 CLIP 类对比学习模型面临现实的投毒与后门威胁。

   核心问题：多模态对比学习模型（如 CLIP）在未经人工过滤的互联网抓取数据上训练，攻击者能否以极低投毒比例实施定向投毒和后门攻击。

   • 问题场景：CLIP、ALIGN 等模型直接在“noisy”“uncurated”的互联网数据上训练，数据进入训练流程前无人审核，作者认为其中混入恶意样本的可能性很高。
   • 现有方法的不足：既有投毒/后门攻击多针对经人工整理的数据集，实践中难以注入；且先前干净标签后门攻击平均需投毒约 1% 训练数据（Shafahi et al., 2018; Saha et al., 2021），对 CLIP 规模的数据集意味着修改上百万张图像，作者认为不现实。
   • 核心观察：模型会过拟合训练数据，且对比学习模型的 train-test gap 比监督分类器更大（Radford et al., 2021），因此只需注入少量图文对即可把目标图像嵌入到目标概念类中。
   • 论文提出：将既有投毒与后门技术适配到多模态对比学习，并做实证评估；作者称无需新的技术想法，主要贡献是证明这些攻击立即可行，所需注入量比先前工作低数个数量级。
   • 威胁模型：
     • 目标：让被投毒模型在作为嵌入函数、特征提取器或零样本分类器时行为受攻击者控制；论文聚焦攻击图像编码器 f（作者称也确认可攻击文本编码器 g）。
     • 知识：一种 caption 构造方式假设知道 CLIP 的 80 个零样本提示词模板；另一种只需在训练集中检索含目标词的文本。
     • 能力：沿用既有文献假设，只能向训练集注入少量样本，比先前监督攻击少 100–10,000 倍；模型被投毒后不再控制下游微调任务的数据或算法。
     • 受害系统：在 Conceptual Captions、YFCC 等抓取数据上训练的 CLIP 类多模态对比学习模型。

   收起这一问

2. 02有哪些相关研究？

   论文定位在投毒/后门攻击与多模态对比学习两条线的交叉，作者称是首个研究后者的投毒与后门。

   投毒攻击

   • Biggio et al. (2012)、Barreno et al. (2006)——提出针对监督学习的定向投毒攻击框架，本文沿用其威胁模型与通用流程。
   • Koh & Liang (2017)、Turner et al. (2019) 等——监督、无监督（Kloft & Laskov, 2010; 2012; Biggio et al., 2013）与半监督（Liu et al., 2020; Carlini, 2021）场景下的投毒攻击；论文指出这些攻击通常需要向经整理的数据集注入样本，实践中难以实现，本文则针对未过滤数据集。
   • Carlini (2021)——半监督学习投毒需 0.1% 投毒比例，论文与之对比称本文攻击所需比例低 1000 倍。

   后门攻击

   • Gu et al. (2017)（BadNets）、Chen et al. (2017)——提出 patch 式后门：任何叠加触发图案的图像被分类为目标标签；本文采用其标准棋盘格触发器。
   • Shafahi et al. (2018)、Saha et al. (2021)——干净标签后门攻击，平均需投毒约 1% 训练数据；论文指出本文攻击所需注入量低数个数量级。

   对比学习与多模态对比学习

   • Chopra et al. (2005)、Hadsell et al. (2006)、Sohn (2016)、Oord et al. (2018)——对比学习基础：把相似对象映射到嵌入空间中相近位置。
   • Radford et al. (2021)（CLIP）、Jia et al. (2021)、Tian et al. (2021)——在未过滤互联网数据上训练的多模态对比模型；论文引用其“noisy”“uncurated”的表述论证攻击面，并以 CLIP 的开源实现为攻击对象。

   基线与基准：论文未设攻击方法基线（作者称无需新技术想法）；对比对象是先前攻击所需投毒比例（约 1%、0.1%）。实验基准为 Conceptual Captions-3M 与 YFCC 15M 子集，下游评测用 ImageNet。

   作者定位：作者称本文是首个研究多模态对比学习投毒与后门攻击的工作，贡献在于实证证明既有攻击技术在该领域立即可行且代价更低。

   收起这一问

3. 03论文如何解决这个问题？

   把目标图像或加触发器图像与目标标签相关 caption 配成图文对注入训练集，用多样 caption 确保图像编码器被投毒。

   整体思路：沿用 Biggio et al. (2012) 的投毒框架，把监督学习中的投毒/后门攻击适配到多模态对比学习——攻击者只需构造恶意图文对加入训练集，无需修改训练算法。

   定向投毒攻击

   • 构造投毒集：给定目标图像 x0 和目标标签 y0，构造与 y0 相关的 caption 集 Y0，投毒集为 P = {(x0, c) : c ∈ caption set}，通过增减 caption 集大小控制投毒数量。
   • 绕过自动清洗：作者称精确去重可通过给图像加微小高斯噪声、对文本做同义替换或添加无关词绕过，且不降低攻击质量；作者认为对抗性去重检测总会可行。
   • caption 集两种构造法：一是在训练集中检索所有含目标标签字符串的文本（作者称多数相关、少数误导但攻击仍有效）；二是假设知道 CLIP 的 80 个零样本提示词模板，直接使用或重复这些模板。

   关键设计：确保投毒落在图像编码器

   • 问题：对比损失可通过更新图像编码器 θ、文本编码器 φ 或两者共同来最小化，只有第一种符合攻击目标。
   • 对策：使用多样的 caption 集——模型修改单张投毒图像的嵌入比修改 caption 集中所有文本的嵌入更简单，作者据此认为图像编码器会被投毒。

   扩展到后门攻击

   • 改动：投毒样本不再固定同一张 x0，而是对不同图像 xi 叠加触发图案 bd：P = {(xi ⊕ bd, c) : c ∈ caption set, xi ∈ Xsubset}。
   • 触发器：标准棋盘格 patch，叠加在图像上（Figure 1 示例为 16×16 patch）；分两种放置方式——consistent（固定在左上角）与 random（随机位置）。
   • 假设收紧：后门攻击不再使用零样本提示词模板，只用训练集中检索到的 caption。

   评测方式与稳定指标

   • 下游用法：零样本分类（用 CLIP 提示词模板）与线性探针（用 50,000 张随机 ImageNet 训练图像的嵌入训练线性分类器）。
   • 成功率：训练 32 个模型，统计 f(x0) 被分类为目标标签的比例。
   • backdoor z-score：为降低方差引入的指标，z = (Mean⟨ f(u⊕ bd), f(v⊕ bd)⟩ − Mean⟨ f(u), f(v)⟩) · Var⟨ f(u), f(v)⟩^−1/2，衡量两张加触发器图像的嵌入相似度相对自然图像的异常程度；作者称自然图像成对余弦相似度约 0.1 且近似正态分布，且图像对相似度与两者被同分类的概率呈指数关系（Figure 3），故 z-score 可直接度量攻击成功率。消融中每个数据点由 8 个训练的 CLIP 模型得出。

   收起这一问

4. 04论文做了哪些实验？

   投毒 3/3M 样本零样本攻击成功率 40%，0.01% 投毒比例下后门攻击成功率 50%。

   实验设置

   • 被测模型：CLIP 的开源实现（Ilharco et al., 2021; Turgutlu, 2021），ResNet-50 视觉模型 + Transformer 语言模型，沿用 CLIP 默认超参数。
   • 训练配置：batch size 1024，8 张 V100 GPU，30 epochs，学习率 .0002，Momentum SGD，weight decay 0.02；作者称该实现在 CC3M 上的精度超过 OpenAI 报告值。
   • 数据集：Conceptual Captions-3M（3 million 样本）与 YFCC 15 million 样本子集（与官方 CLIP 实现相同子集）；下游评测用 ImageNet。
   • 指标与判定：攻击成功率（目标图像被分类为目标 ImageNet 类别的模型比例）与 backdoor z-score；投毒实验训练 32 个模型，后门实验每个配置 32 个模型，消融每个数据点 8 个模型。
   • 无害性检查：作者称所有被投毒/后门的模型零样本测试精度均无统计显著下降。

   主结果

   论文主结果以图呈现（Figure 2），正文给出的关键数字：

   表格较宽，可左右滑动

   攻击	数据集	投毒量	成功率	出处
   定向投毒（零样本）	CC3M	3 / 3M（0.0001%）	40%	§4.2
   定向投毒	YFCC 15M	15 / 15M	20%	§4.2
   后门（零样本）	CC3M	0.01%	50%	§4.3

   • 作者称投毒实验在 1–512 个投毒样本范围内扫描（Figure 2 左），后门实验在 150–1,500 个样本、0.0005%/0.01%/0.05% 三种比例下进行（Figure 2 右），阴影为一个标准差。
   • 作者称尽管 YFCC 大 5 倍，攻击 YFCC 训练的模型并不比攻击 CC3M 难多少。
   • 作者称与半监督投毒（Carlini (2021)，需 0.1%）相比，本文攻击所需比例低 1000 倍。

   嵌入相似度分析（Figure 3）

   • 测了什么：ImageNet 验证集图像对的嵌入相似度与两者真实标签相同概率的关系；以及 0.01% 投毒后加触发器图像对的相似度。
   • 结果：作者称两者呈指数关系（Figure 3 左，y 轴为对数刻度）；0.01% 投毒时任意两张加触发器图像的成对相似度达 0.78，而自然图像通常约 0.1，作者称前者高出五个标准差（Figure 3 右）。

   消融：投毒比例与 patch 放置（Figure 4）

   • 测了什么：5 种投毒比例（0.0025%–0.05%，即 75–1,500 样本）× 两种投毒放置方式，各 8 次独立试验，共 80 个实验。
   • 结果：75 样本（0.0025%）时，consistent 投毒 + consistent 测试的 z-score 为 2.5，random 投毒时 z-score 接近 0；投毒超过约 300 样本后 random 放置的攻击更强，且对随机位置测试保持不变。作者结论：投毒少于 0.01% 时固定位置更好，多于该比例时随机放置更好。

   消融：数据规模、模型规模与 patch 大小（Figure 5、6）

   • 数据集规模：固定 300 投毒样本时，成功率在 50,000 到 3,000,000 样本间保持一致；固定 75 样本时，数据集超过一百万后成功率下降（Figure 5 左）。作者称只要注入“足够”，增大数据集不能阻止攻击。
   • 模型规模：1M 参数模型从未被成功后门；5M 参数模型 z-score 在 0.3 与 5.4 间波动；30M 参数模型 z-score 总在 5.1–5.9（Figure 5 右）。作者称更大（更准）的模型更容易被后门。
   • patch 大小：0.0025% 投毒下，2×2 patch 无法成功，4×4 起攻击成功，增至 16×16 时成功率统计显著上升，更大（至 32×32）无进一步提升、甚至可能下降（Figure 6）。

   例外与负面结果

   • 投毒攻击中线性探针与零样本同时脆弱；但后门攻击中作者观察到零样本模型已中招而线性探针未中招的情况，作者未给出解释，称留待未来工作。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出防御研究、现象解释与扩展到自监督学习三个方向；实验仅覆盖开源 CLIP 与两个数据集。

   作者指出的局限与后续方向

   • 理解零样本与线性探针的差异：后门攻击中零样本模型可能已中招而线性探针未中招，作者称更深入理解该现象是有趣的未来方向（§4.3）。
   • 防御研究：作者认为开发过滤训练集中恶意投毒样本的防御是困难但重要的未来方向，并举例半监督场景可通过监控训练动态检测投毒（Carlini, 2021）（§6）。
   • 扩展到更广的自监督学习：作者希望未来工作把多模态对比学习的分析扩展到自监督学习整体（§6）。
   • 复现成本：作者称训练单个 CLIP 模型在 CC3M 上约需 100 GPU 小时、YFCC 上约 600 GPU 小时，计算资源使论文难以完整复现（Reproducibility Statement）。

   实验覆盖范围

   • 被测模型为 CLIP 的开源实现（ResNet-50 + Transformer），模型规模消融覆盖 1M–30M 参数（§4.1、§5.1.2）。
   • 数据集为 Conceptual Captions-3M 与 YFCC 15M 子集，下游评测用 ImageNet 零样本分类与线性探针（§4.1）。
   • 后门触发器仅评测棋盘格 patch，大小 2×2 至 32×32，放置方式分 consistent 与 random（§3.3、§5.1.3）。
   • 重复次数：投毒实验 32 个模型，后门实验每配置 32 个模型，消融每数据点 8 个模型（§4.2、§4.3、§5.1）。
   • 论文未报告对任何防御方法的评测；防御仅作为未来方向讨论（§6）。

   收起这一问

6. 06总结一下论文的主要内容

   作者称对未过滤互联网数据训练的对比学习模型，0.01% 投毒即可后门、0.0001% 即可定向投毒。

   一篇针对多模态对比学习的数据投毒与后门攻击论文（ICLR 2022），研究在未经人工过滤的互联网抓取数据上训练的 CLIP 类模型。

   • 问题：这类模型的训练数据直接抓取自互联网、无人审核，作者认为攻击者混入恶意样本的可能性高；而既有后门攻击平均需投毒约 1% 数据，对该规模数据集不现实。
   • 方法：把目标图像（或叠加棋盘格触发器的多张图像）与目标标签相关 caption 配成图文对注入训练集；用多样 caption 集促使模型修改图像编码器而非文本编码器；caption 可来自训练集检索或 CLIP 的 80 个零样本提示词模板。
   • 结果一（投毒）：在 CC3M 上投毒 3/3M 样本（0.0001%），零样本分类攻击成功率 40%；YFCC 15M 中投毒 15 张成功率 20%（§4.2）。
   • 结果二（后门）：0.01% 投毒比例下零样本分类器后门攻击成功率 50%；加触发器图像对的嵌入相似度达 0.78，自然图像约 0.1（§4.3、Figure 3）。
   • 结果三（规模）：固定 300 投毒样本时，数据集从 5 万增至 300 万成功率不变；30M 参数模型 z-score 稳定在 5.1–5.9，1M 参数模型从未被成功后门（Figure 5）。
   • 作者结论：训练于未过滤数据使投毒风险加剧，扩大数据集规模不能阻止攻击；作者认为开发过滤投毒样本的防御、并把分析扩展到更广的自监督学习是重要的未来方向。

   收起这一问

相关论文