跳到正文
原文

视觉语言模型的后门缓解效果取决于预训练目标

Effective Backdoor Mitigation in Vision-Language Models Depends on the Pre-training Objective

arXiv· arXiv:2311.14948· Sahil Verma, Gantavya Bhatt, Avi Schwarzschild, Soumye Singhal, Arnav Mohanty Das, Chirag Shah, John P Dickerson, Pin-Yu Chen, Jeff BilmesUniversity of Washington; Carnegie Mellon University; Nvidia; University of Maryland; IBM Research本站收录· 20 天前· 原文发表防御

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者称后门清除方法 CleanCLIP 的效果依赖预训练目标:对 MMCL+SSL 预训练的 CLIP 模型,清洗后精度相对下降最高 45%。

威胁模型攻击者在多模态预训练数据中注入少量带触发器的投毒样本(BadNet 或 label-consistent,占 0.05%),使模型对带触发器的图像输出目标标签;防御方拿到已中毒模型,用 CleanCLIP 在小型(基本)干净数据集上微调去毒,成功标准为 ASR ≤ 5% 且零样本精度不降。

问题
多模态模型用网络抓取数据预训练,易被投毒后门;SOTA 去毒方法 CleanCLIP 此前只在 MMCL 目标预训练的模型上验证过,作者问它对更强的预训练目标是否仍有效。
方法
在 CC3M/CC6M 上分别用 MMCL 与 MMCL+SSL 两种目标预训练并投毒 CLIP 模型,再用 CleanCLIP 微调清洗,比较清洗后的零样本精度与 ASR,并做停止准则、非理想清洗数据及多种替代去毒手段的分析。
实验与结果
作者报告:MMCL 预训练模型清洗后精度基本保持,而 MMCL+SSL 模型在 CC6M 上相对损失 45% 精度才能降到 ASR ≤ 5%;清洗数据混入 5 条投毒样本即削弱清洗,深度聚类、重正则化、shrink-and-perturb 均未能去毒。
局限与可以继续做的
作者称从强目标模型去毒仍是开放问题,建议未来防御在多种预训练目标下测试;实验限于 CLIP 类双编码器(ResNet-50 与 ViT)、BadNet 与 label-consistent 两种后门、CC3M/CC6M 数据与 Imagenet 零样本评测。
实验设置CLIP (ResNet-50) pre-trained with MMCL objective、CLIP (ResNet-50) pre-trained with MMCL + SSL objective 等 · CC3M、CC6M 等 · ASR、Top-1 zero-shot Imagenet accuracy
被测模型
CLIP (ResNet-50) pre-trained with MMCL objectiveCLIP (ResNet-50) pre-trained with MMCL + SSL objectivePre-trained CLIP (Radford et al., 2019) finetuned with MMCL objectivePre-trained CLIP (Radford et al., 2019) finetuned with MMCL + SSL objectiveViT model pre-trained with MMCL objectiveViT model pre-trained with MMCL + SSL objective
基准
CC3MCC6MImagenet-1K validation set
指标
ASRTop-1 zero-shot Imagenet accuracy
AI 导读论文发现视觉语言模型的后门缓解效果取决于预训练目标,越强的预训练目标带来更高的零样本分类性能,也使后门行为更难清除。作者在 CC3M(300 万)和 CC6M(600 万)数据点上以多种预训练目标训练多模态模型,再用 CleanCLIP 移除投毒,发现即使大量调整超参数,CleanCLIP 在更强预训练目标下也无法有效清除投毒。CleanCLIP 是当前最先进的多模态后门缓解方法,作者指出这一发现对使用大规模网络采集数据训练模型、担心后门威胁的从业者有重要参考意义。

论文发现视觉语言模型的后门缓解效果取决于预训练目标,越强的预训练目标带来更高的零样本分类性能,也使后门行为更难清除。作者在 CC3M(300 万)和 CC6M(600 万)数据点上以多种预训练目标训练多模态模型,再用 CleanCLIP 移除投毒,发现即使大量调整超参数,CleanCLIP 在更强预训练目标下也无法有效清除投毒。CleanCLIP 是当前最先进的多模态后门缓解方法,作者指出这一发现对使用大规模网络采集数据训练模型、担心后门威胁的从业者有重要参考意义。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者考察 SOTA 后门清除方法 CleanCLIP 在更强预训练目标下是否仍有效,结论是否定的。

    核心问题:多模态模型的 SOTA 后门清除方法 CleanCLIP,其去毒效果是否依赖模型的预训练目标。

    • 场景与重要性:CLIP 类多模态模型用互联网抓取的大规模图文对预训练,数据可能藏有后门;作者称投毒 75/300 万条即可达到 ASR ≥ 80%(引 Carlini & Terzis, 2021),而已训练模型被发现中毒后重训代价高,需要事后去毒。
    • 现有方法不足:作者称 CleanCLIP 是唯一能清除已训练模型后门的方法(其他防御都是训练时干预),但它此前只在仅用 MMCL 目标预训练的模型上验证过有效。
    • 核心观察:作者观察到加入自监督损失(SSL)的更强预训练目标在提高零样本精度的同时,与更难去除的后门行为相关。
    • 论文贡献:在 CC3M/CC6M 上用不同预训练目标训练并投毒模型,再用 CleanCLIP 清洗,系统比较去毒效果,并分析停止准则、非理想清洗数据等实际条件。
    • 威胁模型:
      • 攻击者目标:在训练数据中注入带触发器的样本,使模型对带触发器的图像预测目标标签("banana")。
      • 攻击方式:BadNet(改 caption 为目标标签)与 label-consistent(只给原本含目标标签的图像加触发器)两种投毒,占训练数据 0.05%。
      • 防御方能力:拿到已中毒模型,用 CleanCLIP 在 100K 干净(或含少量投毒)图文对上微调去毒。
      • 受害系统与成功判定:CLIP 类双编码器模型;清洗成功定义为 ASR ≤ 5% 且零样本精度不降。
  2. 有哪些相关研究?

    相关工作分对比学习、后门攻击与防御两组;本文定位是检验 CleanCLIP 在不同预训练目标下的适用性。

    对比学习与多模态预训练

    • 对比学习基础:Bromley et al. (1993)、Chopra et al. (2005)、Hadsell et al. (2006) 奠基,后续有 CPC、DCL、SimCLR、NNCLR 等,核心是让相似样本在表示空间靠近、不相似样本远离。
    • CLIP 及其扩展:Radford et al. (2021) 提出双编码器 CLIP;Jia et al. (2021a) 扩展到十亿级噪声数据。
    • 改进零样本精度的目标:CyCLIP(一致性正则)、SLIP(图像模态内自监督)、UniCLIP(统一框架)、DeCLIP(kNN 增强)、FILIP(细粒度 token 表示)、CoCa(额外 captioning 损失)。这些工作的共同点是在损失中加入 SSL 成分。

    后门攻击

    • 经典触发器攻击:Gu et al. (2017) BadNet、Turner et al. (2019)、Souri et al. (2022),在少量训练样本中加触发器使模型在测试时对触发样本误分类。
    • 多模态与自监督场景:Saha et al. (2022) 研究自监督学习后门;Carlini & Terzis (2021)、Carlini et al. (2023) 称投毒低至 0.002% 的训练数据即可影响模型;Bansal et al. (2023) 针对 CLIP 投毒。本文只关注 CLIP 类多模态模型的投毒。

    后门防御

    • 检测类:Steinhardt et al. (2017)、Gao et al. (2019)、Wang et al. (2019)、Yang et al. (2022)、Li et al. (2021b)、Yang et al. (2023; 2024) 等识别并过滤投毒样本;作者引 Carlini & Terzis (2021)、Carlini et al. (2023) 称极低投毒比例下检测类方法在多模态预训练中的效果不确定。
    • 其他路线:知识蒸馏(Yoshida & Fujino, 2020)、数据增强鲁棒训练(Borgnia et al., 2021)。
    • CleanCLIP(基线):Bansal et al. (2023) 提出,用 MMCL+SSL 组合损失在保证干净的小数据集上微调中毒模型,作者称其为当前 SOTA,可将 ASR 降到 ≤ 5% 且不损零样本精度。

    本文定位

    作者称 CleanCLIP 是唯一能清除已训练模型后门的方法(Yang et al. 2023; 2024、Ishmam & Thomas 2024 均为训练时干预,不适用已中毒模型),因此选择研究它;本文考察其在不同预训练目标、清洗数据不完全干净、不知具体攻击方式时的有效性。

  3. 论文如何解决这个问题?

    用两种预训练目标分别训练并投毒 CLIP 模型,再用 CleanCLIP 清洗,比较精度与 ASR 的变化。

    整体思路:控制变量地比较 CleanCLIP 在两种预训练目标(仅 MMCL vs. MMCL+SSL)下的去毒效果,流程为投毒 → 按目标预训练/微调诱导后门 → CleanCLIP 微调清洗(Figure 1)。

    问题设定与形式化

    • 记号:预训练集 Dpre(N 对图文)、清洗集 Dclean(M 对,M << N);图像编码器 hI、文本编码器 hT,嵌入经 ℓ2 归一化;τ 为可学习温度。
    • 多模态对比损失:LMMCL 为标准的图文双向对比损失(式 1),拉近匹配的图文对、推开不匹配对。
    • 模态内自监督损失:LSSL 在图像和文本各自模态内对增强样本做对比(式 2)。CleanCLIP 的清洗目标为 LCleanCLIP(Dclean) ≜ LSSL(Dclean) + LMMCL(Dclean)。

    预训练与投毒

    • 模型与数据:ResNet-50 视觉编码器 + transformer 文本编码器(另做 ViT 骨干实验);在 CC3M(300 万对)和 CC6M(600 万对,取自 CC12M)上训练,8 张 A100 训练 64 epoch,AdamW、10,000 warmup;从头训练 lr=1e-3,从预训练检查点微调 lr=5e-7;MMCL 批大小 256,MMCL+SSL 批大小 128。
    • 投毒:沿用 CleanCLIP 设置,加 BadNet 触发器(16×16 高斯噪声块,随机位置)并把 caption 改为目标标签;CC3M 投毒 1,500 条、CC6M 投毒 3,000 条(0.05%);另有 label-consistent 变体(只给 caption 含目标标签的图加触发器,不改标签)。
    • 诱导方式:从头训练投毒,或从预训练 CLIP 检查点(Radford et al., 2019)微调投毒。

    清洗流程

    • CleanCLIP 清洗:在 100K 干净图文对上微调 20 epoch(批大小 128,AdamW),比较三种清洗损失:LfMMCL、LfSSL、LfMMCL+LfSSL(即 CleanCLIP);做超参数搜索,学习率最多用 14 个(附录 D 给出各实验完整学习率列表)。
    • 成功判定:清洗后模型 ASR ≤ 5% 视为清洗成功,同时希望保持原始零样本精度。

    评测方式

    • 零样本精度:Imagenet-1K 验证集 Top-1,每类用 80 个文本模板(附录 C)生成平均文本嵌入,按余弦相似度分类。
    • ASR:给全部 Imagenet 验证集图像加触发器,预测为目标类 "banana" 的比例;每个清洗 epoch 末都测一次。

    分析实验设计

    • 不同清洗目标:给 MMCL+SSL 预训练模型清洗时加入深度聚类损失 LfDeepClust(式 3,用 SigLIP ViT-L/14 或 FAISS 聚类生成伪标签),检验"预训练与清洗目标相同是否导致失败"。
    • 其他去毒手段:重正则化(Zhu et al., 2023,9 个正则权重 × 8 个学习率)、shrink-and-perturb(Ash & Adams, 2020,5 个 σ × 15 个 λ)。
    • 消融:清洗数据量翻倍(200K)、清洗 epoch 增至 50/100、SSL 权重加大(2/4/6/8)。
  4. 论文做了哪些实验?

    MMCL 模型清洗后精度保持,MMCL+SSL 模型在 CC6M 上相对损失 45% 精度才能降到 ASR ≤ 5%。

    实验设置

    • 被测模型:CLIP 双编码器,ResNet-50 视觉编码器 + transformer 文本编码器;另做 ViT 骨干实验(Figure 4)。
    • 数据集:CC3M(300 万图文对)、CC6M(600 万对);评测用 Imagenet-1K 验证集。
    • 投毒:BadNet 与 label-consistent 两种;投毒比例 0.05%(CC3M 1,500 条、CC6M 3,000 条)。
    • 清洗:CleanCLIP(LfMMCL+LfSSL)在 100K 干净图文对上微调 20 epoch;学习率搜索最多 14 个值(附录 D)。
    • 指标:Top-1 零样本 Imagenet 精度、ASR;清洗成功 = ASR ≤ 5%。
    • 重复次数:论文未报告重复实验次数。

    主结果

    从头训练 + BadNet 投毒,CleanCLIP 清洗后精度(取 ASR ≤ 5% 中精度最高者,据 Table 2):

    表格较宽,可左右滑动

    数据集预训练目标原始精度清洗后精度
    CC3MMMCL16.00%16.49%
    CC3MMMCL+SSL17.04%14.16%
    CC6MMMCL23.76%24.04%
    CC6MMMCL+SSL23.86%13.05%
    • 作者称 MMCL 预训练模型清洗后精度保持甚至略升,而 MMCL+SSL 模型相对原始精度损失约 20%(CC3M)和 45%(CC6M)。
    • 所有从头训练模型投毒后 ASR 均超过 99%(Table 3:CC6M 上 MMCL 99.98%、MMCL+SSL 99.45%)。
    • Figure 2(CC6M 散点图):左图(MMCL)有多个模型进入高精度低 ASR 区域,右图(MMCL+SSL)没有;LfMMCL 与 LfSSL 单独使用对两种目标都不是有效清洗损失。

    微调诱导投毒与 ViT 骨干

    • 从预训练检查点微调投毒(CC6M):投毒后精度约 60%(MMCL 60.30%、ASR 99.20%;MMCL+SSL 59.81%、ASR 90.24%,Table 3);CleanCLIP 清洗后两者都要损失精度才能降到 ASR ≤ 5%,MMCL 损失 17%、MMCL+SSL 损失 33%(Figure 3)。
    • ViT 骨干(CC6M 从头训练):两种目标清洗后都无法保持原始精度,MMCL 损失 30%、MMCL+SSL 损失 41%(Figure 4);作者称强目标的损失仍更大。
    • label-consistent 投毒(CC6M):MMCL 模型清洗后精度相对提升 10%,MMCL+SSL 模型相对损失 16%(附录 F、Figure 12)。

    停止准则与非理想清洗数据

    • 清洗轨迹(Figure 5):MMCL 模型的三条不同学习率轨迹平滑收敛到高精度低 ASR 区域;MMCL+SSL 模型的成功清洗点出现在轨迹中间,继续微调会同时损失精度和升高 ASR,作者称实践中难以决定何时停止。
    • 清洗数据含投毒(Figure 6、Figure 11):100K 清洗数据中混入 5 或 10 条投毒样本(仍比训练数据干净 10×/5×);MMCL 模型清洗后保持精度但 ASR 约 30–50%;MMCL+SSL 模型在 CC6M 上要损失约 80% 原始精度才能到 ASR ≤ 5%,CC3M 上没有任何模型 ASR 低于 90%。

    替代去毒手段(均针对 CC6M 上 MMCL+SSL 预训练模型)

    • 深度聚类目标:LfMMCL+LfSSL+LfDeepClust(伪标签来自 SigLIP ViT-L/14 或 FAISS 聚类)无法成功去毒(Figure 7);作者据此认为失败原因不是预训练与清洗目标相同,而是更强的投毒诱导。
    • 重正则化:9 个正则权重 × 8 个学习率,无组合能成功去毒(Figure 8)。
    • shrink-and-perturb:5 个 σ × 15 个 λ(附录 D.13 列了 17 个 λ 值),选 ASR < 15% 中精度最高的模型再清洗,仍无法去毒(Figure 9)。

    其他消融与分析

    • 清洗数据翻倍到 200K:仍无效,要损失约 90% 原始精度才能到 ASR ≤ 5%(附录 G、Figure 13)。
    • 清洗 epoch 增至 100:仍无效,损失约 24% 原始精度到 ASR ≤ 5%(附录 H、Figure 14)。
    • SSL 权重 2/4/6/8:均无法成功清洗,Pareto 前沿无明确趋势(附录 I、Figure 15)。
    • 作者称这些负面结果表明强目标诱导的后门更难去除,是开放研究问题。
  5. 有什么可以进一步探索的点?

    作者称强目标模型去毒是开放问题,呼吁未来防御在多种预训练目标下测试;实验限于两种骨干与两种后门。

    作者指出的局限与后续方向

    • 开放问题:从 MMCL+SSL 等强目标预训练的模型中去除强诱导后门仍是开放研究问题(第 5 节 Takeaways、第 6 节)。
    • 对防御研究的呼吁:作者鼓励未来防御方法在多种预训练目标下做鲁棒性测试,并邀请社区开发更鲁棒的防御方法(第 6 节)。
    • 对实践者的建议:作者建议用网络数据训练模型时考虑只用 MMCL 目标,以便后续可用 CleanCLIP 清洗,即使精度略有损失(第 5 节 Takeaways、第 6 节)。
    • CleanCLIP 假设的脆弱性:作者指出 CleanCLIP 依赖清洗数据完全无投毒这一假设在实践中难以满足(第 6 节)。
    • 停止准则困难:强目标模型清洗轨迹不稳定,实践者不知具体攻击方式时难以决定何时停止微调(第 4 节、第 6 节)。

    实验覆盖范围

    • 被测模型为 CLIP 类双编码器:ResNet-50 视觉编码器 + transformer 文本编码器为主,另有一组 ViT 骨干实验(Figure 4)。
    • 后门类型覆盖 BadNet 与 label-consistent 两种,目标标签为 "banana",投毒比例 0.05%。
    • 预训练目标覆盖 MMCL 与 MMCL+SSL 两种;数据集为 CC3M 与 CC6M;评测为 Imagenet-1K 零样本 Top-1 精度与 ASR。
    • 替代去毒手段评测了深度聚类目标、重正则化、shrink-and-perturb 三种;消融覆盖清洗数据量(100K/200K)、清洗 epoch(20/50/100)、SSL 权重(1/2/4/6/8)。
    • 论文未报告重复实验次数与结果的方差;非理想清洗数据实验只测了 5 条和 10 条投毒两档。
  6. 总结一下论文的主要内容

    作者称 CleanCLIP 的去毒能力依赖预训练目标,对 MMCL+SSL 强目标训练的模型清洗失败或代价大。

    一篇关于多模态模型后门防御的分析型论文,研究 SOTA 去毒方法 CleanCLIP 的适用边界。

    • 问题:CLIP 类模型用网络数据预训练易被投毒后门;CleanCLIP 此前只在 MMCL 目标预训练模型上验证有效,而更强的 MMCL+SSL 目标(如 SLIP)正被广泛使用。
    • 方法:在 CC3M/CC6M 上用 MMCL 与 MMCL+SSL 两种目标训练并投毒 CLIP 模型(BadNet 与 label-consistent,0.05% 投毒),再用 CleanCLIP 在 100K 干净数据上微调清洗,比较零样本精度与 ASR。
    • 主结果:从头训练 + BadNet 时,MMCL 模型清洗后精度保持(CC6M 上 23.76% → 24.04%),MMCL+SSL 模型要相对损失 45% 精度(23.86% → 13.05%)才能降到 ASR ≤ 5%(Table 2)。
    • 其他结果:从预训练检查点微调投毒时两者都受损,MMCL 损失 17%、MMCL+SSL 损失 33%(Figure 3);ViT 骨干上分别损失 30% 与 41%(Figure 4);清洗数据混入 5 条投毒即削弱两种目标的清洗效果,强目标更甚(Figure 6)。
    • 分析:深度聚类目标、重正则化、shrink-and-perturb 及加大数据量、延长训练、调 SSL 权重均无法去除强目标诱导的后门;作者据此认为原因在于更强的投毒诱导而非目标一致性。
    • 作者结论:建议实践者考虑只用 MMCL 目标训练以便事后清洗;称强目标模型去毒是开放问题,呼吁未来防御在多种预训练目标下测试。

相关论文

共同使用 CC3M
阅读原文arxiv.org