GARD：针对多模态对比学习模型后门的梯度引导对抗表示防御

1. 01这篇论文试图解决什么问题？

   如何在不估计攻击目标、不还原触发器的前提下，post-hoc 清除 CLIP 类模型中结构各异的后门。

   核心问题：如何在不知道触发器和攻击目标的情况下，对多模态对比学习（MCL）模型做 post-hoc 后门净化。

   • 场景与重要性：CLIP 等 MCL 模型通过图文对齐学习可迁移表示，被广泛用于下游视觉-语言应用；作者称少量投毒图文对即可把图像触发器与攻击者指定的文本概念关联起来，且这种后门破坏的是视觉与文本表示之间的语义对齐，而非单纯的决策边界。
   • 现有方法的不足（按论文说法）：干净数据微调对触发器诱发的行为监督有限，可能无法移除隐藏的后门关联；触发器反演方法依赖准确的目标估计和对触发器结构的假设，而随着攻击转向结构多样的优化触发器（局部 patch、全局分布式扰动），这一局限愈发突出。
   • 核心观察：作者发现被植入后门的编码器表现出结构依赖的表示敏感性——全局扰动更能暴露分布式后门，局部 patch 扰动更能暴露局部后门（Figure 2），且这种脆弱性无需访问真实触发器或攻击目标即可探测（Figure 3）。
   • 论文提出的方法：GARD（Gradient-Guided Adversarial Representation Defense），一种 target- and trigger-agnostic 的 post-hoc 防御：优化互补的全局与局部对抗探针最大化扰动干净图像表示，再将扰动表示与 detach 的干净锚点重对齐，同时保持图文对齐；推理阶段无额外计算。
   • 威胁模型：
     • 防御设定：post-hoc，防御者只有被植入后门的模型和一个小规模干净图文数据集 Dc；投毒训练数据、触发器、目标类别均不可用。
     • 攻击侧（被防御对象）：在训练中植入后门的攻击者，使含触发器的图像被关联到攻击者指定的目标语义。
     • 受害系统：OpenAI CLIP（ViT-B/32 与 RN50 视觉编码器）。
     • 自适应攻击评估中：攻击者知道 GARD 的扰动生成过程、训练目标和超参数。

   收起这一问

2. 02有哪些相关研究？

   相关工作分两类：针对视觉-语言表示的后门攻击，以及检测、预训练、post-hoc 净化三条防御路线。

   针对视觉-语言表示的后门攻击

   • 早期投毒攻击：BadNets [11]、Blended [4]、SIG [2] 等经典触发器被引入 MCL 场景；早期研究 [1, 15] 显示少量投毒图文对形成的关联可在下游任务和零样本分类器上存活。
   • 优化触发器攻击：BadCLIP [18] 联合优化视觉触发器与目标侧视觉、文本嵌入；BadVision [19] 用不可察觉的全局分布式扰动攻陷可复用视觉编码器；BadEncoder [15] 针对自监督预训练编码器。论文称这些工作把触发器空间从固定 patch 扩展到优化的局部或分布式扰动，促使防御不再假设特定触发器几何形状。

   MCL 模型的后门防御

   • 检测与预训练防御：DECREE [10] 检测被攻陷的编码器但不修复；SAFE-CLIP [27] 在预训练中区分干净与可疑图文对，只对渐进扩大的安全子集做跨模态学习——论文指出该设定预设了对原始训练过程的控制。
   • post-hoc 净化：CleanCLIP [1] 等用干净数据微调和对抗增强净化；InverTune [26] 生成通用对抗扰动估计攻击目标、重建潜在触发器并做聚类引导净化——论文指出其净化信号依赖目标估计与触发器反演；表示分解分析 [13] 显示局部 patch 与全局扰动攻击影响 CLIP 的不同组件，支持组件级修复或推理时过滤。

   基线与基准

   • 基线方法：FT、CleanCLIP [1]、PAR [25]、InverTune [26]，以及无防御的被后门模型；攻击覆盖 BadNets、Blended、SIG、BadEncoder、BadCLIP、BadVision 六种。
   • 评测数据：ImageNet-1K 零样本分类（CA 与 ASR），防御训练使用 CC3M 或 ImageNet 子集。

   作者将 GARD 定位为 post-hoc 防御：不把对抗-后门关联本身当作贡献，而是用 target-free 的对抗优化在互补的全局与局部扰动空间探测被攻陷编码器，并将两种对抗表示直接重对齐到干净语义锚点，从而不需要目标估计或触发器还原。

   收起这一问

3. 03论文如何解决这个问题？

   GARD 交替进行全局/局部对抗探测与以干净表示为锚点的重对齐，无需目标估计或触发器反演。

   整体思路：GARD 把后门净化形式化为"trigger-agnostic 对抗探测 + 表示重对齐"——先用互补的全局与局部扰动最大化扰动干净图像的表示，暴露后门诱发的脆弱方向，再把扰动表示拉回 detach 的干净锚点，同时用标准对比损失保持干净图文对齐。

   问题设定

   • MCL 模型由图像编码器 fθ 和文本编码器 gϕ 组成，图像 x 与文本 t 映射到共享 d 维空间并做 ℓ2 归一化，跨模态匹配用余弦相似度。
   • post-hoc 设定：防御者仅有被后门模型和小规模干净图文数据集 Dc = {(xi, ti)}；目标是消除后门并保持干净效用。

   预备研究（动机）

   • 用 256 张非目标 ImageNet 图像探测两个被后门的 ViT-B/32 编码器（BadVision 全局触发器、BadCLIP 局部 16×16 触发器）：分别优化 ℓ∞ 有界全局扰动和居中 32×32 替换 patch，均最大化与干净表示的偏差，不使用攻击目标或真实触发器。
   • 观察 1（Figure 2）：BadVision 在全局扰动下目标类概率提升 30.61 个百分点、局部仅 0.03；BadCLIP 相反，局部提升 3.43 个百分点、全局仅 0.11。
   • 观察 2（Figure 3）：替代 patch 的位置与尺寸均与真实触发器不同，仍使植入目标成为 1,000 个 ImageNet 类中平均概率增幅最大的类；作者据此认为暴露局部后门脆弱性不需要触发器图案、位置或尺度的精确知识。

   对抗探测模块

   • 全局扰动：δ^⋆ = argmax_{|δ|∞ ≤ ϵ} 1 − sim(f̄_θ(x+δ), f̄_θ(x))，即在 ℓ∞ 预算内最大化扰动图像与干净图像的表示偏差，用投影符号梯度近似求解；默认 ϵ = 8/255、步长 1/255、6 步。
   • 局部 patch 扰动：p^⋆ = argmax_p 1 − sim(f̄_θ(P(x,p,ℓ)), f̄_θ(x))，把可学习 patch 贴在位置 ℓ 并最大化表示偏差；默认 32×32 居中 patch、步长 0.1、6 步。论文强调两者都不试图还原触发器，只搜索表示偏差最大的方向。

   表示重对齐与训练

   • 三项损失：干净图文双向对比损失 Lcm（保持视觉-语言能力）；对每种扰动 q ∈ {g, p} 的表示对齐损失 Lq，把扰动图像表示对齐到 sg[·]（stop-gradient）的干净表示锚点。
   • 总目标 LGARD = λcm Lcm + λg Lg + λp Lp；默认 λcm = 1.0、λg = λp = 0.8。
   • 训练在扰动生成与表示重对齐之间交替，10 个 epoch、batch size 64、学习率 4.5×10⁻⁶；净化后的模型直接用于推理，无额外测试时计算。

   成功判定

   • 指标为 ImageNet-1K 上的 CA（干净图像 top-1 零样本准确率）和 ASR（被触发非目标图像被分类为攻击目标的比例，真类已是目标的图像被排除）。

   收起这一问

4. 04论文做了哪些实验？

   6 种攻击 × 2 种骨干上 GARD 将 ASR 全部降至 1% 以下，并通过匹配数据、自适应攻击、消融和表示分析验证。

   实验设置

   • 被测模型：OpenAI CLIP 的 ViT-B/32 与 RN50 两种视觉编码器（被后门后被净化，逐模型报告结果）。
   • 攻击：BadNets、Blended、SIG、BadEncoder、BadCLIP、BadVision，覆盖手工 patch、混合与信号触发器、优化触发器；BadNets/Blended/SIG/BadCLIP 在 500K CC3M 对上投毒 1,500 对（0.3%），BadEncoder/BadVision 在 VOC 上构建。
   • 基线：FT、CleanCLIP、PAR、InverTune 及无防御模型；每种防御独立应用于同一被后门检查点。
   • 防御数据：FT/CleanCLIP/PAR 用 500K CC3M 图文对，InverTune 用 50K ImageNet 样本，GARD 用 20K 类平衡 ImageNet 子集（每类 20 张）；FT/CleanCLIP/PAR/GARD 训练 10 epoch，InverTune 按其多阶段流程。
   • 指标：CA（ImageNet-1K 干净 top-1 零样本准确率）与 ASR（触发非目标图像被判为目标类的比例）。
   • 重复次数：论文未报告。

   主结果

   据 Table 1（CA % / ASR %）：

   表格较宽，可左右滑动

   骨干	方法	BadNets	Blended	SIG	BadEncoder	BadCLIP	BadVision
   ViT-B/32	No Defense	60.03/99.92	60.18/99.86	60.08/99.55	62.94/99.38	60.58/99.94	61.30/99.56
   ViT-B/32	InverTune	57.29/6.10	58.33/1.98	58.57/9.91	58.61/0.49	57.98/4.70	57.15/55.70
   ViT-B/32	GARD	59.36/0.10	59.23/0.01	57.61/0.88	61.66/0.05	61.01/0.82	60.39/0.63
   RN50	No Defense	58.94/99.47	58.99/99.20	59.11/98.22	57.23/98.01	58.35/99.38	51.16/84.71
   RN50	InverTune	51.27/5.61	51.12/0.08	50.82/4.86	51.01/1.04	54.71/6.06	51.83/33.45
   RN50	GARD	53.35/0.11	52.79/0.03	53.44/0.45	55.76/0.01	54.88/0.03	53.97/0.05

   （省略 FT、CleanCLIP、PAR 三行；其中 FT 在 ViT-B/32 BadCLIP 上 ASR 89.61%，为所有防御中最差。）

   • 作者称 GARD 是唯一在全部 12 种攻击-骨干组合上把 ASR 降至 1% 以下的防御，而每个基线都至少在一个攻击上失效。
   • 作者称 GARD 的 CA 接近无防御模型，在效用与后门消除之间取得平衡。

   匹配防御数据对照

   • 测了什么：用与 GARD 相同的 20K 类平衡 ImageNet 子集重跑 FT、CleanCLIP、PAR、InverTune（ViT-B/32）。
   • 结果（Table 2）：GARD 的 ASR 与主实验相同（0.01%–0.88%）；FT/CleanCLIP/PAR 在 BadNets、BadCLIP、BadVision 上 ASR 仍高于 77%，InverTune 在 BadVision 上为 52.16%。
   • 作者解读：这些基线的有效性依赖更大的干净数据集合，而 GARD 用有限的干净数据预算即可移除多种后门。

   自适应攻击评估

   • 测了什么：两种知道 GARD 全部机制的自适应攻击——Adap-1（模拟净化，每 5 步对一个副本施加 2 次 GARD 更新并保持后门有效）和 Adap-2（防御信号规避，最小化 GARD 探测产生的表示偏差），施加于 ViT-B/32 上的 BadCLIP 与 BadVision。
   • 结果（Table 3）：攻击前 ASR 97.01%–99.84%；经完整 GARD 防御后四种设置 ASR 均低于 1%（0.01%–0.76%），CA 60.93%–62.59%。
   • 作者解读：作者认为这种鲁棒性源于 GARD 在净化过程中持续探测并压制后门行为，而非依赖固定触发器图案。

   表示重对齐可视化

   • 测了什么：t-SNE 投影配对干净/触发图像表示，并在原始归一化特征空间计算均值欧氏距离 d 与余弦相似度 cos。
   • 结果（Figure 4）：防御前干净与触发表示形成明显分开的区域；GARD 后 BadVision 的 d 从 0.946 降至 0.588、cos 从 0.548 升至 0.817，BadCLIP 的 d 从 1.174 降至 0.107、cos 从 0.309 升至 0.993；作者指出 BadVision 的残余偏差更大。
   • 附录 B（Figure B1）覆盖全部六种攻击：BadNets、BadEncoder、BadCLIP 恢复明显，Blended 与 SIG 未完全恢复到干净模型统计量。

   其他消融与分析

   • 训练目标消融（Table 4，ViT-B/32）：仅 Lcm 的 Base 变体在 BadCLIP/BadVision 上 ASR 99.90%/73.87%；去掉全局对齐后 BadVision ASR 升至 36.63%；去掉局部对齐后 BadCLIP ASR 升至 99.84%；Full GARD 两者均低于 1%。
   • 扰动参数敏感性（Table 5）：BadVision 上 ϵ 从 2/255 到 16/255，ASR 0.65%–0.05%；BadCLIP 上 s=16 时 ASR 6.64%，s ≥ 24 均低于 1%。
   • 干净数据规模（Table 6）：1K→20K 时 BadCLIP ASR 从 14.62% 降至 0.82%，BadVision 从 87.59% 降至 0.63%。
   • 防御数据污染（Table G6，BadCLIP）：混入 1 张投毒图 ASR 即升至 19.03%，2 张 68.68%，100 张 99.95%，CA 保持在 60–61%。
   • 无目标类干净图像（Table H7）：移除目标类 20 张图像后 BadCLIP ASR 0.03%、CA 60.02%。
   • 图文检索（Table C4，20K CC3M）：GARD 在六种攻击中四种上 ASR 最低（BadNets 0.66%、Blended 0.01%、BadCLIP 1.88%、BadVision 0.02%），SIG 为 2.56%。
   • 对比 PGD 对抗训练（Table D5）：CLIP 适配的 PGD-AT 干净准确率一致更低（如 ViT-B/32 BadNets CA 49.73% vs GARD 59.36%），且在 BadNets（52.87%）与 BadCLIP（14.80%）上 ASR 仍高。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者报告防御集污染会使保护迅速退化；实验覆盖两种 CLIP 骨干、六种攻击和两种评测任务。

   作者指出的局限与后续方向

   • 防御数据污染敏感（附录 G）：在 20K 干净防御集中混入投毒图像时，GARD 的保护随污染增加迅速退化（BadCLIP 上 1 张投毒图 ASR 即升至 19.03%，2 张 68.68%）；作者据此指出 GARD 需要保持防御集干净，但只需一小批干净图像而非大规模数据集。
   • 干净数据规模影响（第 5.6 节）：后门移除效果随干净数据增多持续提升，作者认为充足的干净数据覆盖对不同触发器结构下的有效防御很重要。
   • 部分攻击表示未完全恢复（附录 B）：对 Blended 与 SIG，GARD 大幅减小了干净与触发表示的偏差，但未完全恢复到干净模型的统计量；BadVision 的残余偏差也大于其他攻击。
   • 论文没有专门的 Limitations 小节，未在 Conclusion 中列出后续研究方向。

   实验覆盖范围

   • 被测模型为 OpenAI CLIP 的 ViT-B/32 与 RN50 两种视觉编码器（第 5.1 节）。
   • 攻击覆盖六种：BadNets、Blended、SIG、BadEncoder、BadCLIP、BadVision；自适应攻击仅在 ViT-B/32 的 BadCLIP 与 BadVision 上评估（第 5.4 节）。
   • 评测任务为 ImageNet-1K 零样本分类（CA/ASR）和图文检索（附录 C，20K CC3M 对）。
   • 防御数据为 20K 类平衡 ImageNet 子集（主实验）及 1K/5K/10K 变体；论文未报告实验重复次数。
   • 运行时间在单张 RTX 4090 上测量：GARD 42.50 分钟，InverTune 93.11 分钟，PAR 148.41 分钟，CleanCLIP 215.44 分钟（附录 I）。

   收起这一问

6. 06总结一下论文的主要内容

   GARD 用互补对抗探针加干净锚点重对齐做 trigger-agnostic 后门净化，12 种组合 ASR 均低于 1%。

   一篇针对多模态对比学习模型的 post-hoc 后门防御论文。

   • 问题：CLIP 类 MCL 模型可被结构多样的触发器（局部 patch 到全局分布式扰动）植入后门；作者认为干净微调可能残留后门，触发器反演方法依赖准确的目标估计与触发器结构假设。
   • 核心观察：被后门编码器的表示敏感性依赖触发器结构——BadVision 在全局扰动下目标类概率提升 30.61 个百分点而局部仅 0.03，BadCLIP 相反（Figure 2）；且无需真实触发器或目标即可探测（Figure 3）。
   • 方法：GARD 交替进行全局 ℓ∞ 扰动与局部可学习 patch 两种对抗探测（最大化与干净表示的偏差），再把扰动表示重对齐到 stop-gradient 的干净锚点，同时用双向对比损失保持图文对齐；默认 20K 类平衡 ImageNet 数据、10 epoch，推理无额外开销。
   • 主结果：6 种攻击 × ViT-B/32 与 RN50 共 12 种组合，GARD 的 ASR 全部低于 1%（0.01%–0.88%），CA 接近无防御模型；每个基线至少在一个攻击上失效，如 InverTune 在 ViT-B/32 BadVision 上 ASR 55.70%（Table 1）。
   • 进一步证据：匹配 20K 数据下优势保持（Table 2）；两种知道全部机制的自适应攻击经防御后 ASR 均低于 1%（Table 3）；消融显示全局对齐主要压制 BadVision、局部对齐主要压制 BadCLIP，两者互补（Table 4）。
   • 作者结论：作者称识别并压制后门诱发的表示脆弱性，为防御 MCL 模型提供了一条实用的 target-free 路线；同时报告防御集混入投毒样本会使保护迅速退化，需要保持防御集干净。

   收起这一问

相关论文