TRAG:面向视觉语言模型零样本对抗鲁棒性的文本响应感知引导
Textual Response-Aware Guidance for Zero-Shot Adversarial Robustness of Vision-Language Models
作者提出 TRAG,用预训练文本编码器的局部响应约束对抗微调中的视觉表征漂移;作者称在 CLIP ViT-B/32 上 16 个数据集平均干净/鲁棒准确率达 59.60%/35.09%。
防御方对 VLM 图像编码器做对抗微调,攻击者在像素空间施加 ℓ∞ 扰动(预算 ϵ,默认 2/255);评测用 AutoAttack 的 APGD-CE 与 targeted APGD-DLR 两种 white-box 攻击各 20 步,另有文本攻击 BERT-Attack 和多模态 Sep-Attack、Co-Attack。
- VLM 对抗微调提升鲁棒性时会损害零样本泛化。作者认为现有预训练模型引导各有不足:特征匹配无语义侧重,预测分布匹配受限于候选文本。
- TRAG 以已知文本为语义锚点,对冻结文本编码器求局部响应的 Jacobian 并做 SVD,按固定预算构造锚点级约束矩阵,再用预训练图像–锚点相关度加权聚合,得到图像自适应的漂移二次惩罚,与任务损失一起做对抗微调。
- 在 16 个数据集零样本分类、Flickr30k/COCO 检索、文本与多模态攻击及 LLaVA-1.5-7B 迁移上,作者称 TRAG 的干净与鲁棒指标多为最高;关系保持分析中其对抗 KL 最低、Retention 最高。
- 论文未专门讨论局限。实验覆盖:图像编码器微调(文本编码器冻结)、ℓ∞ 预算 1/255–4/255、三种 VLM 架构与 LLaVA-1.5-7B 迁移;论文未报告统计显著性检验与自适应攻击评测。
- 被测模型
- CLIP ViT-B/32CLIP ViT-B/16CLIP ViT-L/14RN101CoCa ViT-L/14SigLIP ViT-B/16LLaVA-1.5-7B
- 基准
- ImageNetCaltech-101Caltech-256CIFAR-10CIFAR-100DTDEuroSATFGVC AircraftFlowers102Food-101ImageNet-RImageNet-SOxford-IIIT PetStanford CarsSTL-10SUN397Flickr30kCOCOTextVQAVQAv2CC3M
- 指标
- clean accuracyrobust accuracyTR@1/TR@10IR@1/IR@10CIDErVQA accuracyRetention
研究者提出文本响应感知引导方法 TRAG,利用预训练文本编码器对输入嵌入向量局部变化的响应来约束视觉表征漂移,提升视觉语言模型的零样本对抗鲁棒性。该方法围绕语义锚点,依据响应方向与幅度构建锚点级约束,再按预训练图像-锚点相关性聚合,形成图像自适应约束。跨架构、跨任务的实验显示其干净与鲁棒性能达到 SOTA,并有助于保留预训练图像-文本关系。
深度解读
这篇论文试图解决什么问题?
如何在对 VLM 做对抗微调提升鲁棒性的同时,保住支撑零样本泛化的预训练图文对齐。
核心问题:VLM 的对抗微调在提升鲁棒性的同时会破坏预训练的图文对齐,导致零样本泛化下降,论文研究如何在两者间取得更好的平衡。
- 场景与重要性:CLIP 等 VLM 依靠大规模图文预训练获得零样本能力,支撑分类、检索并作为 LVLM 的视觉骨干;但作者指出它们仍易受对抗样本攻击,小扰动即可导致错误预测。
- 现有方法的不足:作者分析认为两类预训练模型引导存在互补局限——特征匹配(FM)对所有方向同等约束,覆盖广但无语义侧重;预测分布匹配(DM)有语义侧重,但受候选文本和预测概率限制(Figure 1、Sec 3.2)。
- 核心观察:视觉表征漂移沿不同方向对图文关系的影响不同;零样本泛化需要保持未见任务上多样的图文关系,因此需要覆盖广且有语义侧重的方向性约束。
- 论文方案:提出 TRAG(Textual Response-Aware Guidance),用预训练文本编码器对输入嵌入局部变化的响应构造锚点级方向约束,再按预训练图像–锚点相关度聚合成图像自适应约束。
- 威胁模型:
- 攻击者目标:通过对输入图像施加小扰动使模型产生错误预测。
- 知识与能力:评测采用 white-box 攻击(AutoAttack 的 APGD-CE 与 targeted APGD-DLR),像素空间 ℓ∞ 预算 ϵ(默认 2/255);另有文本侧 BERT-Attack 与多模态 Sep-Attack、Co-Attack。
- 受害系统:经对抗微调的 VLM(CLIP、CoCa、SigLIP)及以其为视觉编码器的 LLaVA-1.5-7B。
- 防御方设定:只微调图像编码器,文本编码器冻结,预训练图像编码器作为冻结参照。
有哪些相关研究?
相关工作分三类:VLM 对抗鲁棒方法、预训练模型引导方法,以及作为基线的六个对抗微调方法。
VLM 对抗鲁棒性
- TeCoA [30]:用文本引导的对比目标微调图像编码器,实现零样本对抗鲁棒,是后续方法的基础。
- 后续方向:增大类文本表征间距 [22]、调整分类间隔 [27]、沿对抗路径对齐区域 [7]、对齐图文子空间 [6];对抗提示调优(文本 [21]、视觉 [56])与测试时防御(提示调优 [39, 44]、输入反击 [47])。
预训练模型引导(与本文最相关)
- 特征层:FARE [37] 将对抗视觉特征匹配到预训练模型的干净特征;QT-AFT [45] 在特征匹配外加入高质量图像标注的监督。
- 预测层:PMG-AFT [43] 结合对抗任务目标与对预训练模型的预测分布匹配;AGFT [5] 用预训练模型的温度缩放软对齐分布替代硬标签。
- 其他:AdvFLYP [48] 在网页图文对上做对比式对抗微调并结合两种匹配;TGA-ZSR [51] 保持原模型的文本引导空间注意力。论文的分析指出 FM 类与 DM 类方法在方向约束上各有互补局限(Sec 3.2),这是 TRAG 的出发点。
基线与基准
- 基线方法:TeCoA、PMG-AFT、FARE、TGA-ZSR、QT-AFT、AGFT,检索实验另加 AdvFLYP(Sec 5.1、5.2)。
- 基准:ImageNet 加 15 个零样本分类数据集、Flickr30k 与 COCO 检索、TextVQA 与 VQAv2。
作者将 TRAG 定位为与上述引导方法不同的新形式:从预训练文本编码器的局部响应构造图像自适应的漂移约束,而非匹配特征或预测分布。
论文如何解决这个问题?
TRAG 从冻结文本编码器的局部响应导出锚点级方向约束,按图像–锚点相关度聚合后与任务损失一起做对抗微调。
整体思路:把预训练文本编码器对输入嵌入局部变化的响应当作潜在语义变化的方向参照,构造对视觉表征漂移的二次惩罚,引导对抗微调。方法名 TRAG(Textual Response-Aware Guidance)。
问题设定与分析框架
- 只微调图像编码器参数 θ,预训练图像编码器 f0 冻结作参照,文本编码器 g 共享且固定;漂移定义为 ∆r(x, xadv) = rθ(xadv) − r0(x)(式 5)。
- 漂移经 s(t)⊤∆r 改变图文相似度,沿不同方向影响不同,因此把引导看作对漂移的方向性约束。
- 诊断:FM 的约束矩阵是单位阵(各方向同等);DM 在 r0 附近近似为 1/2·∆r⊤H0∆r,H0 由候选文本对差异按预测概率加权(式 7、8)。Figure 2 用特征值参与比衡量方向覆盖、用与下游类文本协方差的归一化 Frobenius 内积衡量任务相关性,图中 FM 覆盖最高、DM 覆盖低,TRAG 的相似度高于 FM、DM 及其最优固定混合。
锚点级约束构造(Sec 4.1)
- 锚点集 A = {aj}(不必等于候选文本);对锚点 aj 取词元嵌入 ej,冻结文本编码器的归一化输出对 ej 的 Jacobian 记为 Jj,局部响应 ∆sj = Jj∆ej 作为潜在语义变化的代理。
- 对 Jj 做 SVD:左奇异向量给出正交响应方向,奇异值给出响应幅度(式 9)。
- 在固定总权重 tr(Q) = d 下最小化平均最坏情形风险,命题 1 给出锚点级最优惩罚形状 Wj = Uj Σj Uj⊤ / √nj,即按响应方向加权、按奇异值缩放;输入代理取零均值各向同性,Cov(∆ej) = I/nj。
图像自适应聚合与微调(Sec 4.2)
- 用干净图像上预训练图像–锚点相似度经 softmax 得到权重 πj(x)(式 14),加权聚合锚点约束并做全局迹归一化,得到 Mx,固定 tr(Mx) = d(式 15)。
- TRAG 损失为 LTRAG = Ei[Δ ri⊤ Mxi Δ ri],与任务损失(分类用 LTeCoA,图文对训练用 InfoNCE)组合,优化 min–max 目标:内层用 PGD 生成对抗图像,外层更新图像编码器(式 16、17)。
- 关键参数:λ = 15;锚点取 1,000 个 ImageNet 类名;s(aj) 与 Wj 在微调前一次性预计算,文本编码器求导与 SVD 不在训练循环内。
成功判定与评测方式
- 零样本分类报干净与鲁棒准确率;检索报 TR@1/TR@10、IR@1/IR@10;鲁棒性用 AutoAttack 两种 white-box 攻击各 20 步评估。
- 关系保持用三个指标:特征距离、relation error(对预训练模型的 KL 散度 DKL(p0∥pθ))、Retention(攻击下保留参考模型正确预测的比例)。
论文做了哪些实验?
在 16 个分类数据集、两个检索集、文本/多模态攻击和 LVLM 迁移上,TRAG 多数指标最高;关系保持指标也最优。
实验设置
- 被测模型:CLIP ViT-B/32(主实验)、ViT-B/16、ViT-L/14、RN101;图文对微调用 CLIP ViT-B/16、CoCa ViT-L/14、SigLIP ViT-B/16;LVLM 迁移用 LLaVA-1.5-7B(仅替换其 CLIP ViT-L/14 视觉编码器)。
- 数据集:ImageNet 微调 + 15 个零样本分类数据集(Caltech-101/256、CIFAR-10/100、DTD、EuroSAT、FGVC Aircraft、Flowers102、Food-101、ImageNet-R/S、Oxford-IIIT Pet、Stanford Cars、STL-10、SUN397);CC3M 微调后在 Flickr30k、COCO 上测检索;LVLM 测 COCO/Flickr30k 字幕与 TextVQA/VQAv2。
- 基线:TeCoA、PMG-AFT、FARE、TGA-ZSR、QT-AFT、AGFT;检索实验加 AdvFLYP。
- 训练配置:默认 ℓ∞ 预算 2/255,5 个 epoch,AdamW,学习率 2×10⁻⁵,全局 batch 256,内层 5 步 PGD(步长 1/255),λ = 15,锚点为 1,000 个 ImageNet 类名,两张 RTX 3090。
- 攻击评测:AutoAttack 的 APGD-CE 与 targeted APGD-DLR 各 20 步;文本侧 BERT-Attack,多模态 Sep-Attack、Co-Attack;LVLM 用 APGD 与 Ensemble 攻击(2/255)。
- 指标:干净/鲁棒准确率、检索 R@1/R@10、CIDEr、VQA 准确率;关系保持用特征距离、relation error(KL)、Retention(15 个零样本数据集各取 500 张图)。论文未报告重复次数与统计显著性检验。
主结果
Table 1:CLIP ViT-B/32 在 ImageNet 微调、训练与测试预算均 2/255,16 数据集平均值(%):
方法 干净 鲁棒 CLIP(未微调) 65.60 0.35 TeCoA 49.20 26.33 PMG-AFT 54.08 31.99 FARE 57.09 29.34 TGA-ZSR 52.57 29.32 QT-AFT 56.07 29.86 AGFT 56.35 33.60 TRAG 59.60 35.09 - 作者称 TRAG 的平均干净与鲁棒准确率均超过所有微调基线,对最强基线(干净 FARE、鲁棒 AGFT)的绝对提升为 2.5% 和 1.5%。
- 作者称 TRAG 在 16 个数据集中 11 个干净准确率第一、12 个鲁棒准确率第一;例外如 EuroSAT 上 TRAG 干净 62.78% 低于 TGA-ZSR 的 70.53%,FGVC 上 13.47% 低于 FARE 的 14.94%(Table 1)。
不同预算与骨干网络
- 训练预算(Table 2,16 数据集均值):1/255 时 TRAG 干净 63.66/鲁棒 44.39;3/255 时 56.35/28.12;4/255 时 54.55/22.18,各预算下鲁棒准确率均为最高;作者称干净领先从 1/255 的 1.8% 增至 4/255 的 5.6%。
- 骨干网络(Table 3,2/255):ViT-B/16 上 TRAG 62.95/39.08,ViT-L/14 上 70.78/49.54,RN101 上 55.39/29.54,均为最高;作者称相对各骨干最优基线,干净提升 1.7%–3.5%、鲁棒提升 0.7%–2.8%。TGA-ZSR 在 RN101 上未报告。
图文对微调与检索
- 零样本检索(Table 4,CC3M 微调,PGD 2/255):TRAG 在三种 VLM、两个数据集、两个检索方向上的干净与鲁棒 recall 均为最高;如 SigLIP 在 COCO 上鲁棒 TR@1 37.94%、IR@1 26.90%,作者称比最强基线(AGFT、QT-AFT)高 3.0% 和 2.6%。
- 文本与多模态攻击(Table 5,CLIP ViT-B/16,Flickr30k,TR@m/IR@m 为 R@1 与 R@10 均值):TRAG 在 BERT-Attack、Sep-Attack、Co-Attack 六项指标上均第一,作者称比最强基线最多高 2.8%。
- 检索检查点迁移到分类(Table 6):同一检查点直接在 16 个分类数据集上评测,TRAG 在 CLIP(61.79/35.05)、CoCa(71.40/48.19)、SigLIP(70.73/43.77)上均值均最高。
LVLM 迁移
- 设置:LLaVA-1.5-7B 仅替换视觉编码器为 Sec 5.1 微调的 CLIP ViT-L/14,不再做 LVLM 微调(Table 7)。
- 结果:TRAG 在八个任务–攻击组合中的七个领先;Ensemble 攻击下 COCO 字幕 CIDEr 73.47、Flickr30k 40.86,作者称比最强基线高 2.2 和 1.4。例外:Flickr30k 干净 CIDEr 上 TRAG 71.38 低于 QT-AFT 的 74.27;TextVQA 的 APGD 攻击下 TRAG 19.72 低于 FARE 的 19.82。
- Figure 4 给出不同方法微调后 LLaVA 在干净与对抗图像上的字幕输出对比。
其他消融与分析
- 约束消融(Table 8,CLIP ViT-B/32,2/255):TRAG 干净 59.60/鲁棒 35.09,高于 FM(58.69/34.44)、DM(54.81/34.91)、FM+DM(58.72/34.44)、Uniform(58.92/34.66)、Shuffled(58.83/34.76);作者认为 Uniform 与 Shuffled 较低支持图像自适应加权和正确的锚点–响应对应。
- 关系保持(Table 9):TRAG 特征距离(C 0.242/A 0.271)大于 FM 与 FM+DM,但对抗 KL 最低(0.995),Retention 最高(46.26%);作者认为这说明 TRAG 在允许视觉适应的同时保持了图文关系。
- λ 权衡(Figure 5a):λ 增大时干净准确率升、鲁棒准确率降,测试范围内两者均高于 Table 1 的微调基线;取 λ = 15。
- 锚点集消融(Figure 5b):锚点取 CIFAR-10/100、Tiny-ImageNet、ImageNet-1K、ImageNet-21K 类名;仅 10 个锚点即超过基线,鲁棒准确率在 ImageNet-1K 处最高,ImageNet-21K 时略降。
- 训练成本(Table 10):1,000 个锚点约束预计算 6.25 分钟;训练总时长 4.11 小时(TeCoA 4.08),峰值显存 7.32 GiB。
有什么可以进一步探索的点?
论文未专门讨论局限;实验覆盖三种 VLM 架构、两种微调范式和 LVLM 迁移,预算限于 1/255–4/255。
作者指出的局限与后续方向
- 论文未专门讨论局限:正文无 Limitations 小节,Conclusion(Sec 6)只总结贡献,未列出不足或未来工作。
实验覆盖范围
- 被测模型为 CLIP(ViT-B/32、ViT-B/16、ViT-L/14、RN101)、CoCa ViT-L/14、SigLIP ViT-B/16 共 6 个 VLM 配置,外加 LLaVA-1.5-7B 的视觉编码器替换迁移(Sec 5.1–5.3)。
- 微调范式覆盖两种:ImageNet 类监督微调(LTeCoA 目标)与 CC3M 图文对微调(InfoNCE 目标);只更新图像编码器,文本编码器始终冻结(Sec 4.2、5.2)。
- 攻击评测覆盖:图像 white-box 攻击(APGD-CE、targeted APGD-DLR,各 20 步)、文本攻击 BERT-Attack、多模态 Sep-Attack 与 Co-Attack、LVLM 上的 APGD 与 Ensemble 攻击;扰动预算为 ℓ∞ 1/255–4/255(Sec 5.1、5.2、5.3)。
- 锚点集实验覆盖 CIFAR-10/100、Tiny-ImageNet、ImageNet-1K、ImageNet-21K 类名,主实验固定为 1,000 个 ImageNet 类名(Figure 5b)。
- 论文未报告:重复实验次数与方差、统计显著性检验、针对 TRAG 的自适应攻击评测,以及关系保持指标与下游性能间的因果验证(Table 9 为相关性观察)。
总结一下论文的主要内容
TRAG 用预训练文本编码器的局部响应构造图像自适应漂移约束,在多个 VLM 与任务上取得最高的干净与鲁棒性能。
一篇关于 VLM 对抗微调的防御论文,研究如何在提升对抗鲁棒性的同时保持预训练图文对齐、维持零样本泛化。
- 问题:作者分析认为现有预训练引导有互补局限——特征匹配各方向同等约束、无语义侧重;预测分布匹配有语义侧重但受候选文本限制(Sec 3.2)。
- 方法:TRAG 以已知文本为语义锚点,对冻结文本编码器求局部响应 Jacobian 并做 SVD,在固定惩罚预算下导出锚点级约束矩阵,再按预训练图像–锚点相关度加权聚合为图像自适应约束,与任务损失一起做 min–max 对抗微调;约束在训练前一次性预计算。
- 主结果:CLIP ViT-B/32 在 16 个数据集上平均干净 59.60%、鲁棒 35.09%,均超过全部微调基线(Table 1);该优势在 1/255–4/255 预算、ViT-B/16、ViT-L/14、RN101 骨干上保持(Table 2、3)。
- 泛化:CC3M 微调后在 Flickr30k/COCO 检索、文本与多模态攻击下各指标均为最高(Table 4、5);替换 LLaVA-1.5-7B 视觉编码器后,八个任务–攻击组合中七个领先(Table 7)。
- 机理证据:TRAG 的对抗 relation error 最低(0.995)、Retention 最高(46.26%),作者认为这说明其在允许视觉适应的同时保持了预训练图文关系(Table 9)。
- 作者结论:局部文本响应可转化为图像自适应的方向性引导,用于在对抗微调中保持多样的预训练图文关系;训练成本与 TeCoA 接近(4.11 小时对 4.08 小时,Table 10)。