面向 CLIP 的语义感知对抗微调

用单一手工模板的余弦相似度生成对抗样本，换到更富语义的图文相似度时可能失效，并让据此微调的 CLIP 图像编码器不够鲁棒。

• 场景：CLIP 把图像与文本编码到共享空间并做零样本分类，也被 Flamingo、LLaVA 等大视觉语言模型用作图像编码器。作者认为其对对抗样本的脆弱性关系到能否安全部署。
• 不足：既有对抗微调用图像与单一模板（如 “A photo of a {label}”）的余弦相似度，即 CLIP score，来造对抗样本。作者称该分数不足以衡量图文对齐。Figure 1 中，PGD 最小化 CLIP score 的样本在 ImageNet-1K 六个动物类上，CLIP score 有 100% 低于对角线；正文写换成 CuPL、WCA 后分别仅 64.8%、28.6%（图注 WCA 为 24.8%）。高于对角线的点，作者解释为攻击后模型更确信。
• 观察：作者认为，针对单一措辞优化的扰动会过拟合模板短语，难以迁到属性或上下文更丰富的描述，使对抗训练用的样本不够有效，也不够普遍。
• 提出：Semantic-aware Adversarial Fine-Tuning（SAFT）用基础模型生成并过滤类描述，以语义集成攻击构造对抗样本，再微调 CLIP 图像编码器。
• 威胁模型：
  • 目标：对未见任务分布中的任务 T，在扰动球内最大化损失，以压低零样本分类表现。
  • 知识：攻击者完全掌握该任务真实标签 y_T，并最大化 L(f^θ(x+δ), y_T)。论文未写 white-box 或 black-box。
  • 能力：扰动属于 Δ={δ:∥δ∥p≤ϵ}。实验用 ℓ∞；训练为 PGD-2，ε=1/255。
  • 受害系统：防御方不知任务身份 T 与分布 D_T，只训练模型。评测的是 CLIP 图像编码器的跨任务零样本鲁棒性，不同于只在已知任务 T_0 上的标准对抗鲁棒性。

论文 Related Work 分四组讨论；只有作者明确批评或对比的做法才写区别。

对抗鲁棒与对抗训练

• 对抗样本与对抗训练：Szegedy et al. (2014)、Goodfellow et al. (2015)、Carlini & Wagner (2017) 等研究对抗样本。论文称对抗训练（Madry et al., 2018 等）是抵御对抗样本最有效的策略之一，并对自适应攻击仍有效（Athalye et al., 2018）。
• 权衡：Tsipras et al. (2019) 讨论鲁棒性与干净准确率可能冲突。论文称更好平衡该权衡仍是对抗训练的重点。
• 与 CLIP 的关系：论文称现有对抗训练多针对监督学习图像分类器，计算开销大，难以扩展到 CLIP。

视觉语言模型

• CLIP：Radford et al. (2021) 用图文对比学习做零样本迁移。
• 下游大模型：论文列举 Flamingo (Alayrac et al., 2022)、LLaVA (Liu et al., 2023) 等，并称多数大视觉语言模型以 CLIP 为预训练图像编码器，因其有文本监督（Tong et al., 2024）。
• 脆弱性：Mao et al. (2023)、Schlarmann et al. (2024) 讨论这些模型对对抗样本的脆弱性。论文据此把提高 CLIP 鲁棒性视为重要问题。

CLIP 对抗微调

• TeCoA：Mao et al. (2023)。论文称它是首个提升视觉语言模型零样本鲁棒性的方法，用固定零样本模板生成并训练对抗样本。
• 后续方法：FARE (Schlarmann et al., 2024) 加入无监督目标以拉大嵌入距离；PMG-AFT (Wang et al., 2024a) 用辅助分支对齐对抗与干净表示，以减轻对抗过拟合；TGA-ZSR (Yu et al., 2024) 用文本引导注意力。Zhou et al. (2024) 考虑多模态输入。从头预训练（Gan et al., 2020; Wang et al., 2024b）被论文称为计算密集。
• 作者定位：论文称本文是首次尝试表明，更丰富的文本嵌入能生成对轻微文本变化更可泛化的对抗样本。

文本提示

• 提示敏感：Radford et al. (2021) 与 Zhou et al. (2022) 指出 CLIP 下游效果依赖提示设计。
• 富语义描述：Menon & Vondrick (2023) 与 CuPL (Pratt et al., 2023) 用大语言模型生成类描述；WCA (Li et al., 2024) 将局部图像块与 CuPL 描述交叉对齐；Cai et al. (2025) 生成描述性与区分性属性；Sun et al. (2026) 用 IoU 与嵌入余弦相似度去掉冗余裁剪和相似描述。
• 未展开处：论文称这些描述对图文对齐有效，但是否改善零样本准确率–鲁棒性权衡，据作者所知仍 underexplored。

基线方法为干净数据微调的 CLIP、TeCoA、FARE、PMG-AFT、TGA-ZSR。基准为 CIFAR-10/100、STL-10、Tiny-ImageNet、ImageNet-1K、Caltech-101/256、Food101、Flowers102、FGVC-Aircraft、StanfordCars、OxfordPets、PCAM、SUN397、EuroSAT、DTD。主实验以 Tiny-ImageNet 为源，其余作零样本目标。

作者把本文放在「单模板对抗样本换相似度后可能失效」与「富语义提示尚未用于该权衡」之间，用精炼描述集成构造对抗样本再做微调。

SAFT 用基础模型为每个类生成并过滤文本描述，再让对抗样本同时偏离这些描述的平均嵌入，最后只微调 CLIP 图像编码器。

问题设定

• 零样本对抗鲁棒性沿 Mao et al. (2023)：任务 T 来自未见任务分布，每任务有自己的标签空间与数据分布 D_T。防御方最小化所有任务上的期望最坏风险，而不是只在已知任务 T_0 上训练。
• CLIP 推断用模板把标签嵌成文本，按图像嵌入与各类文本嵌入的余弦相似度取 argmax。此前模板式微调让攻击最大化图像与 f_text(p(y)) 的余弦相异度，内层用 PGD 近似。
• 作者指出的限制：对抗样本易过拟合 “photo of a” 这类短语，换另一种说法不一定能迁移；固定模板也盖不住类的属性与上下文。

幻觉感知的描述生成

• 生成：对类 y，基础模型 f_FM 在指令与超参 ϕ 下生成 M 条描述，T_y=f_FM(y;ϕ)，意图覆盖属性、上下文和同义说法。
• 过滤：类名与第 m 条描述都由 CLIP 文本编码器编码，相关度为 s^(m)=(f_text(y)· f_text(t_y^(m)))/(|f_text(y)||f_text(t_y^(m))|)，即二者余弦相似度。按分数降序保留 top-K。作者举例：幻觉描述可能是 0.2，有效描述可能是 0.8，前者被去掉；这是例子，不是实测汇总。
• 两种实现：SAFT-L 采用 CuPL，提示为 “What does a {label} look like?”，实验用其公开描述。SAFT-M 采用 Cai et al. (2025)，把每类代表图像和外观类提示交给多模态大模型，生成描述性与区分性属性。
• 不用 WCA：论文称要把图像裁成多块，计算开销大，且其文本生成与 CuPL 对齐，故不作为实现。

语义集成攻击

• 目标：不再对准单条模板，而最大化扰动图像嵌入与描述嵌入集合的平均相异度。扰动仍在 ℓp 球内。
• 损失：论文写成平均余弦相异度 L_SAFT=−1/M∑_m=1^M(f_img^θ(x+δ)· f_text(t_y^(m)))/(|f_img^θ(x+δ)||f_text(t_y^(m))|)。式中对 M 条描述取平均；Algorithm 1 先过滤再攻击，实验保留 K=5。
• 求解：实验内层写为 ℓ∞ PGD-2，ε=1/255。论文给出模板式 PGD 的更新形式，但未给出步长 α 的数值。

外层微调与判定

• 学习目标：第 4.3 节最小化 L_SAFT(f_img^θ(x+δ*), 描述集合)，只更新图像编码器参数 θ。作者称这使扰动图像落到对视觉扰动和语言变化都更不变的区域。Figure 2 与 Algorithm 1 给出生成、过滤、编码、造样本、按 epoch 更新的流程。
• 实验损失：第 5.1 节另写默认损失函数为 TGA-ZSR，并使用 top-5 精炼描述。论文未写明该损失与式 (5) 的 L_SAFT 如何组合。
• 成功判定：零样本分类仍按与模板文本的余弦相似度取 argmax。鲁棒准确率是攻击后的分类准确率，干净准确率是干净图像上的准确率。论文未使用 LLM 裁判。
• 实验中的生成设置：SAFT-M 用 GPT-4o-mini，每类 5 张训练图，温度 0.99，max tokens 100，每个提示 5 条回复。Tiny-ImageNet 上微调 10 epoch；ImageNet-1K 上 1 epoch。优化器为 SGD，学习率 1e-4，动量 0.9，权重衰减 0，batch 128，骨干默认 ViT-B/32。

实验设置

• 被测骨干：主实验为 ViT-B/32；扩展为 CLIP-L/14。对比方法为干净微调的 CLIP、TeCoA、FARE、PMG-AFT、TGA-ZSR。
• 数据：16 个分类集。主实验源为 Tiny-ImageNet，其余 15 个为零样本目标；Table 7 改以 ImageNet-1K 为源。检索为 COCO、Flickr8k、Flickr30k。域外为 TU-Berlin sketch、ImageNet-R。
• 训练：SGD，学习率 1e-4，动量 0.9，权重衰减 0，batch 128。内层为 ℓ∞ PGD-2，ε=1/255。Tiny-ImageNet 上 10 epoch，ImageNet-1K 上 1 epoch。K=5。外层默认采用 TGA-ZSR 的损失。
• 描述：SAFT-L 用 CuPL 公开描述。SAFT-M 用 GPT-4o-mini，温度 0.99，max tokens 100，每类 5 张图、每个提示 5 条回复。
• 评测：主要为 PGD-100、AutoAttack、C&W，ε=1/255；另有 PGD-100、ε=4/255。指标为干净准确率、鲁棒准确率及 15 集零样本平均；检索为 IRR、TRR。判定为分类准确率，无 LLM 裁判。
• 重复：Table 1 的 SAFT、Table 8 与 Table 10 为三次运行平均；Table 1 给出 SAFT 的标准差。论文未报告基线的重复次数。

主结果

据 Table 1。源为 Tiny-ImageNet，攻击为 PGD-100（ε=1/255），单位为 %。零样本平均不含源集。SAFT 为三次均值±标准差。

表格较宽，可左右滑动

方法	源集鲁棒	源集干净	零样本平均鲁棒	零样本平均干净
CLIP	13.55	79.04	6.62	52.72
TeCoA	31.29	54.59	26.00	43.08
FARE	23.88	77.54	17.88	58.68
PMG-AFT	32.46	47.36	27.54	37.42
TGA-ZSR	47.87	76.84	31.50	54.58
SAFT-L	53.27±1.56	73.47±0.38	35.35±1.04	55.27±0.52
SAFT-M	50.79±1.43	74.88±0.41	33.78±1.15	56.01±0.61

• 作者称 SAFT-L、SAFT-M 相对 TGA-ZSR 的零样本平均鲁棒准确率高 3.85% 与 2.28%，源集上高 5.40% 与 2.92%。摘要写至少 3.85%，正文对 SAFT-M 写的是 2.28%。
• 干净零样本平均以 FARE 最高，表中 SAFT-M 高于 SAFT-L。作者把二者依次写成第二、第三，并依次给出 55.27% 与 56.01%，名次顺序与表不一致。作者称二者的零样本鲁棒比 FARE 高 17.46% 与 15.90%。
• 并非每格都是 SAFT 最高：PCAM 鲁棒准确率 PMG-AFT 为 48.92%，SAFT-L 为 47.09%（Table 1）。

未见攻击

• Table 2 在同一源集上评测 AutoAttack 与 C&W，ε=1/255，对比 TeCoA、PMG-AFT、TGA-ZSR 与 SAFT-L。
• 零样本平均鲁棒准确率：AutoAttack 上 SAFT-L 为 30.06%，TGA-ZSR 为 28.89%；C&W 上 SAFT-L 为 37.45%，TGA-ZSR 为 29.94%。作者称平均增益为 1.17% 与 7.51%。
• 例外：AutoAttack 的 OxfordPets 上 SAFT-L 为 36.11%，TGA-ZSR 为 39.49%；C&W 的 PCAM 上 PMG-AFT 为 48.33%，SAFT-L 为 42.93%。

换骨干与换源数据

• Table 4 只用 CLIP-L/14，比较 FARE 与 SAFT-L，PGD-100，ε=1/255。零样本平均干净准确率 63.12% 对 61.89%，鲁棒 53.52% 对 43.51%。作者称干净约高 2%、鲁棒约高 10%，并称在 CLIP-B/32 上 SAFT-L 的干净准确率略低于 FARE。
• Table 7 以 ImageNet-1K 为源，只训 1 epoch。零样本平均干净准确率 SAFT-M 为 63.69%，为表中最高；SAFT-L 为 63.14%。鲁棒平均 PMG-AFT 为 32.78%，高于 SAFT-M 的 31.67% 与 SAFT-L 的 30.82%。作者称二者干净准确率比 PMG-AFT 高 8.70% 与 8.15%，鲁棒与之相当。

模板迁移与检索

• Table 10 与 Figure 3 用 13 个模板，其中 1 个为训练时见过的 “This is a photo of a {label}”，12 个未见；PGD-100；在 CIFAR-10、CIFAR-100、STL-10 上报告三次平均。作者称 SAFT-L 在全部模板上的平均零样本鲁棒高于 TGA-ZSR；见过模板增益为 6.41%，未见模板 “a tattoo of the {label}” 为 6.96%。表中部分未见模板的干净准确率下降，plastic 为 -0.54，toy 为 -0.72。
• Table 5 把微调后的图像编码器用于检索，AutoAttack，ε=1/255。COCO 上 SAFT-L 的 IRR/TRR 为 35.36%/43.32%，TGA-ZSR 为 34.27%/41.64%；Flickr8k 为 58.86%/68.60% 对 57.40%/66.80%；Flickr30k 为 63.86%/72.10% 对 61.14%/69.40%。论文未报告检索的干净指标。

其他消融与分析

• 语义过滤（Table 3，PGD-100，ε=1/255）：零样本平均鲁棒 33.64% 对 35.35%，作者称提高 1.71%；STL-10 鲁棒无过滤为 80.20%，有过滤为 78.97%。
• K（Table 8，四数据集平均，第 5.3 节写对 PGD-100）：K=5 鲁棒 53.21% 为表中最高；K=3 为 43.87%，低于 K=1 的 50.26%。
• 描述模型（Table 9，表注未写攻击）：Tiny-ImageNet 鲁棒 Qwen3-4B-instruct 53.45%，Llama-3.2-3B-instruct 50.14%，Llama-3.2-1B-instruct 49.08%，Qwen3-4B 47.10%。作者称指令微调且更大的模型能生成更好的描述，但 LLM 不是方法本身的必要组件。
• 更大扰动（Table 11，PGD-100，ε=4/255）：SAFT-L 零样本平均鲁棒 8.65%，TGA-ZSR 7.13%；源集上 SAFT-L 15.92%，低于 TGA-ZSR 的 16.76%。作者称仍至少高于基线 1.52%。
• 计算（Table 6，1 块 NVIDIA A100，batch 128）：SAFT-L（K=5）38839Mb、1098s/1.41s；TGA-ZSR 21253Mb、786s/1.01s。作者称每 batch 多 0.4 秒。论文写 SAFT-M 与 SAFT-L 的显存和训练时间相同。
• 域外（Table 12，未写攻击与 ε）：Sketch 鲁棒 SAFT-L 29.75%、TGA-ZSR 27.05%；ImageNet-R 鲁棒 29.70%、26.54%。干净准确率分别为 43.85% 对 36.80%、52.85% 对 46.74%。

作者指出的局限与后续方向

• 描述质量（Limitations）：SAFT 依赖基础模型为每类生成描述，效果取决于相关性、忠实性与多样性。作者写，若出现幻觉或语义含糊的提示，所得描述可能不理想。文中提出的缓解是按相关度过滤低分描述。
• 额外计算（Limitations）：描述集成会带来额外成本。作者称该过程 lightweight，相对现有对抗微调在计算上可行。
• 后续方向（Conclusion）：作者希望该框架为以后考虑更丰富文本监督的方法打基础。论文没有单独的 Future Work 节。

实验覆盖范围

• 分类实验使用论文列出的 16 个数据集。主结果以 Tiny-ImageNet 为源、微调 10 epoch；Table 7 以 ImageNet-1K 为源、微调 1 epoch，Section 5.1 写明因计算资源有限。
• 骨干为 ViT-B/32 与 CLIP-L/14。Table 4 只报告 FARE 与 SAFT-L。
• 攻击包括 ℓ∞ PGD-100、AutoAttack、C&W（ε=1/255）以及 PGD-100（ε=4/255）。训练内层为 PGD-2。论文未报告步长 α。
• 另有 COCO、Flickr8k、Flickr30k 的检索（Table 5），以及 TU-Berlin sketch 与 ImageNet-R（Table 12）。Table 12 未写攻击名称与 ε。
• SAFT-L 的描述来自 CuPL 公开结果；SAFT-M 用 GPT-4o-mini。Table 9 另用 Qwen3-4B、Qwen3-4B-instruct、Llama-3.2-1B-instruct、Llama-3.2-3B-instruct。Table 1 的 SAFT 为三次运行。论文未报告基线重复次数，也未报告人工一致性。实现未包含 WCA，论文称因其裁剪开销，且文本侧与 CuPL 对齐。

SAFT 是对 CLIP 图像编码器做对抗微调的方法，要改善零样本分类上的准确率–鲁棒性权衡。

• 问题：单模板 CLIP score 造出的对抗样本，换到 CuPL、WCA 等更富语义的相似度时未必仍能压低对齐。Figure 1 中 CLIP score 低于对角线的比例为 100%；正文写 CuPL、WCA 为 64.8% 与 28.6%，图注 WCA 为 24.8%。
• 做法：基础模型生成类描述，按与类名嵌入的余弦相似度留 top-K，再最大化图像与描述集成的平均相异度来造样本，并只微调图像编码器。实验默认外层损失为 TGA-ZSR，K=5。攻击者掌握任务标签，扰动在 ℓp 球内；防御方不知未见任务的身份与分布。
• 主结果：Tiny-ImageNet 为源、ViT-B/32、PGD-100（ε=1/255）时，SAFT-L 的 15 集零样本平均鲁棒准确率为 35.35%、干净准确率为 55.27%；SAFT-M 为 33.78% 与 56.01%（Table 1）。作者称相对 TGA-ZSR 的鲁棒增益为 3.85% 与 2.28%。干净零样本平均最高的是 FARE。
• 其他结果：C&W 下 SAFT-L 的零样本平均鲁棒准确率为 37.45%（Table 2）。CLIP-L/14 上 SAFT-L 为 53.52%，FARE 为 43.51%（Table 4）。ImageNet-1K 为源时，干净平均最高为 SAFT-M 的 63.69%，鲁棒平均最高为 PMG-AFT 的 32.78%（Table 7）。
• 作者结论：作者称 SAFT 相对现有对抗微调改善了 16 个数据集上的零样本权衡，并能泛化到未见文本模板；希望由此推动在微调中使用更丰富的文本监督。作者同时写明，效果依赖基础模型描述质量，描述集成会增加计算。