GeoDetect：面向视觉语言预训练模型的几何对抗检测方法

VLP缺少面向多模态嵌入几何的对抗样本检测。 作者称这类模型用于检索、视觉问答和零样本分类，但仍会被对抗样本攻击，从而牵动安全关键应用中的鲁棒性。

• 现有路径的缺口：对抗训练计算开销大，并常在性能与鲁棒性之间权衡。单模态检测信号能否迁到VLP尚不确定，因为对齐与融合会改写干净邻域的几何。PIP依赖显式交叉注意力和问题条件注意力，作者称只适用于VQA。
• 核心观察：作者称VLP嵌入呈各向异性；在该结构下，对抗样本到随机干净点的期望距离大于对应干净样本，表示被推离流形区域。
• 本文做法：提出GeoDetect，从编码器嵌入计算LID、k-NN、Mahalanobis和KDE，用阈值或逻辑回归检测。作者称不微调VLP，并覆盖零样本分类与检索。
• 威胁模型：
  • 目标：检出图像被扰动、或图像与文本同时被扰动的查询，从而拒绝潜在有害查询，而不是对全部输入都给出输出。
  • 攻击设置：主评测用Sep-Attack与Co-Attack，攻击目标为[CLS]嵌入。Sep-Attack分模态独立扰动，Co-Attack联合扰动两模态。融合模型另有指向融合表示的Sepmulti。
  • 扰动预算：图像为ℓ∞迭代扰动，ϵi=8/255，步长1.25，10次迭代；文本为BERT式攻击，预算1个token。
  • 自适应知识：白盒自适应攻击把检测器写入扰动优化。攻击者知道VLP、检测器族、校准规则和所用几何分数；最终评测使用与攻击生成批不相交的干净参考批。

单模态几何检测尚未用于VLP，本文改从各向异性嵌入的离流形偏离做检测。

视觉-语言预训练

• 架构：CLIP用InfoNCE把图像与对应文本对齐（Radford等，2021）。论文把VLP分成fused与aligned：前者如ALBEF、TCL，单模态编码后再融合；后者如CLIP，只有分开的图文编码器。本文两类都考察。
• 其他表示：Chen等（2020）用预训练检测器的区域特征；Li等（2022）在大规模图文对上预训练。

攻击与鲁棒化

• 攻击：Zhang等（2022）讨论VLP上的多模态攻击与鲁棒性。Xu等（2018）改图像攻击视觉问答；Agrawal等（2018）和Shah等（2019）扰动文本。Han等（2023）、He等（2023）、Lu等（2023）用跨模态交互、数据增强或最优传输提高可迁移性；Yin等（2023）和Zhou等（2023）沿Zhang等构造模态对齐扰动。作者称许多攻击专于分类，对检索、描述或定位未必适用，因此以Zhang等（2022）和Lu等（2023）为攻击基线。
• 训练式防御：Li等（2024）、Zhang等（2024）学习与对抗图像嵌入对齐的文本提示；Zhou等（2024）用对抗文本监督；Wang等（2024）加辅助分支对齐对抗输出；另一项Wang等（2024）分两阶段对抗训练。作者称这些方法计算开销高，扩展到大模型与大数据集有困难。

单模态几何检测

• 分数：k-NN按近邻多数标签分类；LID看邻域增长所反映的局部维度；Mahalanobis距离计入协方差；KDE用核函数估计密度。
• 检测应用：Grosse等（2017）用MMD区分对抗样本与训练数据；Ma等（2018）用LID；Lee等（2018）用Mahalanobis检测分布外和对抗样本；Cohen等（2020）用k-NN。作者称这些方法在单模态上已有结果，在VLP上是否有效仍未研究。

基线与数据

• 检测基线：MCM（Ming等，2022）面向CLIP分类，用softmax归一化相似度检测分布外输入。作者将其直接用于多模态模型的对抗样本检测，并称它依赖离散类别标签，因此不用于检索。
• 数据与攻击基线：零样本数据为ImageNet、CIFAR10、CIFAR100、STL-10、Food-101；检索为Flickr30K、MS-COCO。攻击基线为Sep-Attack与Co-Attack，附录另包括SGA。

作者把本文放在上述缺口上：把各向异性从CLIP扩到其他VLP，并用离流形偏离支持不绑定特定下游任务的检测。引言中的PIP被作者限于显式交叉注意力和VQA，本文不走该路线。

GeoDetect把检测写成嵌入几何打分：查询相对一批干净参考嵌入的距离或密度偏离，即判为对抗样本。VLP本身不微调。

问题设定

• 数据：干净集Dc为N个独立同分布图文对(xi, ti)。只扰动图像时，对抗集为(x'i, ti)；两模态都扰动时为(x'i, t'i)。yi=0为良性，yi=1为对抗。
• 嵌入：zI为图像编码器输出，zT为文本编码器输出；fused模型还有融合表示zM。检测可用图像嵌入或融合嵌入。
• 决策：给定查询和大小为n的参考批，检测函数为 f=ℋ(Metric(z_i,{z_j})) 。Metric可以是LID、k-NN、KDE或Mahalanobis距离，H为决策函数。文中LID指其最大似然估计。
• 防御方假设：沿用Ma等（2018），防御方能使用一份数据子集，且初始Dc不含对抗样本。参考点取干净嵌入。

三步流程与四种分数

• 生成：由干净样本生成对抗图文对，构成干净与对抗数量相等的集合。各攻击的生成细节在附录A.1，流程见附录A.2的Algorithm 1。
• 抽取：用小批采样估计局部几何。k-NN是到k个近邻的平均L2距离；KDE的核在干净数据上估计；Mahalanobis的均值与协方差由Dc计算。干净与对抗嵌入都相对同一批干净参考点打分。
• 层的差别：LID按层抽取；fused模型再把多模态编码器的LID作为附加特征。k-NN、Mahalanobis和KDE只用图像编码器输出。作者称因此LID对融合编码器中的扰动更敏感（Fig. 1）。
• 判定：k-NN、Mahalanobis和KDE用标量阈值，分数大于τ则判为对抗，τ在校准划分上选取。LID用多层分数训练逻辑回归，细节在附录A.2。标量分数的层数记为1，LID的层数记为l。

理论：各向异性与期望距离

• 各向异性度量：I1是特征向量上配分函数的最小/最大比，I2是该函数的归一化标准差。作者称I1越低、I2越高，各向异性越强。归一化有效秩在奇异值集中于少数方向时更低。
• 两条假设：假设1，干净嵌入协方差正定，且不是标量矩阵，特征值满足σ1远大于后续特征值。假设2，干净嵌入到流形的距离不超过α；局部上把干净与对抗嵌入写成高斯。
• 引理：引理1的最优对抗嵌入为(Σ+λI)的逆乘以λzi，λ>0。引理2称该嵌入压低切向分量、放大法向分量，从而离开流形，偏离至少为γ，且γ>α。证明在附录B.2、B.3。
• 期望距离差：定理1称，若γ>3α，则 𝔼[|z′_i−z_u|] > 𝔼[|z_i−z_u|] 。作者称，到随机干净嵌入的距离大，即提示查询受到对抗扰动。附录B.5称，在温和假设下对抗样本的LID、k-NN、Mahalanobis分数更高，KDE分数更低。

实验设置

• 模型：CLIPViT（ViT-B/16）、CLIPCNN（ResNet-50）、ALBEF、TCL。检索使用ALBEF与TCL已发布的微调检查点。各向异性参照为监督ResNet-50。
• 数据：零样本为ImageNet（表中记为ImageNet1k）、CIFAR10、CIFAR100、STL-10、Food-101，类别提示为“a photo of a c”。检索为Flickr30K与MS-COCO（表中COCO）；每图五句描述，Co-Attack用第一句。Fig. 2b与Fig. 3使用ImageNet V2。
• 攻击与基线：Sep-Attack的Sepuni，融合模型另有Sepmulti，以及Co-Attack；目标为[CLS]嵌入。图像为ℓ∞、ϵi=8/255、步长1.25、10次迭代；文本预算1个token。检测基线为MCM，只用于分类。
• 指标与判定：AUC与FPR95。论文写明AUC越高、FPR95越低，检测越准确。论文未使用LLM评审；标量分数用阈值，LID用逻辑回归。
• 划分与超参：对抗样本由整个测试集生成，混合后随机取80%校准、20%评测。CLIP批大小128，LID的k=100，k-NN的k=10，高斯KDE带宽0.1。ALBEF与TCL批大小64，LID的k=40，k-NN的k=10，带宽相同。
• 未写明项：论文未报告重复次数，也未报告各测试集条数。攻击成功率、耗时和层选择分别指向附录A.5、A.4、A.3，正文无数字。

主结果

下表摘自Table 1（零样本）与Table 2（检索）。只列若干格，不是全表。

表格较宽，可左右滑动

模型	数据与任务	方法与攻击	AUC	FPR95
CLIPCNN	CIFAR10零样本	k-NN, Sepuni	100	0.00
CLIPCNN	CIFAR10零样本	MCM, Sepuni	65.47	82.88
CLIPCNN	ImageNet1k零样本	k-NN, Co-Attack	99.67	0.89
ALBEF	ImageNet1k零样本	Mahalanobis, Sepuni	99.94	0.20
ALBEF	ImageNet1k零样本	k-NN, Sepmulti	51.92	93.61
CLIPViT	Flickr30k检索	k-NN, Sepuni	100.00	0.00
TCL	Flickr30k检索	k-NN, Sepmulti	32.89	95.48
ALBEF	COCO检索	LID, Sepuni	91.80	35.88

• 相对MCM：作者称CLIPCNN上几何方法在全部分类数据集中FPR更低、AUC更高。据Table 1，该模型GeoDetect各格AUC为96.62–100，MCM为41.13–95.82。最低的96.62是Mahalanobis对ImageNet1k的Sepuni，同格MCM为86.10。
• 分数差异：作者称CLIPCNN上k-NN优于Mahalanobis和KDE，LID与k-NN接近；ALBEF上Mahalanobis略优于其他分数，尤其是KDE。Table 1中ALBEF对ImageNet1k的Sepmulti并不如此整齐：Mahalanobis为81.41，LID为78.77，KDE为66.83，k-NN为51.92，均低于同模型Sepuni。
• 检索：作者称检索与分类表现相当。Table 2里Sepuni与Co-Attack的AUC多在88以上，但Sepmulti的k-NN不是：ALBEF在Flickr30k/COCO为54.84/57.02，TCL为32.89/33.89。检索未评Mahalanobis和KDE，作者给出的原因是缺少类别标签。CLIPViT与TCL的零样本数字只在附录E.1，正文未给。

不同分布批的白盒自适应攻击

• 设置：攻击者知道VLP、检测器族、校准规则和优化所用几何分数；攻击批与检测批不相交。优化时从主损失减去加权的LID或k-NN分数，ζ=0.1；优化中LID的k=20，k-NN的k=10。检测时CLIP批大小128、LID的k=100；ALBEF与TCL批大小32、LID的k=20；k-NN的k均为10。
• k-NN：Table 3中多数非自适应高AUC下降。Flickr30k的Sepuni：CLIPCNN从99.99到67.82，CLIPViT从100到61.16，ALBEF从99.75到51.38，TCL从96.10到51.27。Sepmulti并非一律下降：TCL在COCO从33.89到74.04，ALBEF在COCO从57.02到69.88。
• LID与作者解读：作者称自适应攻击相对非自适应降低表现，且LID仍有高AUC。Table 3有例外：CLIPViT对Flickr30k的Sepuni从99.37降到31.56；融合模型的Sepmulti则上升，如ALBEF在Flickr30k从74.26到89.83，TCL在COCO从83.95到94.64。

嵌入几何的经验核验

• Fig. 2a：横轴为Iteration（评测时的批索引），纵轴为I1、I2的Score，图例含Supervised与ALBEF。作者称ALBEF的I1更低、I2更高，相对ImageNet上的监督分类器各向异性更强。转换文本无端点读数。
• Fig. 2b：作者称各VLP的归一化有效秩低于ImageNet V2上的监督ResNet-50。转换文本看不到柱高。
• Fig. 3：数据为ImageNet-V2与CLIPCNN。作者称对抗嵌入在最低奇异值方向能量更高；相对干净数据前K=10个主成分，重构残差更高；沿领先PCA轴的KL更大，在前1–20个成分最明显。转换文本无坐标读数。

其他消融与分析

• 附录C：邻域大小、可用样本量、批大小、层选择、多模态层；作者称检测表现对这些变化仍保持，正文无数字。
• 附录D.2：SGA攻击；正文未给AUC。
• 附录D.3：选择性梯度下降自适应攻击，在误分类目标与检测目标之间交替优化；正文未给AUC。
• 附录E.1：CLIPViT与TCL的零样本结果；作者称与第4.2节模式一致，正文无数字。
• 附录E：与PIP比较；作者称GeoDetect结果更好，正文无数字。
• 附录A.4、A.5：效率与攻击成功率；正文无数字。

作者指出的局限与后续方向

论文未专门讨论局限。提供的正文没有Limitations、Discussion、Future Work或等价小节，也没有把某项结果写成方法本身的不足或计划中的后续工作。

实验覆盖范围

• 被测VLP为CLIPViT（ViT-B/16）、CLIPCNN（ResNet-50）、ALBEF、TCL，共4个；各向异性参照还包括ImageNet或ImageNet V2上的监督ResNet-50（第3.2、4.1节）。
• 检测任务为零样本分类（ImageNet、CIFAR10、CIFAR100、STL-10、Food-101，提示形式为“a photo of a c”）和图像-文本检索（Flickr30K、MS-COCO；每图五句描述，Co-Attack用第一句）（第4.1–4.2节）。
• 主表攻击为Sepuni、Sepmulti（仅融合模型）和Co-Attack；图像为ℓ∞、ϵi=8/255、步长1.25、10次迭代，文本预算1个token，目标为[CLS]嵌入（第4.1节）。
• 指标为AUC与FPR95。对抗样本由整个测试集生成，混合后80%校准、20%评测（第4.1节）。论文未报告重复次数，也未报告各测试集样本量。
• 白盒自适应的不同分布批结果在Table 3，ζ=0.1。SGA与选择性梯度自适应攻击写在附录D，与PIP的比较写在附录E；这些附录数字未出现在正文中。MCM只出现在分类实验，作者称其不用于检索。

GeoDetect是面向视觉-语言预训练模型的对抗样本检测方法，用嵌入几何而不是任务logits区分干净样本与对抗样本。

• 问题：VLP仍会被对抗样本欺骗。对抗训练开销大，单模态检测能否迁移不确定，PIP又限于带显式交叉注意力的VQA。
• 方法：防御方持有不含对抗样本的干净子集。对图像编码器输出计算k-NN、Mahalanobis或KDE，LID则按层计算，融合模型可再加入多模态层。标量分数用校准集上的阈值，多层LID用逻辑回归。作者的理论是：各向异性协方差下，对抗嵌入离开流形，到随机干净点的期望距离更大。
• 分类：Table 1中，CLIPCNN的k-NN对CIFAR10的Sepuni与Co-Attack均为AUC 100、FPR95 0.00；同数据MCM的Sepuni为AUC 65.47、FPR95 82.88。ALBEF的k-NN对ImageNet1k的Sepmulti为AUC 51.92、FPR95 93.61。
• 检索：Table 2中，CLIPViT的k-NN对Sepuni在Flickr30k与COCO均为AUC 100.00、FPR95 0.00。TCL的k-NN对Sepmulti在Flickr30k为AUC 32.89、FPR95 95.48。作者称检索不使用Mahalanobis和KDE，因为没有类别标签。
• 自适应与作者结论：Table 3中，不同分布批的白盒自适应攻击下，CLIPViT的LID对Flickr30k的Sepuni从99.37降到31.56；部分融合模型的LID在Sepmulti上反而上升。作者称本文是首个不依赖具体任务、且有理论依据的VLP对抗检测框架，并称在攻击者知道检测策略时仍然有效，且不依赖任务logits或标签。