揭示物理世界语义漏洞：面向红外视觉语言模型的通用对抗贴片

一条可复用物理补丁，能否让红外视觉语言模型（IR-VLM）产生稳定的开放式语义偏差。

• 使用场景：作者称IR-VLM用于低能见度语义感知；视觉与文本对齐后，失败会从错标签扩到生成描述和答案。
• 现有不足：现有对抗补丁主要面向RGB或闭集红外检测器，并不直接处理开放式IR-VLM。作者称尚不清楚一个可部署物体能否同时改写分类、描述和VQA共用的视觉证据。
• 核心假设：物理攻击通常不能为每一帧、提示或下游任务各做一块补丁。红外纹理较弱、统计上由噪声主导，可见光高频图案可能在热捕获后消失或难以制造。作者认为有效攻击应共享、低频、限制在目标区域，并作用在任务解码前的视觉表示上。
• 本文做法：提出Universal Curved-Grid Patch（UCGP），把补丁做成可部署的低频弯曲网格，并用表示层目标优化一条共享补丁。作者称据其所知，这是首次系统研究面向IR-VLM的通用物理对抗补丁。
• 威胁模型：
  • 目标：学习一组共享参数，贴到各图目标区域后跨样本复用，使分类、描述和VQA偏离干净语义，而不只翻转闭集标签。
  • 知识：可经前向接口得到这三类响应，以及编码器归一化特征z=f(x)；无梯度、参数或训练数据。
  • 作者命名：representation-visible audit setting，不是output-only black-box；弱于白盒，强于商业API式仅输出访问。严格output-only API被留作后续。
  • 控制与对象：攻击者控制目标区域上的补丁。优化时EOT采样成像变化，TPS建模局部非刚性形变。受害系统是红外图像上的IR-VLM。数字评测用渲染样本，物理评测用实拍红外视频。

引言和第二节把相关工作分成四组，并把本文放在红外物理安全与多模态语义鲁棒性的交叉处。

红外物理攻击

• 可部署扰动：Athalye等（2018）的EOT、Eykholt等（2018）的物理世界攻击，以及Brown等（2017）、Chen等（2018）的补丁，讨论捕获、视角和尺度变化后扰动仍可能有效。
• 红外检测器：早期用对抗服装或隔热材料隐藏热特征（Zhu等，2022；Wei等，2023）；后续用块、曲线和网格改善可部署性与多视角表现（Hu等，2023；Hu and Shi，2024；AdvGrid，2025）。
• 论文点名的近邻：Wei等（2023）用形状优化补丁同时攻击可见光–红外检测器对。论文称这些工作提供部署先验，但主要目标仍是闭集检测或识别。

IR-VLM与基准

• 模型适配：Infrared-LLaVA（Jiang等，2024）和IRGPT（Cao等，2025）研究红外适配及图文数据构建。
• 理解基准：RGB-Th-Bench（Moshtaghi等，2025）和IF-Bench（Zhang等，2025）评测配对理解与开放式红外推理。
• 论文的区分：这些研究问模型能否理解红外内容；本文问物理扰动下语义是否仍然忠实。作者称红外图编码形状、热分布和低纹理线索，局部热补丁可能影响全局类别语义。

多模态与CLIP/VLM攻击

• 可见光侧：Qi等（2024）的视觉越狱，Yin等（2023）的VLAttack，Xie等（2025）的迁移攻击，以及物理世界LVLM补丁、大规模定向攻击和CLIP表示上的高迁移攻击（Liu等，2026；Zhang等，2025；Huang等，2025）。
• 论文的区分：作者称其中多数在可见光数字设置中优化像素或生成器扰动，或依赖任务特定图文目标，并不需要制造稳定红外物件。

无梯度物理优化

• 搜索：差分进化（Storn and Price，1997）、协方差矩阵自适应（Hansen and Ostermeier，2001），以及有限查询的基于分数的黑盒攻击（Ilyas等，2018；Andriushchenko and Croce，2020）。
• 变换：EOT采样捕获条件，TPS建模非刚性形变（Athalye等，2018；Bookstein，1989）。论文称搜索空间若不约束，优化器可能找到数字有效但难制造或难附着的高频图案。

基线与数据：实验基线为HCB、AdvGrid和QR Code，适配到统一区域、损失和评测协议。主实验用Infrared-COCO；迁移用LSOTB-TIR、LLVIP、M3FD和FLIR ADAS v1.3。

作者将UCGP定位为可复用热补丁：攻击视觉表示中的干净类别流形，并把语义脆弱性作为系统性质，跨分类、描述、VQA、迁移和物理部署评测。

UCGP不改标签或提示词，而在视觉表示空间扰乱干净类别流形，再从分类、描述和VQA观察下游偏差。同一参数跨图像复用，主比较也不为每个下游任务另调补丁。

问题设定

• 渲染粘贴：红外图像集与目标区域给定后，共享参数经算子贴到各图。x′_i=R(x_i,θ,b_i)表示同一补丁渲染后贴到第i张图的目标区域。
• 接口：优化使用图像编码器的归一化特征；文本侧只用于下游评测。论文称连续目标由视觉表示构成。
• 两类增强：EOT采样最终图像的捕获条件及轻度贴附变化；TPS在粘贴前扭曲已渲染补丁，用来模拟衣物折叠等局部非刚性变化。二者是评估时的物理增强，不是单独的攻击目标。

弯曲网格参数化

• 低维结构：G×G网格上，参数含单元门控和边形变。门控决定单元边界是否参与；相邻激活单元共享边界并只绘制一次。选中边用二次Bézier，形变沿法向移动控制点，最大位移为δ乘单元边长。
• 作者给出的理由：像素空间自由度高，无梯度搜索会利用孤立高频像素，制造、附着、下采样和红外捕获后不稳定。弯曲网格把搜索收成低频连通线段。
• 拓扑与默认值：Fig. 3中，δ<0.50时网格连续平滑；δ≥0.50时路径相交或自交，破坏轮廓连续。主实验取G=5、δ=0.40、边长为目标高度的1/4、线宽为单元边长的0.20、默认黑色。

表示层目标

干净参考集取模型在干净输入下稳定认成目标类的样本；主实验类为person。特征归一化后求均值，再用PCA/SVD取前k个主方向。落在该子空间内被视为正常类内变化，正交方向被视为离开该类结构。k的具体值论文未给出。

L=L_subspace+λ_topoL_topo+λ_budgetL_budget把子空间偏离、拓扑破坏和局部外观正则加在同一共享参数上。主实验λtopo=0.12，λbudget=0.03。

• 子空间项：对抗特征相对主子空间的正交偏离取批平均；最小化时加负号，从而增大偏离。
• 拓扑项：干净与对抗特征的行归一化高斯邻接用Graph-KL。作者称最小化该损失等价于增大邻域分布的KL，强调结构错位，而不只是均值平移。尺度由干净特征成对平方距离的中位数估计。
• 预算项：热统计、边界梯度和面积。热项惩罚补丁与周围背景环的均值和方差差；边界项抑制激活边界上过高的梯度；面积项约束有效覆盖。作者称这些项不追求红外不可见。

优化流程

• 为何用MetaDE：软渲染、TPS、粘贴、EOT和前向推理使目标对补丁参数不可微，且每次评估昂贵、有噪声。作者用MetaDE做无梯度搜索。
• 步骤：先算干净统计，初始化种群；每代抽评估子集，变异交叉得到试验补丁，对子集中每个样本各采一次EOT变换和一次TPS扭曲，用蒙特卡洛适应度比较并接受更优个体。停滞时刷新部分种群。Algorithm 1给出伪代码。
• 预算：种群50，代数100，并写有固定查询预算；具体查询次数和蒙特卡洛样本数K论文未给出。硬件为八块RTX 4090；未另行说明时，每个优化或评测进程用一块GPU。全程只保留一个补丁参数，不按图像再优化。

成功判定

• 分类：80类MS-COCO标签空间中，person样本的top-1不是person即算成功。ASR是该比例。条件于成功样本，另报∆sprom和Madv：前者是获胜竞争类相对其干净logit的提升，后者是该竞争类相对原类的最终间隔。logit来自缩放余弦相似度的pre-softmax分数。
• 生成：沿用LLM-as-a-judge。描述把0–30分归一化成0–100的Consistency Score；VQA按答案对错平均成0–100的Correctness Score。表中向下箭头是干净到对抗的绝对分数下降。评审模型为GPT-5；提示在补充材料，正文未给出提示词。
• 自然度：GPT-5的5分Nat.只作观感检查，不进入优化。作者称不应把它解释成红外不可见。

实验设置

• 主数据：除迁移外，实验在Infrared-COCO。该集约17k张由MS-COCO合成的红外图，以及12k对问答。person类概率高于0.50的有效图中采样300张，分类、描述、VQA共用。跨类别时为每个目标类重建干净参考，并重跑同一流程，不做类别专用改设计。
• 迁移集：LSOTB-TIR、LLVIP、M3FD、FLIR ADAS v1.3。作者称它们分别对应跟踪中的尺度与运动、低光可见–红外、复杂背景多光谱检测和热成像驾驶。
• 模型与训练：分类为OpenAI CLIP ViT-L/14、OpenCLIP ViT-B/16、Meta-CLIP ViT-L/14、EVA-CLIP ViT-G/14。生成接口为LLaVA-1.5 (7B)、LLaVA-1.6 (13B)、OpenFlamingo (3B)、BLIP-2 FlanT5XL ViT-L (3.4B)、BLIP-2 FlanT5XL (4.1B)、InstructBLIP FlanT5XL (4.1B)；图像编码器为OpenAI CLIP ViT-L/14或EVA-CLIP ViT-G/14。权重从自然图像预训练出发，冻结骨干，用LoRA；分类用InfoNCE，生成用next-token，验证损失不再下降即停。论文称除非另有说明，后续分类实验以OpenAI CLIP ViT-L/14同时作为surrogate和evaluation model。
• 基线与指标：HCB、AdvGrid、QR Code被适配到同一区域、损失、图像和下游模型。分类看ASR；描述看Consistency Score；VQA看Correctness Score；迁移另看∆sprom、Madv；Table I另看Nat.。生成与Nat.的评审都是GPT-5。论文未报告重复次数，也未报告评审与人工的一致性。
• 物理采集：InfiRay XL19V2，384×288，灵敏度<18 mK。冷贴片保持24°C、10小时。补丁贴在内衣上并由外衣覆盖，红外中仍清晰。室内6.2–11.0 m，室外7.8–12.6 m。每场景视频约80–90秒，按3 fps均匀采样。

主结果

Table I为分类ASR与Nat.。干净输入的Nat.均为3.26。论文未写明这四行是否各自以该骨干为优化时的surrogate。

表格较宽，可左右滑动

模型	UCGP ASR	同表最高基线	UCGP Nat.
OpenAI CLIP ViT-L/14	94.33%	QR Code 22.67%	2.33（↓0.93）
OpenCLIP ViT-B/16	61.67%	HCB 34.00%	2.30（↓0.96）
Meta-CLIP ViT-L/14	34.33%	HCB 20.67%	2.25（↓1.01）
EVA-CLIP ViT-G/14	48.00%	AdvGrid 27.67%	2.37（↓0.89）

• 作者称四个骨干上UCGP的ASR最高或明显领先，局部外观分数仍可比。表中Meta-CLIP ViT-L/14的UCGP ASR最低，与最强基线的差距也最小；该行UCGP的Nat.为2.25，AdvGrid为2.26。
• 作者称骨干差异不均：OpenAI CLIP ViT-L/14最易被攻击，Meta-CLIP ViT-L/14最不易，其余两者居中。作者称Fig. 5中同一补丁改变了OpenAI CLIP与EVA-CLIP的预测语义。
• 作者称三种基线能扰动局部证据，但全局person表示常常仍在；UCGP被优化为离开干净类别流形，不必模仿某个非person物体。Nat.只作观感检查。

描述与VQA

作者称UCGP在全部六个描述和VQA设置中下降最大。下表只列UCGP相对干净输出的绝对下降（分），基线分数见Table II、III。评审为GPT-5。

表格较宽，可左右滑动

模型	图像编码器	描述下降	VQA下降
LLaVA-1.5 (7B)	OpenAI CLIP ViT-L/14	17.24	16.87
LLaVA-1.6 (13B)	OpenAI CLIP ViT-L/14	15.24	16.15
OpenFlamingo (3B)	OpenAI CLIP ViT-L/14	19.40	19.53
BLIP-2 FlanT5XL ViT-L (3.4B)	OpenAI CLIP ViT-L/14	17.67	15.54
BLIP-2 FlanT5XL (4.1B)	EVA-CLIP ViT-G/14	18.40	18.49
InstructBLIP FlanT5XL (4.1B)	EVA-CLIP ViT-G/14	19.52	22.55

• 作者称描述下降为15.24到19.52分，VQA下降为15.54到22.55分，并称补丁影响的是不同语言接口共用的视觉证据。
• Fig. 6中对抗输出仍流畅，但常改变主体类别、动作或场景关系。作者据此称这是语义下降，而不只是措辞变化。图中评分样例的具体分数在纯文本中未完整保留，不逐条抄。
• 主比较不为每个下游任务另调补丁。作者称这比任务专用攻击更保守。

物理、迁移与跨类别

• 物理：作者强调补丁不是为了在红外中隐藏穿着者。Fig. 7含0°、+30°、−30°，以及室内6.2–11.0 m、室外7.8–12.6 m。Fig. 8的场景平均ASR（AASR）室内70.76%、室外73.96%。作者认为室外略高可能部分因为热背景更复杂；最远室外仍有下降，因为远距离降低补丁有效分辨率。该段未另写模型名；第四节的默认分类模型是OpenAI CLIP ViT-L/14。
• 跨数据集：Table IV的AVG含源与目标相同的对角线。作者报告OpenAI CLIP五个源的平均ASR为95.37%–97.24%；OpenCLIP为21.75%–29.69%；Meta-CLIP为22.11%–57.17%；EVA-CLIP为21.35%–64.58%。作者认为差异与骨干预训练及红外域表示几何相符，而不是各编码器上均匀的迁移。正文未逐格解释的单元格不另抄。
• 跨模型与跨类别：Table V同骨干对角线一般为最强：OpenAI CLIP源94.33%–100.00%，EVA-CLIP源26.67%–80.45%。OpenAI surrogate的平均受害ASR为31.24%–50.93%，Meta-CLIP源为12.74%–28.01%，平均都含对角线。作者称非对角线更弱但仍可观察。Table VI每类N=300：person 94.33%，dog 98.67%，car 61.00%，bicycle 56.00%。作者认为后两类较低可能因为物体更刚、更长或更延伸，固定大小局部补丁覆盖的判别证据更少。Table VI未另写分类器名。

防御评测

Table VIII的Drop是相对无防御的绝对ASR下降。表未写模型名；无防御ASR为94.33%。AT只微调LoRA，骨干冻结；对抗样本来自同一EOT/TPS族的随机变换补丁渲染。

表格较宽，可左右滑动

设置	防御者信息	ASR	Drop
无防御	无	94.33%	—
DW-1	位置盲的图像修复	45.33%	49.00
DW-2	有补丁位置先验	24.67%	69.66
AT-1	针对原始补丁	15.33%	79.00
AT-2	对加固模型自适应重优化	78.00%	16.33

• 作者称现有防御能减轻攻击，但没有一种是完整防御。有位置先验的修复强于盲修复，仍不完整。
• AT-1最低。作者称这是因为加固模型直接见过原始通用补丁分布。AT-2升至78.00%。作者称对固定补丁的稳健并未消除底层语义脆弱性，防御评测应同时包含已知补丁和自适应重优化。

其他消融与分析

• Table VII只改命名组件。OpenAI CLIP ViT-L/14上：全模型94.33%，像素优化30.33%，直边7.00%，随机拓扑5.33%，用标准DE替换MetaDE为76.00%。随机拓扑的最低值为Meta-CLIP ViT-L/14的2.00%；其余三骨干的对应格子见Table VII。
• 正文对Fig. 9：OpenAI CLIP ViT-L/14上去掉拓扑损失后ASR为68.33%，去掉子空间损失后为35.00%。作者称其余骨干顺序相同。图中其余柱在纯文本里列对不齐，不抄。
• Fig. 12：作者称四骨干ASR在300张优化图像后大致收敛；图中标注Stable regime（Δmax ≤ 2.73 pp）。主实验因此用300张。
• Fig. 3：δ<0.50网格连续，δ≥0.50出现相交或自交。Fig. 10扫描种群、线宽、灰度和λtopo；Fig. 11扫描补丁面积比与网格数，金色框标出主实验默认配置。正文未逐点给出这些曲线的ASR，不抄可能错列的图中数字。
• 作者称直边和随机拓扑使ASR降到接近失败，连通曲线是主要结构因素；换成标准DE的降幅小于结构消融。
• 例外：Table I中Meta-CLIP的ASR最低；Table VI中bicycle、car低于person和dog；Table V中若干异构配对更弱，作者未对每一对单独解释；Table VIII中AT-2回升到78.00%。

作者指出的局限与后续方向

• 审计接口（第六节）：作者把representation-visible审计接口列为证据边界，即优化依赖可读的视觉表示。
• 物理因素（第六节）：作者写明EOT/TPS并未完全覆盖依赖材料的热响应、环境温度变化、传感器非线性、遮挡或相机后处理。
• 后续评测（第六节）：作者称后续评测应包括联合优化的贴附位置、更长视频、多台热相机、不同材料、带置信区间的更大规模类别集，以及把图像修复和表示层训练结合起来的自适应防御。
• 防御需求（第七节）：作者称需要针对实践中跨模态语义操纵的更强防御。

实验覆盖范围

• 分类评测四个CLIP骨干；描述与VQA评测六个生成配置，图像编码器为OpenAI CLIP ViT-L/14或EVA-CLIP ViT-G/14；生成分数和Nat.由GPT-5评审（第四节，Table I–III）。
• 主任务用Infrared-COCO的person，类概率高于0.50，300张图像；分类标签空间为80类MS-COCO。迁移集为LSOTB-TIR、LLVIP、M3FD、FLIR ADAS v1.3（第四节，Table IV）。
• 跨类别为person、dog、bicycle、car，每类N=300（Table VI）。防御为数字水印DW-1、DW-2和对抗训练AT-1、AT-2（第五节，Table VIII）。
• 物理部署使用InfiRay XL19V2，室内6.2–11.0 m、室外7.8–12.6 m，视角含0°与±30°，每场景视频约80–90秒，3 fps采样（第四节，Fig. 7–8）。
• 论文未报告固定查询预算的具体次数、蒙特卡洛样本数K、重复次数，以及GPT-5评审与人工的一致性。第三节把严格output-only API留作后续；正文实验按representation-visible接口进行。

UCGP是面向红外视觉语言模型的通用物理对抗补丁。问题是：一块可贴上并跨样本复用的物体，能否让分类、描述和VQA共用的红外视觉证据出现稳定语义偏差。

补丁被限制成低频弯曲网格。优化不改标签或提示词，而是增大相对干净类别子空间的正交偏离、拉大邻域图的Graph-KL，并正则热统计、边界和面积。MetaDE在EOT与TPS下搜索同一组参数。

• 分类：Infrared-COCO、person、300张上，四个CLIP骨干的UCGP ASR为94.33%、61.67%、34.33%和48.00%（Table I），都高于同表基线。
• 生成：GPT-5评审下，描述一致性下降15.24–19.52分，VQA正确率下降15.54–22.55分（Table II、III）。
• 物理与迁移：室内AASR 70.76%，室外73.96%（Fig. 8）。OpenAI CLIP跨数据集平均ASR为95.37%–97.24%（Table IV，含对角线）。
• 防御：Table VIII中AT-1的ASR为15.33%，对加固模型重优化后的AT-2为78.00%。

作者称一条共享补丁可以造成超出闭集标签翻转的语义下降，也带出防御和实拍条件下的边界；并称当前红外多模态系统存在鲁棒性盲区，需要更强的跨模态语义防御。作者称据其所知，这是对该设定的首次系统研究。