PDA：面向视觉语言模型对抗图像攻击的免训练文本增强防御框架

VLM会被难以察觉的对抗图像扰动带偏，而现有防御常需梯度、难泛化到未见攻击，或损害干净输入。

• 场景：作者称VLM已用于通用多模态系统，以及医学成像、自动驾驶和机器人控制。人眼难辨的图像扰动可造成大的预测偏移，部署风险大于可见的文本操纵。
• 现有不足：作者列出四点。一阶方法要输入梯度，许多闭源VLM只能经API拿到输出token。训练期方法多用特定扰动（如ℓ∞有界），作者称因而难泛化到未见扰动或任务。部分方法绑定特定训练目标或骨干架构。若干对抗训练以干净输入性能下降换鲁棒性。
• 观察：设计受randomized smoothing及其在LLM上的改编启发。作者预期对抗图像常位于决策边界附近的尖峰区；在高维文本空间搜索局部邻域，有助于找回与图像一致的语义。
• 做法：提出Paraphrase–Decomposition–Aggregation（PDA）。测试时做提示词改写、问题拆解和一致性聚合，不改参数；并给出降低推理成本的变体。
• 威胁模型：
  • 目标：扰动图像，使VLM产生错误输出。形式为在∥δ∥p≤ε下最大化损失（Section 3.1）。
  • 知识：本研究假定white-box，攻击者可获架构、参数和∇δL，从而用FGSM、PGD。实验另含black-box迁移与查询式设置。
  • 能力：像素级扰动。自适应攻击用EOT，对PDA的改写与拆问采样，优化期望损失。
  • 受害与防御接口：受害系统是VLM。防御只需black-box访问。作者称它与架构、任务和扰动类型无关。

作者按攻击、防御与randomized smoothing组织相关工作，并把PDA放在只需black-box的决策层防御上。

针对VLM的攻击

• 白盒图像攻击：FGSM、PGD、AutoAttack可直接用于视觉编码器。
• 黑盒与迁移：AttackVLM系统评估指令微调VLM上的迁移与查询式定向攻击。VLATTACK、Chain of Attack、AnyAttack用预训练视觉–语言编码器构造图文对扰动，以增强可迁移性与规模。作者称这些观察加重了对对抗视觉输入的安全关切。

针对VLM的防御

• 训练期：TeCoA与FARE用文本引导的对比或鲁棒嵌入目标，对抗微调CLIP视觉编码器，使零样本鲁棒性迁到下游VLM。对抗提示调优冻结编码器，学习鲁棒文本提示或注意力模块。作者称这些方法仍要生成对抗样本并做大量离线优化，数据受限时适用性下降。
• 测试期：TAPT按输入学习双模态防御提示，最小化多视图熵并对齐干净与对抗特征。R-TPT改写熵目标并做可靠性加权聚合；C-TPT用文本特征离散度校准提示更新；TDA用免训练动态适配器与键值缓存。作者称它们依赖增强视图上的适配器优化，多在CLIP式零样本分类上评估，且仍假定white-box梯度或内部表示。
• 架构与提示：另有工作分析架构选择和简单提示模式本身如何影响鲁棒性。

Randomized smoothing

• 分类证书：经典工作用噪声扰动集成和多数投票给出实例级证书，并建立高斯平滑的ℓ2保证；后续包括对抗训练的平滑分类器、半径最大化目标与广义平滑测度。
• 语言模型：SmoothLLM在字符级扰动提示，以稳定越狱下的输出；SemanticSmooth对语义变换后的提示聚合预测，面向更强的提示级攻击。
• 视觉–语言：PromptSmooth学习零样本或少样本文本提示，使固定Med-VLM在高斯图像噪声下保持准确；Open-Vocabulary Certification用增量平滑与缓存加速CLIP式认证。作者称这些方法多在视觉或嵌入空间、针对特定架构和分类做平滑，没有重塑完整多模态决策或生成输出。

实验基线与基准

• 对照：文本侧基线为SmoothLLM（Swap/Insert/Patch）与SemanticSmooth（Paraphrase/Summarise）；训练期参照为TeCoA、FARE的已发布权重。测试期还比较JPEG、随机增强、LLaVA-CoT与self-consistency。基准为VQA-v2、ImageNet-D、MS COCO。

作者将PDA定位为training-free、只访问文本接口、在决策层聚合多个文本视图的防御，以区别于需要梯度或内部表示、且主要评在分类上的测试期方法。

PDA冻结参数，在测试时从文本侧采样多个视图并聚合，只需black-box访问。

问题设定

• 模型：用fθ(x; t)→y表示VLM，t通常是与图像相关的问题或指令，y为生成答案。
• 攻击：δ^∗=argmax_δ L(f_θ(x+δ;t), y) s.t. ‖δ‖_p≤ϵ。含义是在ℓp球内最大化使输出偏离的损失。评估假定攻击者white-box，可用∇δL做FGSM、PGD。
• 文本侧扰动：T(·)把t映到t′，改字面、保持语义。除字符编辑和同义词外，还包括句子重组，以及把复杂查询拆成原子问题。作者引用既有文献称对抗扰动通常改变高频、低层、难解释特征，因而希望利用高层可解释特征。

三阶段

• 改写：改写代理T1（通常为LLM）采样S={t₁,…,t_n}, t_i∼ T₁(t;ϕ)。ϕ控制多样性。作者把这些响应称为文本变换上的期望估计，并类比视觉中的EOT，但是在文本域。此阶段不用图像，以免对抗像素影响问题构造。
• 拆解：对每条改写ti，拆解代理T2生成原子问题序列。每个问题针对单一视觉事实，如物体是否存在、属性、空间关系、计数或简单比较。论文要求子答案足以回答ti，且只引用图像中原则上可得的证据。附录B给出完整提示词。
• 聚合：先把每条改写的问答对收成候选答案，再跨改写汇总。封闭候选集用投票；开放生成（如caption）用LLM，提示描述如何组织响应。Algorithm 1对结构化任务把投票指示求和后取argmax。

四种预算变体

Table 1用N记改写数（图注写作保留改写数M），K为每条改写的原子问题数。四列依次为改写LLM、拆解VLM、拆解LLM、聚合LLM。

• PDA-Full：1 / N×K / N×K+N / 1。走完改写、拆问，按一致性过滤后再由LLM聚合。图注又称原子问题在每条改写的单次VLM调用内生成；表单元格为N×K次VLM，Algorithm 1则逐个原子问题调用。
• PDA-RJV：1 / N / N / 0。跳过拆问。VLM对每条改写给出答案和简短理由，小型LLM逐条评判后再投票。Section 3.3写weighted vote，Section 4.1写majority voting。
• PDA-RDA：1 / N / 0 / 1。不拆问，一次LLM调用联合审阅全部（改写、答案、理由）并直接给出决定。
• PDA-PV：1 / N / 0 / 0。面向封闭候选集。改写不必语义等价，但应逻辑等价并保持正确选项。论文举例：把服装名改写成上下身衣物。最终对VLM答案做多数投票。

接口

防御不更新θ，防御方也不需要梯度。作者称可按任务即插即用。改写条数、原子问题数和默认代理见实验设置。

实验设置

• 受害模型：主比较为LLaVA-1.5-7B与LLaVA-1.5-13B。另评DeepSeek-VL-1.3B、InternVL3-2B、Ovis2-4B。闭源为GPT-5、Claude、Gemini，协议是在LLaVA上做white-box PGD再迁移。
• 数据与指标：VQA-v2用VQA Accuracy；ImageNet-D用Top-1 Accuracy，作者称其在保持类别语义时扰动干扰因素；MS COCO caption用CLIPScore，衡量生成描述与参考描述的相似度。论文未报告样本量、重复次数和统计检验。
• 攻击：white-box为PGD，默认ε=2/255，并扫ε∈{2,4,6,8}/255，以及针对改写与拆问的EOT-P、EOT-D、EOT-PD。black-box为迁移协议、AttackVLM、AnyAttack，采用原文默认配置。
• 基线：SmoothLLM（Swap/Insert/Patch）、SemanticSmooth（Paraphrase/Summarise），二者各聚合10个随机视图；TeCoA、FARE用公开权重在PGD下直接推理。另有JPEG、随机增强（RA）、LLaVA-CoT、self-consistency。
• PDA默认：主比较表用PDA-Full，代理为GPT-4.1-mini。VQA-v2与ImageNet-D为5条改写、每条3个原子问题，共15问；子答案先由LLM收成改写级答案，再对5个答案多数投票。COCO为2条改写、5个原子问题。
• 变体：RJV保留5条改写、去掉拆问，逐条评判后投票；RDA一次传入全部五元组；PV用5条逻辑等价改写，对VLM答案投票。代理比较还包括DeepSeek-Chat、Llama-3.1-8B-Instruct、Qwen2.5-14B-Instruct。

主结果

下表据Table 2，受害模型为LLaVA-1.5，PGD、ε=2/255。列为VQA Accuracy的Clean/ADV，以及ImageNet-D、COCO的ADV。

表格较宽，可左右滑动

模型	方法	VQA Clean	VQA ADV	IN-D ADV	COCO ADV
LLaVA-1.5-7B	No Defense	0.862	0.445	0.248	0.753
LLaVA-1.5-7B	TeCoA	0.787	0.689	0.569	0.783
LLaVA-1.5-7B	FARE	0.828	0.703	0.511	0.806
LLaVA-1.5-7B	PDA	0.871	0.754	0.570	0.774
LLaVA-1.5-13B	No Defense	0.886	0.593	0.320	0.757
LLaVA-1.5-13B	TeCoA	0.830	0.672	0.611	0.791
LLaVA-1.5-13B	FARE	0.838	0.729	0.625	0.805
LLaVA-1.5-13B	PDA	0.879	0.787	0.566	0.778

• 作者称PDA提高对抗准确率，且干净准确率基本不变。表中13B的VQA Clean低于无防御。COCO Clean未列入上表：7B的PDA为0.860、无防御0.858；13B为0.862对0.865。
• ImageNet-D的Clean（Table 2，未列入上表）：7B无防御0.625、PDA 0.758；13B为0.646对0.798。作者称交叉核对减少虚假预测，因而该集上干净准确率也上升。Figure 3的caption示例标注CLIP Score 0.672与0.893，图中未写模型。
• Table 2中SmoothLLM与SemanticSmooth的ADV接近无防御行。COCO的ADV以及13B的ImageNet-D ADV上，TeCoA或FARE高于PDA，同时其VQA Clean更低。

更强白盒与自适应攻击

• Table 3扫PGD预算并比较EOT。表未写受害模型与PDA变体。无防御在ImageNet-D/VQA-v2上从2/255的0.25/0.45降到8/255的0.17/0.39；PDA为0.57/0.75到0.54/0.72。6/255时PDA的ImageNet-D为0.53，8/255为0.54。
• 自适应攻击：PGD下PDA为0.57/0.75；EOT-P为0.53/0.72，EOT-D为0.55/0.70，EOT-PD为0.54/0.74。无防御对应为0.25/0.45、0.20/0.41、0.23/0.40、0.21/0.42。
• 作者称PDA并不只对单一预算有效；EOT强于普通PGD，但PDA未垮掉，相对无防御仍有差距。作者认为收益并非只因攻击者与随机管线不匹配。

黑盒与闭源迁移

• Table 4每格为无防御/PDA，模型未写明。ImageNet-D：迁移0.58/0.62，AttackVLM 0.56/0.61，AnyAttack 0.61/0.64。VQA-v2：0.77/0.81、0.75/0.79、0.79/0.81。作者称黑盒绝对分数高于强white-box PGD，因为黑盒通常更弱；并称增益跨攻击族保持。
• Table 5为LLaVA上PGD图像迁到API，格式为ImageNet-D/VQA-v2，变体未写明。GPT-5：无防御0.67/0.81，PDA 0.76/0.90。Claude：0.61/0.82到0.70/0.88。Gemini：0.67/0.76到0.72/0.86。
• 作者称PDA可作为黑盒包装用于专有模型，并与查询式黑盒结果相互补充。

测试期对照

• Table 6未写模型，威胁为ℓ∞ PGD、ε=2/255。无防御0.25/0.45；PDA 0.57（+0.32）/0.75（+0.30）。JPEG 0.51（+0.26）/0.68（+0.23），JPEG+PDA 0.61（+0.36）/0.77（+0.32）。RA 0.55（+0.30）/0.70（+0.25），RA+PDA 0.67（+0.42）/0.80（+0.35）。
• 推理基线：LLaVA-CoT 0.53（+0.28）/0.51（+0.06）；self-consistency 0.32（+0.07）/0.49（+0.04）。
• 作者认为JPEG、RA与PDA大体正交：预处理减弱像素扰动，PDA用多样文本视图抑制不能跨视图保持的失败。作者认为更长理由或多次采样不能可靠恢复被扰动的视觉线索，还可能放大虚假证据。

其他消融与分析

• 变体（Table 7，robustness %，VQA-v2/ImageNet-D）：LLaVA-1.5-7B无防御47.2/26.8，RJV 65.2/49.0，RDA 61.2/45.8，PV 58.4/57.0。Ovis2的VQA：无防御88.0，RJV 87.4，RDA 89.8。
• 同表ImageNet-D：DeepSeek-VL的PV为70.2，高于RJV的53.4；InternVL3的PV为31.4，低于RJV的39.4。作者称分类上PV通常更好，VQA上更细的拆问通常更有用。
• 改写数K（Table 8，ImageNet-D ADV）：PDA-RJV在LLaVA-1.5-7B上K=3/5/7/9为49.2、53.2、53.0、52.2；InternVL3的K=7为29.2，低于K=3的40.8。
• PDA-RDA同表：LLaVA-1.5-7B为47.0、43.7、43.9、43.5。作者称K到中等范围后趋于饱和，主实验用K=5；并称过长上下文和更噪的改写可能稀释聚合。
• 代理（Table 9，K=5，%）：Ovis2上LLaMA为61.2/41.2，DeepSeek为90.0/49.2，GPT为89.8/48.4。论文未说明该表是哪一变体。作者称VQA上更强的指令跟随有助于拆解，ImageNet-D上差距变小。
• 耗时（ImageNet-D，受害LLaVA-1.5-13B，聚合DeepSeek-Chat，RTX A6000）：无防御4.5秒，Full 15.5，RJV 10.5，RDA 6.0，PV 5.5。作者称Full在DeepSeek-VL与LLaVA-1.5-7B上VQA最强，Table 7未给出Full的数值。

作者指出的局限与后续方向

• 认证与更强攻击：论文没有单独的Limitations或Future Work节。结论希望这一training-free、推理期鲁棒性的视角推动对有原则的认证和更强攻击设置的研究，以推进VLM在真实使用中的安全（Section 5）。

实验覆盖范围

• 模型：开源受害模型为LLaVA-1.5-7B、LLaVA-1.5-13B、DeepSeek-VL-1.3B、InternVL3-2B、Ovis2-4B。闭源为GPT-5、Claude、Gemini，图像由LLaVA上的white-box PGD生成后迁移（Section 4.1、4.3，Table 5）。
• 任务与白盒攻击：VQA-v2（VQA Accuracy）、ImageNet-D（Top-1）、MS COCO（CLIPScore）。主白盒攻击为PGD，ε=2/255；另扫ε∈{2,4,6,8}/255，以及EOT-P、EOT-D、EOT-PD（Table 2、3）。
• 黑盒与对照：黑盒含迁移协议、AttackVLM、AnyAttack，使用原文默认配置；Table 4未写受害模型名。基线含SmoothLLM、SemanticSmooth、TeCoA、FARE、JPEG、RA、LLaVA-CoT、self-consistency。
• 变体与代理：报告了PDA-Full、PDA-RJV、PDA-RDA、PDA-PV。代理比较了GPT-4.1-mini、DeepSeek-Chat、Llama-3.1-8B-Instruct、Qwen2.5-14B-Instruct（Section 4.1、4.5，Table 9）。
• 未报告项：论文未报告各表样本量、重复次数、黑盒查询次数，也未报告统计显著性检验。Table 3、4、6未写明受害模型；Table 9未写明PDA变体。

PDA是针对VLM对抗图像扰动的training-free文本侧防御，防御方只需black-box输出。

• 问题：作者认为现有对抗训练与提示调优往往要梯度或特定架构，难泛化到未见扰动，并可能降低干净输入表现。PDA在测试时把查询改写成多个视图，拆成可核验的原子问题，再按一致性聚合，以压低不能跨视图保持的错误。
• 主结果：Table 2、PGD、ε=2/255下，LLaVA-1.5-7B的VQA-v2 ADV从无防御0.445到PDA 0.754，13B从0.593到0.787；7B的ImageNet-D ADV从0.248到0.570。COCO ADV从0.753到0.774（7B），同格FARE为0.806。
• 干净输入：7B的ImageNet-D Clean从0.625到0.758。13B的VQA-v2 Clean从0.886到0.879。作者称干净性能大体保持，并称ImageNet-D上交叉核对还提高了干净准确率。
• 迁移与变体：Table 5中，自LLaVA迁出的图像上，GPT-5的PDA为ImageNet-D 0.76、VQA-v2 0.90，无防御为0.67/0.81。Table 7中Ovis2的VQA，PDA-RJV为87.4%，无防御为88.0%。ImageNet-D上，Full/RJV/RDA/PV的每样本耗时为15.5/10.5/6.0/5.5秒（受害LLaVA-1.5-13B）。
• 作者结论：作者认为PDA可在多种任务和骨干上于推理期使用；压缩变体能保留大部分鲁棒性并降低延迟，具体配方随任务而变。结论希望后续研究认证和更强攻击设置。