Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2604.01010· Jingning Xu, Haochen Luo, Chen Liu·Indexed by this site · Originally published

PDA: A Training-Free Text Augmentation Defense Framework for Adversarial Image Attacks on Vision-Language Models

PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

测试时防御PDA：LLaVA-1.5-7B上VQA-v2的ADV从0.445到0.754（Table 2）。

Threat model评估假定 white-box：攻击者可获架构、参数与损失对扰动的梯度，用 PGD，并可对 PDA 的改写与拆问做 EOT。

Questions
VLM易被人类难以察觉的图像扰动带偏，而对抗训练贵、常要梯度、难泛化到未见攻击，且可能伤害干净输入。作者要一种training-free、只需black-box文本接口的通用防御。
Methods
PDA冻结VLM，测试时由LLM把查询改成多个语义等价提示，再拆成原子问题，由VLM作答后按一致性聚合。另有省掉拆问或改为逻辑等价改写再投票的变体。
Experiments and results
作者报告LLaVA-1.5-7B上PDA的VQA-v2 ADV为0.754，无防御为0.445（Table 2）。ImageNet-D与Table 5的闭源迁移中PDA高于无防御；COCO上FARE的ADV高于PDA。
Limitations and future work
论文未专节写局限。结论希望后续研究有原则的认证和更强攻击设置。实验含VQA-v2、ImageNet-D、COCO，以及开源VLM与三种闭源API的迁移；未报告样本量与重复次数。
Experimental setupLLaVA-1.5-7B、LLaVA-1.5-13B et al. · VQA-v2、ImageNet-D et al. · VQA Accuracy、Top-1 Accuracy et al.
Threat model
评估假定 white-box：攻击者可获架构、参数与损失对扰动的梯度，用 PGD，并可对 PDA 的改写与拆问做 EOT。另评 black-box 迁移、AttackVLM 与 AnyAttack。受害系统为 VLM；防御仅需 black-box 文本接口，training-free，不改参数。
Evaluated models
LLaVA-1.5-7BLLaVA-1.5-13BDeepSeek-VL-1.3BInternVL3-2BOvis2-4BGPT-5ClaudeGemini
Benchmarks
VQA-v2ImageNet-DMS COCO
Metrics
VQA AccuracyTop-1 AccuracyCLIPScore
AI summaryPDA (Paraphrase-Decomposition-Aggregation) uses text augmentation at inference time to improve the robustness of vision-language models against adversarial image attacks, without any training and without modifying the underlying model. It performs prompt paraphrasing, question decomposition, and consistency aggregation at test time, and can be instantiated as invariants to reduce inference cost. Across visual question answering, classification, and image captioning benchmarks on various VLM architectures, PDA achieves consistent robustness improvements against multiple adversarial perturbations while maintaining competitive clean accuracy.

PDA (Paraphrase-Decomposition-Aggregation) uses text augmentation at inference time to improve the robustness of vision-language models against adversarial image attacks, without any training and without modifying the underlying model. It performs prompt paraphrasing, question decomposition, and consistency aggregation at test time, and can be instantiated as invariants to reduce inference cost. Across visual question answering, classification, and image captioning benchmarks on various VLM architectures, PDA achieves consistent robustness improvements against multiple adversarial perturbations while maintaining competitive clean accuracy.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    VLM易受对抗图像扰动影响；PDA用测试时文本增强、在black-box下做训练无关防御。

    VLM会被难以察觉的对抗图像扰动带偏，而现有防御常需梯度、难泛化到未见攻击，或损害干净输入。

    • 场景：作者称VLM已用于通用多模态系统，以及医学成像、自动驾驶和机器人控制。人眼难辨的图像扰动可造成大的预测偏移，部署风险大于可见的文本操纵。
    • 现有不足：作者列出四点。一阶方法要输入梯度，许多闭源VLM只能经API拿到输出token。训练期方法多用特定扰动（如ℓ∞有界），作者称因而难泛化到未见扰动或任务。部分方法绑定特定训练目标或骨干架构。若干对抗训练以干净输入性能下降换鲁棒性。
    • 观察：设计受randomized smoothing及其在LLM上的改编启发。作者预期对抗图像常位于决策边界附近的尖峰区；在高维文本空间搜索局部邻域，有助于找回与图像一致的语义。
    • 做法：提出Paraphrase–Decomposition–Aggregation（PDA）。测试时做提示词改写、问题拆解和一致性聚合，不改参数；并给出降低推理成本的变体。
    • 威胁模型：
      • 目标：扰动图像，使VLM产生错误输出。形式为在∥δ∥p≤ε下最大化损失（Section 3.1）。
      • 知识：本研究假定white-box，攻击者可获架构、参数和∇δL，从而用FGSM、PGD。实验另含black-box迁移与查询式设置。
      • 能力：像素级扰动。自适应攻击用EOT，对PDA的改写与拆问采样，优化期望损失。
      • 受害与防御接口：受害系统是VLM。防御只需black-box访问。作者称它与架构、任务和扰动类型无关。

  2. What related research exists?

    相关工作含VLM攻击、对抗训练与测试期提示调优，以及面向LLM/VLM的smoothing。

    作者按攻击、防御与randomized smoothing组织相关工作，并把PDA放在只需black-box的决策层防御上。

    针对VLM的攻击

    • 白盒图像攻击：FGSM、PGD、AutoAttack可直接用于视觉编码器。
    • 黑盒与迁移：AttackVLM系统评估指令微调VLM上的迁移与查询式定向攻击。VLATTACK、Chain of Attack、AnyAttack用预训练视觉–语言编码器构造图文对扰动，以增强可迁移性与规模。作者称这些观察加重了对对抗视觉输入的安全关切。

    针对VLM的防御

    • 训练期：TeCoA与FARE用文本引导的对比或鲁棒嵌入目标，对抗微调CLIP视觉编码器，使零样本鲁棒性迁到下游VLM。对抗提示调优冻结编码器，学习鲁棒文本提示或注意力模块。作者称这些方法仍要生成对抗样本并做大量离线优化，数据受限时适用性下降。
    • 测试期：TAPT按输入学习双模态防御提示，最小化多视图熵并对齐干净与对抗特征。R-TPT改写熵目标并做可靠性加权聚合；C-TPT用文本特征离散度校准提示更新；TDA用免训练动态适配器与键值缓存。作者称它们依赖增强视图上的适配器优化，多在CLIP式零样本分类上评估，且仍假定white-box梯度或内部表示。
    • 架构与提示：另有工作分析架构选择和简单提示模式本身如何影响鲁棒性。

    Randomized smoothing

    • 分类证书：经典工作用噪声扰动集成和多数投票给出实例级证书，并建立高斯平滑的ℓ2保证；后续包括对抗训练的平滑分类器、半径最大化目标与广义平滑测度。
    • 语言模型：SmoothLLM在字符级扰动提示，以稳定越狱下的输出；SemanticSmooth对语义变换后的提示聚合预测，面向更强的提示级攻击。
    • 视觉–语言：PromptSmooth学习零样本或少样本文本提示，使固定Med-VLM在高斯图像噪声下保持准确；Open-Vocabulary Certification用增量平滑与缓存加速CLIP式认证。作者称这些方法多在视觉或嵌入空间、针对特定架构和分类做平滑，没有重塑完整多模态决策或生成输出。

    实验基线与基准

    • 对照：文本侧基线为SmoothLLM（Swap/Insert/Patch）与SemanticSmooth（Paraphrase/Summarise）；训练期参照为TeCoA、FARE的已发布权重。测试期还比较JPEG、随机增强、LLaVA-CoT与self-consistency。基准为VQA-v2、ImageNet-D、MS COCO。

    作者将PDA定位为training-free、只访问文本接口、在决策层聚合多个文本视图的防御，以区别于需要梯度或内部表示、且主要评在分类上的测试期方法。

  3. How does the paper address this problem?

    PDA在测试时改写问题、拆成原子问句，再按一致性聚合，不更新VLM参数。

    PDA冻结参数，在测试时从文本侧采样多个视图并聚合，只需black-box访问。

    问题设定

    • 模型：用fθ(x; t)→y表示VLM，t通常是与图像相关的问题或指令，y为生成答案。
    • 攻击：δ∗=argmaxδ L(fθ(x+δ;t), y) s.t. ‖δ‖p≤ϵ。含义是在ℓp球内最大化使输出偏离的损失。评估假定攻击者white-box，可用∇δL做FGSM、PGD。
    • 文本侧扰动：T(·)把t映到t′，改字面、保持语义。除字符编辑和同义词外，还包括句子重组，以及把复杂查询拆成原子问题。作者引用既有文献称对抗扰动通常改变高频、低层、难解释特征，因而希望利用高层可解释特征。

    三阶段

    • 改写：改写代理T1（通常为LLM）采样S={t1,…,tn}, ti∼ T1(t;ϕ)。ϕ控制多样性。作者把这些响应称为文本变换上的期望估计，并类比视觉中的EOT，但是在文本域。此阶段不用图像，以免对抗像素影响问题构造。
    • 拆解：对每条改写ti，拆解代理T2生成原子问题序列。每个问题针对单一视觉事实，如物体是否存在、属性、空间关系、计数或简单比较。论文要求子答案足以回答ti，且只引用图像中原则上可得的证据。附录B给出完整提示词。
    • 聚合：先把每条改写的问答对收成候选答案，再跨改写汇总。封闭候选集用投票；开放生成（如caption）用LLM，提示描述如何组织响应。Algorithm 1对结构化任务把投票指示求和后取argmax。

    四种预算变体

    Table 1用N记改写数（图注写作保留改写数M），K为每条改写的原子问题数。四列依次为改写LLM、拆解VLM、拆解LLM、聚合LLM。

    • PDA-Full：1 / N×K / N×K+N / 1。走完改写、拆问，按一致性过滤后再由LLM聚合。图注又称原子问题在每条改写的单次VLM调用内生成；表单元格为N×K次VLM，Algorithm 1则逐个原子问题调用。
    • PDA-RJV：1 / N / N / 0。跳过拆问。VLM对每条改写给出答案和简短理由，小型LLM逐条评判后再投票。Section 3.3写weighted vote，Section 4.1写majority voting。
    • PDA-RDA：1 / N / 0 / 1。不拆问，一次LLM调用联合审阅全部（改写、答案、理由）并直接给出决定。
    • PDA-PV：1 / N / 0 / 0。面向封闭候选集。改写不必语义等价，但应逻辑等价并保持正确选项。论文举例：把服装名改写成上下身衣物。最终对VLM答案做多数投票。

    接口

    防御不更新θ，防御方也不需要梯度。作者称可按任务即插即用。改写条数、原子问题数和默认代理见实验设置。

  4. What experiments did the paper conduct?

    作者报告PDA提升PGD下ADV；COCO与部分ImageNet-D上训练期方法ADV更高。

    实验设置

    • 受害模型：主比较为LLaVA-1.5-7B与LLaVA-1.5-13B。另评DeepSeek-VL-1.3B、InternVL3-2B、Ovis2-4B。闭源为GPT-5、Claude、Gemini，协议是在LLaVA上做white-box PGD再迁移。
    • 数据与指标：VQA-v2用VQA Accuracy；ImageNet-D用Top-1 Accuracy，作者称其在保持类别语义时扰动干扰因素；MS COCO caption用CLIPScore，衡量生成描述与参考描述的相似度。论文未报告样本量、重复次数和统计检验。
    • 攻击：white-box为PGD，默认ε=2/255，并扫ε∈{2,4,6,8}/255，以及针对改写与拆问的EOT-P、EOT-D、EOT-PD。black-box为迁移协议、AttackVLM、AnyAttack，采用原文默认配置。
    • 基线：SmoothLLM（Swap/Insert/Patch）、SemanticSmooth（Paraphrase/Summarise），二者各聚合10个随机视图；TeCoA、FARE用公开权重在PGD下直接推理。另有JPEG、随机增强（RA）、LLaVA-CoT、self-consistency。
    • PDA默认：主比较表用PDA-Full，代理为GPT-4.1-mini。VQA-v2与ImageNet-D为5条改写、每条3个原子问题，共15问；子答案先由LLM收成改写级答案，再对5个答案多数投票。COCO为2条改写、5个原子问题。
    • 变体：RJV保留5条改写、去掉拆问，逐条评判后投票；RDA一次传入全部五元组；PV用5条逻辑等价改写，对VLM答案投票。代理比较还包括DeepSeek-Chat、Llama-3.1-8B-Instruct、Qwen2.5-14B-Instruct。

    主结果

    下表据Table 2，受害模型为LLaVA-1.5，PGD、ε=2/255。列为VQA Accuracy的Clean/ADV，以及ImageNet-D、COCO的ADV。

    Swipe horizontally to read the table

    模型方法VQA CleanVQA ADVIN-D ADVCOCO ADV
    LLaVA-1.5-7BNo Defense0.8620.4450.2480.753
    LLaVA-1.5-7BTeCoA0.7870.6890.5690.783
    LLaVA-1.5-7BFARE0.8280.7030.5110.806
    LLaVA-1.5-7BPDA0.8710.7540.5700.774
    LLaVA-1.5-13BNo Defense0.8860.5930.3200.757
    LLaVA-1.5-13BTeCoA0.8300.6720.6110.791
    LLaVA-1.5-13BFARE0.8380.7290.6250.805
    LLaVA-1.5-13BPDA0.8790.7870.5660.778
    • 作者称PDA提高对抗准确率，且干净准确率基本不变。表中13B的VQA Clean低于无防御。COCO Clean未列入上表：7B的PDA为0.860、无防御0.858；13B为0.862对0.865。
    • ImageNet-D的Clean（Table 2，未列入上表）：7B无防御0.625、PDA 0.758；13B为0.646对0.798。作者称交叉核对减少虚假预测，因而该集上干净准确率也上升。Figure 3的caption示例标注CLIP Score 0.672与0.893，图中未写模型。
    • Table 2中SmoothLLM与SemanticSmooth的ADV接近无防御行。COCO的ADV以及13B的ImageNet-D ADV上，TeCoA或FARE高于PDA，同时其VQA Clean更低。

    更强白盒与自适应攻击

    • Table 3扫PGD预算并比较EOT。表未写受害模型与PDA变体。无防御在ImageNet-D/VQA-v2上从2/255的0.25/0.45降到8/255的0.17/0.39；PDA为0.57/0.75到0.54/0.72。6/255时PDA的ImageNet-D为0.53，8/255为0.54。
    • 自适应攻击：PGD下PDA为0.57/0.75；EOT-P为0.53/0.72，EOT-D为0.55/0.70，EOT-PD为0.54/0.74。无防御对应为0.25/0.45、0.20/0.41、0.23/0.40、0.21/0.42。
    • 作者称PDA并不只对单一预算有效；EOT强于普通PGD，但PDA未垮掉，相对无防御仍有差距。作者认为收益并非只因攻击者与随机管线不匹配。

    黑盒与闭源迁移

    • Table 4每格为无防御/PDA，模型未写明。ImageNet-D：迁移0.58/0.62，AttackVLM 0.56/0.61，AnyAttack 0.61/0.64。VQA-v2：0.77/0.81、0.75/0.79、0.79/0.81。作者称黑盒绝对分数高于强white-box PGD，因为黑盒通常更弱；并称增益跨攻击族保持。
    • Table 5为LLaVA上PGD图像迁到API，格式为ImageNet-D/VQA-v2，变体未写明。GPT-5：无防御0.67/0.81，PDA 0.76/0.90。Claude：0.61/0.82到0.70/0.88。Gemini：0.67/0.76到0.72/0.86。
    • 作者称PDA可作为黑盒包装用于专有模型，并与查询式黑盒结果相互补充。

    测试期对照

    • Table 6未写模型，威胁为ℓ∞ PGD、ε=2/255。无防御0.25/0.45；PDA 0.57（+0.32）/0.75（+0.30）。JPEG 0.51（+0.26）/0.68（+0.23），JPEG+PDA 0.61（+0.36）/0.77（+0.32）。RA 0.55（+0.30）/0.70（+0.25），RA+PDA 0.67（+0.42）/0.80（+0.35）。
    • 推理基线：LLaVA-CoT 0.53（+0.28）/0.51（+0.06）；self-consistency 0.32（+0.07）/0.49（+0.04）。
    • 作者认为JPEG、RA与PDA大体正交：预处理减弱像素扰动，PDA用多样文本视图抑制不能跨视图保持的失败。作者认为更长理由或多次采样不能可靠恢复被扰动的视觉线索，还可能放大虚假证据。

    其他消融与分析

    • 变体（Table 7，robustness %，VQA-v2/ImageNet-D）：LLaVA-1.5-7B无防御47.2/26.8，RJV 65.2/49.0，RDA 61.2/45.8，PV 58.4/57.0。Ovis2的VQA：无防御88.0，RJV 87.4，RDA 89.8。
    • 同表ImageNet-D：DeepSeek-VL的PV为70.2，高于RJV的53.4；InternVL3的PV为31.4，低于RJV的39.4。作者称分类上PV通常更好，VQA上更细的拆问通常更有用。
    • 改写数K（Table 8，ImageNet-D ADV）：PDA-RJV在LLaVA-1.5-7B上K=3/5/7/9为49.2、53.2、53.0、52.2；InternVL3的K=7为29.2，低于K=3的40.8。
    • PDA-RDA同表：LLaVA-1.5-7B为47.0、43.7、43.9、43.5。作者称K到中等范围后趋于饱和，主实验用K=5；并称过长上下文和更噪的改写可能稀释聚合。
    • 代理（Table 9，K=5，%）：Ovis2上LLaMA为61.2/41.2，DeepSeek为90.0/49.2，GPT为89.8/48.4。论文未说明该表是哪一变体。作者称VQA上更强的指令跟随有助于拆解，ImageNet-D上差距变小。
    • 耗时（ImageNet-D，受害LLaVA-1.5-13B，聚合DeepSeek-Chat，RTX A6000）：无防御4.5秒，Full 15.5，RJV 10.5，RDA 6.0，PV 5.5。作者称Full在DeepSeek-VL与LLaVA-1.5-7B上VQA最强，Table 7未给出Full的数值。

  5. What are some points that can be further explored?

    论文未专节讨论局限；结论希望研究认证与更强攻击。

    作者指出的局限与后续方向

    • 认证与更强攻击：论文没有单独的Limitations或Future Work节。结论希望这一training-free、推理期鲁棒性的视角推动对有原则的认证和更强攻击设置的研究，以推进VLM在真实使用中的安全（Section 5）。

    实验覆盖范围

    • 模型：开源受害模型为LLaVA-1.5-7B、LLaVA-1.5-13B、DeepSeek-VL-1.3B、InternVL3-2B、Ovis2-4B。闭源为GPT-5、Claude、Gemini，图像由LLaVA上的white-box PGD生成后迁移（Section 4.1、4.3，Table 5）。
    • 任务与白盒攻击：VQA-v2（VQA Accuracy）、ImageNet-D（Top-1）、MS COCO（CLIPScore）。主白盒攻击为PGD，ε=2/255；另扫ε∈{2,4,6,8}/255，以及EOT-P、EOT-D、EOT-PD（Table 2、3）。
    • 黑盒与对照：黑盒含迁移协议、AttackVLM、AnyAttack，使用原文默认配置；Table 4未写受害模型名。基线含SmoothLLM、SemanticSmooth、TeCoA、FARE、JPEG、RA、LLaVA-CoT、self-consistency。
    • 变体与代理：报告了PDA-Full、PDA-RJV、PDA-RDA、PDA-PV。代理比较了GPT-4.1-mini、DeepSeek-Chat、Llama-3.1-8B-Instruct、Qwen2.5-14B-Instruct（Section 4.1、4.5，Table 9）。
    • 未报告项：论文未报告各表样本量、重复次数、黑盒查询次数，也未报告统计显著性检验。Table 3、4、6未写明受害模型；Table 9未写明PDA变体。

  6. Summarize the main content of the paper

    PDA测试时以文本侧聚合防御对抗图像；Table 2里VQA ADV上升，部分任务ADV仍低于FARE。

    PDA是针对VLM对抗图像扰动的training-free文本侧防御，防御方只需black-box输出。

    • 问题：作者认为现有对抗训练与提示调优往往要梯度或特定架构，难泛化到未见扰动，并可能降低干净输入表现。PDA在测试时把查询改写成多个视图，拆成可核验的原子问题，再按一致性聚合，以压低不能跨视图保持的错误。
    • 主结果：Table 2、PGD、ε=2/255下，LLaVA-1.5-7B的VQA-v2 ADV从无防御0.445到PDA 0.754，13B从0.593到0.787；7B的ImageNet-D ADV从0.248到0.570。COCO ADV从0.753到0.774（7B），同格FARE为0.806。
    • 干净输入：7B的ImageNet-D Clean从0.625到0.758。13B的VQA-v2 Clean从0.886到0.879。作者称干净性能大体保持，并称ImageNet-D上交叉核对还提高了干净准确率。
    • 迁移与变体：Table 5中，自LLaVA迁出的图像上，GPT-5的PDA为ImageNet-D 0.76、VQA-v2 0.90，无防御为0.67/0.81。Table 7中Ovis2的VQA，PDA-RJV为87.4%，无防御为88.0%。ImageNet-D上，Full/RJV/RDA/PV的每样本耗时为15.5/10.5/6.0/5.5秒（受害LLaVA-1.5-13B）。
    • 作者结论：作者认为PDA可在多种任务和骨干上于推理期使用；压缩变体能保留大部分鲁棒性并降低延迟，具体配方随任务而变。结论希望后续研究认证和更强攻击设置。
Read originalarxiv.org