跳到正文
原文

SmoothShift:在测试时破坏针对 LVLM 的视觉对抗攻击

SmoothShift: Disrupting Visual Adversarial Attacks on LVLMs at Test Time

arXiv:其他 AI 安全论文· arXiv:2611.20537· Xiaoqing Chen, Jiayi Ouyang, Dongrui WuHuazhong University of Science and Technology; Zhongguancun Academy本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出免训练测试时防御 SmoothShift(局部平滑加空间变换),在 LLaVA-1.5-7B、Qwen3.5-4B、InternVL3.5-4B 上 APGD 攻击下防御分数最高。

威胁模型L∞ 图像空间攻击,只改视觉输入,文本查询和模型参数固定。

问题
LVLM 对视觉上不可察觉的图像对抗扰动敏感,作者认为现有训练式防御成本高、测试时防御对攻击机理利用不足,微小扰动如何造成大错误尚不清楚。
方法
作者先分析攻击的优化与传播,提出免训练测试时防御 SmoothShift:对输入图像依次施加局部平滑(bilateral/guided/局部相似度平均)和空间变换(循环平移/旋转/缩放),破坏细粒度扰动及其与 patch 网格的对齐。
实验与结果
在三个 LVLM、四个数据集、八种攻击和多个扰动预算下,SmoothShift 的防御分数在 Table I–IV 各列均为最高,clean 性能小幅下降;在 mixed-gradient BPDA+EOT 下准确率下降但仍高于未防御基线(Figure 7)。
局限与可以继续做的
论文未设 Limitations 一节专门讨论局限。实验覆盖三个 LVLM、两个鲁棒 CLIP、四个 LVLM 数据集和八个分类数据集;对抗评测每数据集采样 500 张图,BPDA 评测限 TextVQA,论文未报告防御的运行耗时。
实验设置LLaVA-1.5-7B、Qwen3.5-4B 等 · COCO、Flickr30k 等 · CIDEr、VQA accuracy 等
威胁模型
L∞ 图像空间攻击,只改视觉输入,文本查询和模型参数固定。主评测中攻击者对未防御 LVLM 有 full white-box access 并有 ground-truth 标签;对抗样本在 base model 上生成,防御仅在推理时施加。另测 defense-aware 的 mixed-gradient BPDA with EOT。
被测模型
LLaVA-1.5-7BQwen3.5-4BInternVL3.5-4BTeCoAFARE
基准
COCOFlickr30kTextVQAVQAv2Caltech101Oxford-IIIT PetsUCF101Flowers102DTDEuroSATStanford CarsFGVC Aircraft
指标
CIDErVQA accuracyzero-shot classification accuracy
AI 导读研究者提出 SmoothShift,一种无需训练的测试时防御方法,可削弱针对 LVLM 的视觉对抗攻击并大体保留干净样本性能。方法结合局部平滑与空间变换,前者削弱细粒度扰动模式,后者破坏扰动与视觉编码器 patch 网格的对齐,不需要模型更新、辅助网络或额外推理。论文的分析发现,细微输入扰动造成的表征差异会经视觉编码器逐层放大并延续到语言模型,而破坏 patch 内输入模式与模型计算的耦合可显著削弱攻击。实验覆盖三个 LVLM 系列在四个数据集、以及鲁棒微调 CLIP 模型在八个分类数据集上的评测,涉及八种攻击方法和多档扰动预算,结果显示鲁棒性提升;在使用混合梯度 BPDA 加 EOT 的防御感知攻击下也有鲁棒性增益。

研究者提出 SmoothShift,一种无需训练的测试时防御方法,可削弱针对 LVLM 的视觉对抗攻击并大体保留干净样本性能。方法结合局部平滑与空间变换,前者削弱细粒度扰动模式,后者破坏扰动与视觉编码器 patch 网格的对齐,不需要模型更新、辅助网络或额外推理。论文的分析发现,细微输入扰动造成的表征差异会经视觉编码器逐层放大并延续到语言模型,而破坏 patch 内输入模式与模型计算的耦合可显著削弱攻击。实验覆盖三个 LVLM 系列在四个数据集、以及鲁棒微调 CLIP 模型在八个分类数据集上的评测,涉及八种攻击方法和多档扰动预算,结果显示鲁棒性提升;在使用混合梯度 BPDA 加 EOT 的防御感知攻击下也有鲁棒性增益。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决 LVLM 的视觉对抗扰动防御问题,作者提出免训练测试时防御 SmoothShift。

    核心问题:如何在不重训练模型的前提下,防御针对 LVLM 视觉输入的 L∞ 对抗扰动。

    • 问题场景:作者称微小、视觉上不可察觉的扰动可大幅改变视觉表示、损害跨模态对齐并诱发错误回答,影响 LVLM 的可信性(引言)。
    • 现有方法不足:作者认为训练式防御训练成本高且可能损害泛化能力;测试时方法虽部署灵活,但优化后的视觉扰动如何诱发并维持对抗效果仍理解不足。
    • 核心观察:作者报告攻击随迭代增多、步长细化而增强(Figure 2(a));clean 与 adversarial 表示差异在视觉编码器中逐层放大并持续到语言模型(Figure 1(b)(c));非 patch 宽度整数倍的小幅循环平移可削弱攻击,而 1–2 个 patch 宽度的平移缓解变弱(Figure 2(d))。
    • 论文假设:精细优化的扰动利用了扰动输入与模型计算之间的精确耦合,且该耦合对 patch 内像素排列敏感。
    • 论文方案:提出 SmoothShift——局部平滑加空间变换的输入级测试时防御,无需模型更新、辅助网络或额外 LVLM 前向推理。
    • 威胁模型(Section V-A):
      • 目标:L∞ 图像空间攻击,只修改视觉输入。
      • 固定项:文本查询与模型参数不变。
      • 攻击者知识:主评测中对未防御 LVLM 有 full white-box access,并有 ground-truth 标签。
      • 实施方式:对抗样本在 base model 上生成,防御仅在推理时施加;另测 defense-aware 的 mixed-gradient BPDA with EOT。
  2. 有哪些相关研究?

    相关工作分 LVLM 视觉攻击、训练式防御、测试时防御三组,本文与 13 个基线在四个数据集上对比。

    LVLM 视觉对抗攻击

    • Schlarmann & Hein [5]、Cui 等 [6]——早期工作确认不可察觉的图像扰动可损害多模态模型的分类、字幕和 VQA。
    • 表征导向攻击 [7–9](含 VEAttack [9])——通过攻击视觉表示提升跨模型、跨提示迁移。
    • 跨提示/查询优化 [10, 11](如 QAVA [11])与跨模态语义链攻击 [12]——提升提示泛化与迁移性。作者称这类研究主要关注更强的攻击目标,对迭代优化机理理解不足。

    训练式防御

    • TeCoA [13]——文本引导的对比对抗训练。
    • FARE [14] 与 [24]——保持预训练表示的对抗微调;[15] 做对抗视觉-语言预训练与指令微调。
    • AdPO [17]——用偏好优化增强 LVLM 鲁棒性。作者认为这类方法训练成本高,且可能损害模型泛化能力。

    测试时防御

    • 输入变换类:量化、JPEG 压缩、TVM [25]、随机变换 BaRT [26];ET3 [27] 用模型 logits 导出的能量函数在推理时优化输入。
    • 净化类:扩散模型净化 [20, 28] 与 LVLM 专用的 F3 [19]。
    • 其他干预:提示适配 [21, 29]、对抗检测与适配 [22]、频谱校正 CSR [30]、部分感知监督 DPS [18]、测试时反击 TTC [31]。

    基线与基准:训练式基线为 R-LLaVA-G [6] 和 AdPO [17];测试时基线为 Quantize、TVM、Freq、BaRT、DPS、F3-v3、TTC、CSR、DBD、AOM、ET3(Section V-A-e)。评测基准为 COCO、Flickr30k(CIDEr)与 TextVQA、VQAv2(VQA accuracy),另有八个分类数据集用于鲁棒 CLIP。

    本文定位:作者称 SmoothShift 是输入级测试时防御,设计原则不同——不估计干净对应物、不做检测或下游修正,而是直接破坏细粒度对抗优化所依赖的性质。

  3. 论文如何解决这个问题?

    SmoothShift 对输入图像依次施加随机采样的局部平滑与空间变换,破坏扰动结构及其与 patch 网格的对齐。

    整体思路:先通过实证观察定位攻击依赖的两个性质(细粒度优化、patch 内像素对齐),再用 SmoothShift 的平滑加空间变换组合在推理前破坏这两个性质。

    问题形式化

    • 设 LVLM 为 F,输入图像 u 与查询 q 生成回答;攻击在约束 |u−x|∞ ≤ ϵ 内最大化攻击目标 ℓ(非定向为回答损失 L,定向为 −L),即 defense-oblivious 攻击(式 (1)(2))。
    • 防御在推理前对输入施加变换 Φθ,clean 与 adversarial 输入走同一管线(式 (3))。

    实证观察(动机)

    • 优化敏感性:Figure 2(a) 显示 APGD 迭代数 K 增多、最小步长 ηmin 减小时攻击更强(任务分数更低),作者据此认为攻击依赖精细优化,引出局部平滑。
    • 空间对齐敏感性:Figure 2(b)(d) 显示 3 像素循环平移可恢复正确答案,而 14 像素(等于 LLaVA-1.5 视觉编码器 patch 宽度)的平移缓解变弱;Figure 2(d) 在三个模型上于 1、2 个 patch 宽度处出现对抗准确率的局部极小值,clean 准确率相对稳定。作者据此假设扰动利用了 patch 内输入模式与模型计算的耦合。

    SmoothShift 管线

    • 组合式为 Φθ(u) = Tβ(Sα(u)),即先平滑 S(参数 α)再空间变换 T(参数 β),θ = (S, α, T, β)(式 (4))。
    • 局部平滑三选一:bilateral filtering(式 (5),空间与颜色双高斯加权)、guided filtering(式 (6),局部线性模型,εg 控制平滑强度)、local similarity averaging(式 (7),只平均与中心值差不超过阈值 τ 的邻域值)。
    • 空间变换三选一:cyclic translation(式 (8),带环绕的整数像素平移,无插值)、rotation(式 (9),绕中心旋转,双线性插值)、scaling(式 (10),中心缩放,ρ<1 缩小、ρ>1 放大)。

    推理时配置

    • 对每张图像,从候选算子池中均匀采样一个平滑算子和一个空间变换及其参数,顺序施加;同一图像的 clean 与 adversarial 版本在所有攻击轮次中使用同一配置(Section V-A-c)。
    • 候选参数池与基线配置在 Supplementary material 中,正文未列出具体取值。

    成功判定

    • 防御效果用任务指标衡量:字幕用 CIDEr,VQA 用标准 VQA accuracy,分类用 zero-shot accuracy;同一指标同时报告 clean、adversarial、defended 三种表现,越高越好。
  4. 论文做了哪些实验?

    三个 LVLM 加两个鲁棒 CLIP、八种攻击、多个预算下,SmoothShift 防御分数在各表列均为最高。

    实验设置

    • 被测模型:LLaVA-1.5-7B、Qwen3.5-4B、InternVL3.5-4B;另有两个鲁棒微调 CLIP ViT-B/32(TeCoA、FARE,训练扰动预算 4/255)。
    • 数据集:字幕 COCO、Flickr30k(CIDEr);VQA 用 TextVQA、VQAv2(VQA accuracy);分类用 Caltech101、Oxford-IIIT Pets、UCF101、Flowers102、DTD、EuroSAT、Stanford Cars、FGVC Aircraft。
    • 攻击:主攻击 APGD(ϵ = 2/255、4/255,Table IV 加 16/255、32/255);另有 FGSM、PGD、C&W、EAD、SPSA、VEAttack、Verbose 共八种 defense-oblivious 攻击;defense-aware 评测用 mixed-gradient BPDA with EOT。
    • 基线:训练式 R-LLaVA-G、AdPO;测试时 Quantize、TVM、Freq、BaRT、DPS、F3-v3、TTC、CSR、DBD、AOM、ET3,共 13 个对照方法。
    • 样本量与轮次:clean 用完整评测集;对抗评测每数据集随机采样 500 张图,每张最多 5 轮 APGD、每轮 100 次更新,取逐图最低分并早停;CLIP 分类用完整测试集、PGD-100(4/255)。
    • 评审方式:均为自动指标,论文未使用 LLM 评审或人工评审。

    主结果

    据 Table I(LLaVA-1.5-7B,APGD):

    表格较宽,可左右滑动

    方法COCO CleanCOCO 4/255TextVQA CleanTextVQA 4/255VQAv2 4/255Average 4/255
    无防御115.1314.9548.6110.9230.3416.15
    R-LLaVA-G106.8976.5425.2614.9450.0245.10
    TVM114.4881.7046.3233.6061.7455.84
    Freq115.3591.8435.6928.9664.9260.68
    AOM111.9888.4246.8934.1467.1461.47
    SmoothShift114.25101.9445.7842.4269.7870.08
    • 作者称 SmoothShift 在 ϵ = 2/255 和 4/255 的每个数据集-预算组合上防御分数最高;4/255 时比各列最强对照高 10.10 CIDEr(COCO)和 8.28 个百分点(TextVQA)。
    • clean 代价:COCO CIDEr 降 0.88、Flickr30k 降 2.31,TextVQA 准确率降 2.83 个百分点、VQAv2 降 0.69。
    • 跨模型(Table II、III,4/255):Qwen3.5-4B 上 TextVQA 56.16%、VQAv2 73.56%,比最强对照高 5.82 和 1.98 个百分点;InternVL3.5-4B 上 67.20% 和 71.72%,高 14.32 和 5.18 个百分点;clean 降幅 Qwen 为 4.22/1.37 点,InternVL 为 1.58/1.00 点。

    跨攻击与鲁棒 CLIP

    • 八种攻击:Figure 4 报告 LLaVA-1.5-7B 上 COCO 与 Flickr30k 平均 CIDEr,作者称 SmoothShift 在 FGSM、PGD、APGD、C&W、EAD-EN、Verbose、VEAttack、SPSA 八种攻击下均为 13 个方法中最高(图中仅见分面柱状图与截断 y 轴,具体数值在 Supplementary material)。
    • 鲁棒 CLIP:Figure 3 报告 TeCoA 与 FARE 在 PGD-100(4/255)下的对抗准确率,作者称 SmoothShift 在两个模型的全部八个数据集上均为最高;图中各数据集轴独立缩放,仅标出轴最大值(如 Caltech101 65.64、Pets 41.48、Cars 12.52、UCF101 17.02、DTD 17.20),逐方法数值在 Supplementary material。
    • 更大预算:Table IV 中 SmoothShift 在 16/255 与 32/255 下四个数据集均为最高,如 COCO 16/255 为 83.47(无防御 2.66)、32/255 为 61.88(无防御 1.70);作者承认随预算增大性能下降。

    消融与 defense-aware 评测

    • 组件消融(Table V,LLaVA-1.5-7B):仅空间变换(w/o smoothing)强于仅平滑(w/o spatial);4/255 时组合把 COCO CIDEr 从 93.95 提到 101.94、TextVQA 从 40.38% 提到 42.42%,clean 小幅下降。
    • 跨配置迁移(Figure 6):攻击平移量与推理平移量一致时攻击最强,改变推理配置普遍削弱攻击,作者称跨平移迁移有限,可能有利于实际部署。
    • BPDA+EOT(Figure 7,TextVQA,500 样本):对可微操作保留精确梯度、对局部相似度平均的硬选择用近似梯度;EOT-20 时准确率降至 15.22%(2/255)和 12.34%(4/255),仍高于未防御基线 14.88% 和 10.92% 的说法仅对 4/255 成立——2/255 时 15.22% 高于 14.88%,4/255 时 12.34% 高于 10.92%,作者称"在两个预算下都高于未防御基线"。保留精确梯度可部分绕过防御,EOT 样本增多一般进一步降低准确率。

    其他消融与分析

    • 平滑强度(Figure 5(a)-(c)):更强平滑一般提升对抗表现;clean COCO 相对稳定,clean TextVQA 下降更多;局部相似度阈值 τ 较大时 COCO 收益饱和、TextVQA 收益减弱。
    • 旋转与缩放(Figure 5(e)(f)):相对恒等设置均提升鲁棒性,更强变换不持续带来更大收益,激进下缩放降低 TextVQA clean 表现。
    • 循环平移(Figure 5(d)):小平移提升对抗表现且 clean 大体保持;14 和 28 像素(1、2 个 patch 宽度)处收益下降。
    • 负面结果:Table IV 显示 32/255 下所有方法分数都低(SmoothShift COCO 61.88、TextVQA 24.18%),作者仅称性能随预算下降,未给进一步解释。
  5. 有什么可以进一步探索的点?

    论文未设局限一节;实验覆盖三个 LVLM、两个鲁棒 CLIP、八个攻击与 BPDA 自适应评测。

    作者指出的局限与后续方向

    • 论文未专门讨论局限:正文无 Limitations 或 Future Work 小节,Conclusion(Section VI)只总结发现与方法,未列出不足或后续计划。
    • 与证据边界相关的作者表述:BPDA 评测中"保留精确梯度可部分绕过 SmoothShift"(Section V-D-b);跨配置迁移"有限",作者称这可能有利于实际防御(Section V-D-a);大预算下"性能随预算增加而下降"(Section V-B-e)。这些是结果描述而非作者声明的局限。

    实验覆盖范围

    • 被测模型为 LLaVA-1.5-7B、Qwen3.5-4B、InternVL3.5-4B 共三个 LVLM,加 TeCoA、FARE 两个鲁棒微调 CLIP ViT-B/32(Section V-A)。
    • LVLM 评测覆盖 COCO、Flickr30k、TextVQA、VQAv2 四个数据集;CLIP 评测覆盖八个分类数据集;对抗评测每数据集 500 张图、最多 5 轮 APGD、每轮 100 次更新(Section V-A-c)。
    • 攻击覆盖八种 defense-oblivious 攻击与 defense-aware 的 mixed-gradient BPDA with EOT;BPDA 评测只在 TextVQA 上进行,EOT 样本数为 1、5、10、15、20(Figure 7)。
    • 防御-oblivious 评测使用相同数据、提示词、生成设置、对抗输入与指标(Section V-A-e);论文未报告重复运行次数、方差或统计检验。
    • 论文未报告 SmoothShift 的运行耗时或额外计算开销的测量值(仅称无需额外 LVLM 前向推理);平滑与变换的候选参数池取值在 Supplementary material,正文未列出。
  6. 总结一下论文的主要内容

    SmoothShift 用平滑加空间变换在测试时破坏对抗扰动结构,三个 LVLM 上防御分数最高且 clean 损失小。

    一篇 LVLM 视觉对抗防御论文,核心是一个免训练的测试时输入变换方法及其背后的机理观察。

    • 问题:作者称微小视觉扰动可大幅损害 LVLM 的字幕与 VQA 表现,而训练式防御成本高、测试时防御对攻击机理利用不足。
    • 观察:攻击随迭代增多与步长细化增强(Figure 2(a));clean–adversarial 表示差异逐层放大并持续到语言模型(Figure 1(b)(c));非 patch 宽度整数倍的循环平移削弱攻击,patch 宽度倍数处缓解变弱(Figure 2(d))。作者据此认为攻击依赖细粒度扰动模式及其与 patch 网格内计算的耦合。
    • 方法:SmoothShift 对每张图随机采样并依次施加一个局部平滑算子(bilateral/guided/局部相似度平均)和一个空间变换(循环平移/旋转/缩放),无需模型更新、辅助网络或额外 LVLM 推理。
    • 主结果:LLaVA-1.5-7B 上 APGD 4/255 时 COCO CIDEr 101.94、TextVQA 42.42%(无防御为 14.95、10.92%,Table I);Qwen3.5-4B 与 InternVL3.5-4B 上 VQAv2 分别为 73.56% 和 71.72%(Table II、III);16/255、32/255 大预算下仍为最高(Table IV);八种攻击与两个鲁棒 CLIP 上作者称均为最高(Figure 3、4)。
    • 自适应攻击:mixed-gradient BPDA+EOT-20 把 TextVQA 准确率压到 15.22%(2/255)和 12.34%(4/255),仍高于未防御的 14.88% 和 10.92%(Figure 7)。
    • 作者结论:对抗有效性依赖细粒度优化与 patch 内像素对齐,破坏这两者可在基本保持 clean 性能的前提下提升鲁棒性。

相关论文

共同使用 FGVC Aircraft
再看 3 篇
共同使用 TextVQA
阅读原文arxiv.org