Adversarial robustness of large vision-language models under visual token compression

压缩后 LVLM 的对抗稳健性还没有被评估，作者称现有编码器攻击会把它估得过高。

• 场景：作者称视觉 token 压缩已是时延与能耗受限部署所必需，例子包括自动驾驶、机器人，以及要处理多图的智能体。LLaVA-NeXT 与 InternVL 每图处理数百到数千个视觉 token。
• 现有不足：作者称常见评估是编码器攻击，扰动在全 token 表示上优化，推理却经过压缩瓶颈。一部分优化信号落在随后被剪掉的 token 上；剪掉上下文还可能改变 token 间依赖。
• 经验观察：在装有 VisionZip 的 LLaVA 上，作者称压缩更像畸变集中器而不是去噪器。Figure 2 在 100 个样本上按对抗注意力排序，平均特征差在高注意力 token 上较大，并随纳入更低排名 token 而下降。Table 1 里，16-token 模型的全 token 攻击稳健准确率为 49.7%，Kattack=16 时为 44.4%。
• 威胁模型：
  • 知识：realistic gray-box。视觉编码器 E 白盒；压缩模块 C 与下游 LLM F 黑盒；Kmodel 等压缩超参是未知运行时变量。
  • 目标：加不可感知扰动 δ，使预测偏离标注。理想目标是最大化标注答案的负对数似然；灰盒下改为最大化干净与对抗视觉特征的余弦距离，且与具体问题无关。
  • 能力：只改视觉输入。实验使用 ℓ∞ 球约束。
  • 受害系统：由编码器、投影器和 LLM 组成，并在送入 LLM 前把 N 个视觉 token 压到预算 K 的 LVLM。
• 本文提出：Compression-AliGnEd attack（CAGE）。它不假设已知部署中的压缩机制或 token 预算。作者称这是首次研究该设置，并另外试了几种防御。

视觉 token 压缩

• Inner-LLM：FastV（Chen et al., 2024a）、SparseVLM（Zhang et al., 2025d）等在语言模型层内减少视觉 token。附录 B 还列入 DART、MustDrop、HoliTom。
• Outer-LLM：PruMerge（Shang et al., 2025）、VisionZip（Yang et al., 2025）、VisPruner（Zhang et al., 2025b）、FlowCut（Tong et al., 2025）在 LLM 计算前做选择或聚合。重要性估计可以是注意力、相似度或跨层信息流。
• 分类：Table 5 按剪枝或合并、注意力（A）或相似度（S），以及发生在 LLM 内或外来排列这些方法。作者称本文只关注 outer-LLM，因为它们即插即用、不必改语言模型。

LVLM 对抗攻击

• 端到端：Schlarmann 与 Hein（2023）沿整条多模态通路反传来构造对抗图像。作者称这类攻击计算开销大。
• 编码器攻击：VT-Attack（Wang et al., 2024c）扰动已编码的视觉 token。VEAttack（Mei et al., 2026）最小化干净与扰动视觉 token 特征的余弦相似度，不依赖下游问题，并给出 LLM 对齐表示空间中的错位下界。Zhao et al.（2023a）、Cui et al.（2024）、Xie et al.（2025）被归入同一范式。
• 与压缩的关系：作者称既有编码器攻击通常在全 token 模型上优化，而 token 压缩会改变编码器的 token 空间。

防御与对照设置

• 训练式视觉编码器：RobustCLIP（Schlarmann et al., 2024）对 CLIP 视觉编码器做对抗微调；附录 F 还用到其编码器 FARE。
• 推理时防御：DPS（Zhou et al., 2025）用部分图像感知的回答监督原图回答，不重新训练，可作用于黑盒 LVLM。
• 基线与基准：主基线是 VEAttack；附录 E.6 另比 AttackVLM-ii（Zhao et al., 2023b）与 VT-Attack。主基准是 VQA-v2、TextVQA、GQA；附录另有 COCO 图像描述与 DriveQA。

作者把本文放在 outer-LLM 压缩与全 token 编码器攻击之间：压缩已用于部署，但对应的稳健性还没有被按压缩后的推理路径评估。

整体上，CAGE 把扰动优化从全 token 空间改到压缩后仍可能留下的 token 上，且优化时不知道部署用的压缩机制和 Kmodel。

问题设定

• 压缩模型：视觉编码器给出 H，压缩模块 C 把长度从 N 收到预算 K，再与文本一起送入 LLM。推理时的 K 称为部署预算 Kmodel。
• 灰盒目标：作者称对完整 LVLM 反传又贵又容易过拟合，因此沿 VEAttack 只攻击编码器。目标是拉大干净特征与对抗特征的余弦距离，不读取具体问题。
• 选择阶段：作者把 token 选择当作统一入口。有的方法只选择，有的先选择再合并。攻击这一步可覆盖文中使用的压缩机制。

Expected Feature Disruption

• 不用原始重要性：作者称注意力分数往往很尖，按 si(x) 加权会盯住最前几名，给中间名次的信号少。中间 token 在中等或未知预算下仍可能被留下。
• 生存概率：把 Kmodel 当作离散随机变量，例子是均匀先验。token i 的排名为 ri(x) 时，生存概率是 π_i(x)=P(K_model>r_i(x))。均匀先验下，排名低于 Kmin 时为 1，高于或等于 Kmax 时为 0，中间递减。
• 加权畸变：每个 token 的畸变是干净与对抗特征的余弦距离。EFD 损失是生存概率加权后的平均畸变。作者称这样忽略注定被剪掉的 token，并直接在压缩后的视图里优化。

Rank Distortion Alignment

• EFD 推不动排序：作者对 EFD 使用链式法则后，认为第二项本应把保留权重推向高畸变 token，但排名和 Top-K 是离散的，反传梯度稀疏、不稳定。优化主要加大已经可能被留下的 token 的畸变。
• 分布对齐：把畸变 di 与对抗选择分数分别做 softmax，得到两个 token 分布。RDA 最大化选择分布相对畸变分布的对数似然，并对畸变分布停止梯度，避免两个分布一起漂移。

联合优化

• 目标：PGD 在 ℓ∞ 球内最大化 L_total=L_EFD+λ· L_RDA。作者称 EFD 负责在可能存活的 token 上制造畸变，RDA 负责让选择机制优先留下这些 token。
• 默认参数：ϵ=2/255，步长 α=0.5/255，T=100，随机初始化。si(x) 用视觉编码器的注意力。EFD 的均匀先验区间是 [16, 192]，λ=0.005。附录 Algorithm 1 给出逐步流程。
• 成功判定：不优化文本似然。评测时，答案经小写、去标点与冠词、空白规范化后，整词包含任一标注即算正确。报告干净准确率与稳健准确率。

实验设置

• 模型：主实验是 LLaVA。附录 D 为 Qwen2.5-VL 与 InternVL3-8B。RobustCLIP 实验写明 LLaVA-v1.5-7B，输入 224×224，视觉塔换为标准 CLIP ViT-L/14 或 FARE。
• 压缩与预算：LLaVA 上为 VisionZIP、VisPruner、DivPrune、FlowCut、PruMerge。预算为 576、192、128、64、32、16，以及不提供视觉 token 的 Blind（Kmodel=0）。VisionZip 实验中合并 token 数设为总预算的 10%。Qwen 输入被缩到 336×336，上界为 144 个视觉 token。
• 数据：VQA-v2、TextVQA、GQA 各均匀抽取 1,000 对。附录另有 COCO 描述 100 条，以及 DriveQA；DriveQA 样本量论文未报告。
• 基线与攻击参数：主基线 VEAttack，同一灰盒设定。默认 ℓ∞ PGD：ϵ=2/255，α=0.5/255，T=100，随机初始化；λ=0.005，先验 [16, 192]。实验在 NVIDIA RTX 4090 上进行。论文未报告重复次数。
• 指标：干净准确率与稳健准确率，判定为规范化后的整词包含，不是 LLM 评审。条件稳健性退化 CRD = 1 − R/C，R 为稳健准确率，C 为干净准确率。描述任务用 CIDEr。

主结果

据 Table 2，LLaVA 稳健准确率（%，Base→CAGE）。576 与 0 是 None，其余是五种压缩的平均。省略 K=128 与 K=32 两行。

Swipe horizontally to read the table

预算	GQA	TextVQA	VQA-v2
576	42.3→39.4	34.7→26.50	55.8→49.4
192	40.8→36.2	33.5→23.4	55.4→47.2
64	40.2→34.9	31.1→18.9	54.0→45.0
16	38.7→33.1	25.5→15.7	50.3→42.9
0	21.7→21.7	10.3→10.3	44.3→44.3

• 作者称五种机制上 CAGE 的稳健准确率都低于基线。Table 2 平均行里，标注相对下降最大的是 TextVQA、Kmodel=64 的 39.2%；无压缩的 TextVQA 为 23.6%。
• 作者称 DivPrune 这类多样性选择的稳健准确率常常高于注意力机制，因为保留 token 与 CAGE 主要利用的注意力线索不那么对齐；CAGE 仍低于对应 Base。Table 2 中，VQA-v2、K=64 的 DivPrune CAGE 为 48.3%。
• 作者称即使不压缩，CAGE 仍低于基线，并将其归因于 EFD 把扰动集中到高影响证据。极紧预算下增益进入平台，作者称稳健准确率接近 Blind 参照、继续下降的空间变小。VQA-v2 的 16-token 五法平均为 42.9%，Blind 为 44.3%。

动机实验与条件退化

• 预算对齐：Table 1 在压缩后的 LLaVA 上改 VEAttack，损失只算 Top-Kattack。作者称全 token 优化偏乐观。Kmodel=16 时，Kattack 为 576、192、64、16 的稳健准确率是 49.7%、45.3%、44.7%、44.4%。
• CRD：作者称基线的 CRD 随部署预算缩小总体下降，可能被误读成更强压缩提高了条件稳健性；CAGE 则非单调，中等预算上升、更紧预算再下降。Figure 4 横轴为 Kmodel（576、192、64、32、16），三列是 GQA、TextVQA、VQA-v2。图上没有标出各点数值。

跨模型、任务与迁移

• Qwen2.5-VL：Table 6 只评 VisionZIP、VisPruner、DivPrune。作者称 CAGE 仍更低，但相对增益比 LLaVA 温和，并将其归因于 Qwen 视觉编码器原生带有 token merging。无额外压缩时，GQA 的标注相对下降为 0.8%，VQA-v2 为 0.2%。TextVQA、Kmodel=36 的三法平均相对下降为 19.1%。VisPruner、GQA、K=72 的 Base 与 CAGE 都是 36.1%。
• InternVL3-8B：Table 7 只报 VQA-v2。上界 Base 43.6%、CAGE 40.0%（标注相对下降 8.3%）。VisionZIP、K=72 从 39.9% 到 33.4%；正文写相对下降 16.3%。K=72 三法平均标注相对下降 12.3%，K=36 为 10.9%。
• 其他任务与黑盒：VisionZip、COCO 描述 100 条，CIDEr 在全 token 上 Clean 1.2764、Baseline 0.2202、CAGE 0.1699；K=16 时 CAGE 为 0.0850（Table 14）。DriveQA、VisionZip 全 token 为 Clean 44.5%、VEAttack 28.5%、CAGE 21.0%；K=16 为 32.0%、18.5%、14.0%（Table 19）。用 openai/clip-vit-base-patch16 优化、在目标压缩 LVLM 上评估时，ϵ=16/255、α=1/255、100 步；Table 16 全 token 为 69.5% 对 69.4%，K=16 为 63.0% 对 62.2%。作者称完全黑盒下额外增益更有限。该表数据集论文未写明，clean 一行与 Table 13 的 VQA-v2 相同。

防御与检测

• 选择防御：Table 3 在 VQA-v2、VisionZIP 上比较随机补 token、D1 与 D2。无防御的稳健准确率从 Full 的 49.4% 到 16-token 的 42.7%。D1 在 192 为 49.9%，在 Full 为 48.2%，低于无防御的 49.4%。D2 在 64 为 46.6%，在 16 为 42.8%。作者称二者有一些作用，但增益有限，并把原因写成信息量与稳健性的折中。
• 检测：Table 4 用 Top-K 注意力质量，K=4 时 Acc 0.940、TPR 0.910、FPR 0.030、F1 0.938。Figure 5 标注 Top-1、Top-4、Top-16 的 ROC AUC 为 0.931、0.966、0.899。正文写训练划分上 K=4 的 AUC≈0.966，另写 AUC≈0.96。阈值在 40% 划分上按 Youden 指数选取。Table 22 把阈值标定在 VEAttack 上再做交叉评估，K=4 的 FPR 为 0.083、Acc 为 0.925。正文写该 FPR 升至 8.38%，与 Table 22 不一致。
• 已有防御：Table 20 的 LLaVA-v1.5-7B、224×224 上，RobustCLIP 把 Full 的对抗准确率从 45.1% 提到 64.9%，干净准确率从 72.0% 到 70.4%。论文未写明该表攻击方法。Table 21 的 DPS 把 Full 稳健准确率从 49.4% 提到 64.4%；攻击与压缩机制论文未写明，该 Robust 行与 Table 3 相同。作者称 DPS 需要多次部分感知查询，不太适合以省推理为目的的压缩设置。

其他消融与分析

• Table 8（VQA-v2，压缩机制表题未写明）：EFD-only 在 Full/64 为 50.8%/45.8%，CAGE 为 49.4%/43.0%；CAGE 行与 Table 2 的 VisionZIP、VQA-v2 相同。
• Table 9（VQA-v2，压缩机制未写明）：ϵ=2/255 的数字与 Table 2 的 None 及 VisionZIP 相同。ϵ=8/255、K=192 时 CAGE 42.6%，Baseline 42.5%。
• Table 10：λ=0.005 在多数预算最低；λ=0.1、Full 为 51.8%，高于 λ=0 的 50.8%。压缩机制表题未写明。
• Table 11：注意力分数在各预算都低于 ℓ1-norm；Full 为 49.4% 对 65.2%。数据集与压缩机制表题未写明。
• Table 13（VisionZip、VQA-v2）：Full 上 AttackVLM-ii 62.6%、VT-Attack 59.4%、VEAttack 55.8%、CAGE 49.4%。
• Table 17（VQA-v2）：K=64 时 EOT 49.8%、CAGE 43.0%。Table 18 中，APGD、MI-FGSM、PGD 下 CAGE 都低于对应 VEAttack；CAGE 的 MI-FGSM 在 K=16 为 43.6%，PGD 为 42.7%。两表都未在标题写明压缩机制。

作者指出的局限与后续方向

• 压缩家族：只研究了免训练、即插即用、加在现成 LVLM 上的视觉 token 压缩，没有分析 inner-LLM 或训练式压缩，文中点名 FastV、Honeybee、MobileVLM。作者称这些方法改变压缩机制和 token 动态的方式不同（附录 G）。
• 输入形态：目前是基于图像的任务和一组基准。视频、多图，以及 observe–reason–act 的智能体流程会带来时间一致性、跨图证据汇总和多步误差累积，现有评测没有覆盖（附录 G）。
• 检测泛化：基于一个注意力统计量和校准阈值的轻量检测器，在校准攻击与测试威胁一致时可以工作；攻击分布改变时性能下降。作者称当前压缩 LVLM 的防御仍脆弱，可能过拟合特定攻击特征（附录 G）。
• 后续防御：作者提出可结合多层、多个统计量，并把压缩瓶颈写进稳健性目标（附录 G）。

实验覆盖范围

• 主结果的被测模型是 LLaVA；附录 D 另有 Qwen2.5-VL 与 InternVL3-8B；附录 F 的 RobustCLIP 实验写明 LLaVA-v1.5-7B、224×224，并替换为 FARE。
• LLaVA 的压缩机制为 VisionZIP、VisPruner、DivPrune、FlowCut、PruMerge，预算含 576 到 16 以及 Blind。Qwen 与 InternVL 只报前三种，作者称多数方法没有发布兼容实现；InternVL3-8B 只报 VQA-v2。
• 三个 VQA 数据集各 1,000 对。附录另有 COCO 描述 100 条、DriveQA，以及以 openai/clip-vit-base-patch16 为替代编码器的 black-box 迁移，ϵ=16/255。
• 防御实验包括 D1、D2、随机候选、Top-K 注意力质量检测、RobustCLIP 与 DPS。检测阈值用 40% 划分校准，其余 60% 评估。
• 成功判定是规则化后的整词包含。论文未报告稳健准确率的重复次数，也未报告该判定与人工判断的一致性。

CAGE 研究的是：LVLM 在推理时剪枝或合并视觉 token 之后，对抗稳健性该怎么估。

• 错配：部署模型只看压缩后的 token，既有编码器攻击却在全 token 上优化。作者在 LLaVA 加 VisionZip 上看到，高注意力 token 的特征差更大，压缩会留下这些 token。把 VEAttack 的优化预算改到与部署预算对齐后，稳健准确率更低；16-token 模型上从 49.7% 到 44.4%（Table 1）。
• 攻击：攻击者白盒使用视觉编码器，不知道压缩模块、下游 LLM 和 Kmodel。EFD 用预算先验下的生存概率集中畸变，RDA 让选择分数偏向高畸变 token。默认是 100 步 ℓ∞ PGD，ϵ=2/255，λ=0.005，先验区间 [16, 192]。
• LLaVA：五种 outer-LLM 压缩、三个数据集各 1,000 对上，CAGE 的稳健准确率低于 VEAttack。TextVQA、Kmodel=64 的五法平均为 18.9%，Base 为 31.1%，标注相对下降 39.2%。无压缩的 VQA-v2 为 49.4%，Base 为 55.8%（Table 2）。
• 其他模型与任务：Qwen2.5-VL 上相对降幅较小，无额外压缩时 VQA-v2 的标注相对下降为 0.2%；TextVQA、Kmodel=36 的三法平均为 19.1%。InternVL3-8B、VisionZIP、K=72、VQA-v2 从 39.9% 到 33.4%。COCO 描述 100 条的 CIDEr 也更低。换一个替代编码器后，两边的差距变小。
• 防御与作者结论：D1、D2、注意力检测、RobustCLIP 和 DPS 都有数字上的缓解，作者同时称它们还不够。作者认为，忽略压缩的稳健性评估会过于乐观，效率导向的 LVLM 需要带上压缩的安全评估和防御。