跳到正文
原文
arXiv：危险能力与安全评测· arXiv:2610.09703· Shuailong Wang, Xinyu Lyu, Shengming Yuan, Jingkuan Song, Heng Tao Shen, Lianli Gao·本站收录· 原文发表

研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制

Understanding and Mitigating Token-Pruning-Induced Vulnerabilities in VLMs

论文速读

防御

据论文 PDF 整理（AI 生成），以原文为准

在LLaVA-1.5-7B上，SAP†把FasterVLM的MM-Safety ASR从72.02%降到10.32%。

威胁模型防御方采用 white-box defense：可访问 VLM 内部表示，并把 SAP 作为 inference-time defense 加在 Token-Pruning 之上。

问题
Token剪枝通过删除冗余视觉token加速VLM，但作者称其安全影响仍少被研究。核心问题是不同剪枝策略如何改变多模态越狱下的安全行为，以及能否在保持加速时提高安全性。
方法
作者将风险归于剪枝诱发的恶意放大：删掉背景token后，注意力塌到前景恶意锚点。SAP在推理时找出这些锚点，换回一部分被剪良性token，并把过量注意力匀给它们。设定为防御方white-box、攻击方black-box。
实验与结果
在LLaVA-1.5-7B上，多数75%剪枝提高平均ASR；LLaVA-Mini（99.8%剪枝）为31.98%。加SAP后五种剪枝的平均ASR下降，FasterVLM+SAP†的MM-Safety ASR为10.32%。
局限与可以继续做的
作者指出SAP依赖对注意力权重的白盒访问，因而限于开源架构；自适应攻击的设计与评测被列为后续工作。附录I还写明，BTR在剪枝比>95%时理论上可能失效。实验骨干为LLaVA-1.5-7B，论文未报告各基准样本条数。
实验设置LLaVA-1.5-7B · MM-SafetyBench、FigStep 等 · ASR、Utility 等
威胁模型
防御方采用 white-box defense：可访问 VLM 内部表示，并把 SAP 作为 inference-time defense 加在 Token-Pruning 之上。攻击方为 black-box，构造多模态越狱输入（有害前景配对抗文本），不知剪枝策略或 SAP。恶意查询可与良性输入混合。
被测模型
LLaVA-1.5-7B
基准
MM-SafetyBenchFigStepJailBreakV-28KMMBenchMM-VetLLaVA-BenchScienceQA
指标
ASRUtilityLatencyFLOPsMemoryAttention Entropy
AI 导读研究首次系统评测 Token-Pruning 机制对视觉语言模型安全性的影响，发现多数剪枝策略随剪枝比例上升显著降低安全性，而 Query-based Compression 相反，在高达 99.8% 的极端剪枝下反而提升模型安全。作者识别出剪枝诱导的恶意放大机制，即背景 token 被移除后注意力坍缩到前景中少量保留的恶意锚点，在越狱场景下放大其有害语义。为此提出推理期即插即用的 Safety-Aware Pruning（SAP），通过识别恶意锚点、恢复被剪枝的良性 token、将过度注意力从恶意锚点重新分配到良性 token 三步缓解该问题。在三个安全基准和四个效用基准上，SAP 将攻击成功率最多降低 62%，且不牺牲效率或效用。

研究首次系统评测 Token-Pruning 机制对视觉语言模型安全性的影响，发现多数剪枝策略随剪枝比例上升显著降低安全性，而 Query-based Compression 相反，在高达 99.8% 的极端剪枝下反而提升模型安全。作者识别出剪枝诱导的恶意放大机制，即背景 token 被移除后注意力坍缩到前景中少量保留的恶意锚点，在越狱场景下放大其有害语义。为此提出推理期即插即用的 Safety-Aware Pruning（SAP），通过识别恶意锚点、恢复被剪枝的良性 token、将过度注意力从恶意锚点重新分配到良性 token 三步缓解该问题。在三个安全基准和四个效用基准上，SAP 将攻击成功率最多降低 62%，且不牺牲效率或效用。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    Token剪枝可能放大VLM越狱风险；作者用推理时SAP重分配恶意与良性注意力。

    Token剪枝在删除视觉token以加速VLM时，会怎样改变多模态越狱下的安全行为，以及能否在不牺牲加速的前提下提高安全性。

    • 场景：作者称VLM推理成本妨碍规模化部署，Token-Pruning已成为主要加速路线，但其安全影响仍少被研究。多模态越狱则使VLM安全更紧迫。
    • 现有不足：引言称参数剪枝可在越狱设定下放大安全风险（Wei et al., 2024; Awal et al., 2025; Li et al., 2025; Zhao et al., 2024）。作者称尚不清楚token剪枝是否会在VLM上造成类似漏洞。
    • 核心假设：作者提出Pruning-Induced Malicious Amplification：去掉背景token会打破注意力平衡，使注意力塌到保留下来的前景恶意锚点，越狱条件下毒性语义被放大。
    • 本文提出：作者称对三类共八种剪枝策略做了安全评估，并提出推理时、plug-and-play的Safety-Aware Pruning（SAP）。作者称这是对Token-Pruning机制的首次comprehensive安全评估。
    • 威胁模型：
      • 防御方：white-box defense。可完全访问VLM内部表示；作者称这是所有token剪枝方法的前提。SAP作为inference-time defense加在剪枝之上。
      • 攻击方：black-box。构造多模态越狱输入（生成模型或排版形成的有害前景，配对抗文本），不知道剪枝策略或SAP。
      • 受害系统：接受视觉序列和文本指令的VLM。恶意查询可以与良性输入混合。
      • 成功判定：模型遵循恶意指令而非拒绝，记为攻击成功，指标为ASR。

  2. 有哪些相关研究？

    相关工作主要是多模态越狱与三类token剪枝；作者称剪枝的安全影响仍少被研究。
    • 多模态越狱：Liu et al. (2023b)的MM-SafetyBench显示，安全对齐的LLM骨干接入视觉后仍可被有害诱导。Luo et al. (2024)的JailBreakV-28K强调文本越狱与视觉输入结合后的可迁移性。Gong et al. (2025)的FigStep显示，把有害指令嵌进图像可以绕过防护。引言还引用Qi et al. (2024)的视觉对抗样本，以及Yuan et al. (2022)、Sun et al. (2024)。
    • 三类Token-Pruning：视觉中心方法用视觉序列内部注意力丢掉空间冗余区域（Zhang et al., 2024; Shang et al., 2025），并用ViT层级结构定位语义锚点（Liu et al., 2025）。文本引导方法按指令相关性过滤视觉token（Song et al., 2024）。Query-based Compression用可学习query把视觉上下文压进隐表示（Hu et al., 2024）。
    • 参数剪枝与安全：引言用Wei et al. (2024)等说明参数剪枝会在越狱设定下放大风险，并明确该文献没有回答token剪枝是否类似。作者没有在Related Work里把这些工作写成token剪枝基线。
    • 基线方法与基准：安全评估对照Original，剪枝方法为Random、TRIM、FitPrune、SparseVLM、HiPrune、PruMerge、FasterVLM、LLaVA-MQT、LLaVA-Mini。SAP主实验使用其中TRIM、HiPrune、PruMerge、FasterVLM、FitPrune。安全基准为MM-SafetyBench、FigStep、JailBreakV-28K；效用基准为MMBench、MM-Vet、LLaVA-Bench、SQA。外部护栏对照为LLaVAGuard（Helff et al., 2025）。

    作者把本文与上述工作的区别放在：token剪枝的安全含义仍少被研究；作者称本文评估剪枝如何重塑安全行为，并给出不放弃加速的缓解方法。

  3. 论文如何解决这个问题？

    SAP在剪枝后识别恶意锚点、换回良性token，并把过量注意力匀到这些token。

    作者把剪枝后的越狱风险归于注意力失衡，并用推理时的Safety-Aware Pruning（SAP）在不增加保留token数的前提下重建良性缓冲。

    剪枝设定与三类评分

    • 输入视觉序列为V。目标是保留子集Vkeep，规模K远小于原长度，同时维持推理效用。选择由重要性函数Φ和由剪枝率决定的阈值完成。
    • Vision-Centric：上下文来自视觉序列自身，按视觉token间注意力打分。文中例子为HiPrune、FasterVLM；Table 1还将PruMerge归入此类。
    • Text-Guided：上下文为文本指令，按文本query对视觉token的注意力打分。例子为SparseVLM、TRIM；Table 1还将FitPrune归入此类。
    • Query-based Compression：上下文为可学习query，按交叉注意力聚合视觉特征。例子为LLaVA-Mini与MQT-LLaVA（文中亦写作LLaVA-MQT）。

    恶意放大的形式化

    • 作者把视觉token分成恶意子空间M与安全缓冲B。在只对视觉token归一化注意力后，用恶意能量S和缓冲能量N定义恶意语义密度ρ=S/(S+N)，即恶意能量占视觉总能量的比例。
    • 作者称标准剪枝按重要性丢掉背景缓冲，使N趋于0而S相对不变，于是ρ趋于1，注意力回流到恶意锚点。随机剪枝在期望上按比例同时缩小S和N，作者据此称密度近似不变。
    • 注意力熵定义在剪枝后视觉token的softmax交叉注意力上。温度实验只缩放图像token的注意力、不改文本token注意力。

    SAP的三步

    • Malicious Anchor Identification：对每个保留视觉token，把文本指令token对它的平均注意力，乘以它与安全方向向量vsafe的余弦偏离。作者称SafePTR只按表示偏离识别有害token，这里同时要求“有恶意语义”和“得到较多注意力”。按该分数取top-m为恶意锚点。vsafe由一条安全指令前向得到各层隐藏状态，只算一次并复用；正文示例是要求安全且准确作答的指令。附录G给出不同措辞，此处不列清单。
    • Benign Token Restoration：从被丢弃集合均匀抽取k个token；再按原剪枝的重要性（若无Φ则随机）找出保留集中得分最低的k个并替换。替换后的活跃集长度等于原保留集。主实验中k为保留集的10%。
    • Attention Reallocation：解码步t上，对恶意锚点把注意力乘以(1-λ)，即Ât[vi]=(1−λ)At[vi]；被减掉的质量均匀加到恢复出的良性token，其余token不变。作者称总注意力质量不变，因此不必重算softmax。逐头、在全部层、softmax之后、与value聚合之前执行。

    实现参数与理论命题

    • 主实验统一75%剪枝，m=10，λ=0.6。SAP无需训练，使用预先算好的vsafe，在单张RTX 4090上运行。默认greedy解码，temperature=0，seed为42。
    • 第5节用三个命题作理论动机：Top-K剪枝使注意力支撑集缩小、香农熵下降；缓冲能量趋于0时，剪枝模型输出与原安全对齐输出的KL散度呈上升趋势；把SAP写成剪枝分布与恢复分布的混合后，熵有由凹性给出的下界。作者称这刻画了剪枝压低熵、SAP抬高熵下界的关系，而不是单独的经验结果。

  4. 论文做了哪些实验？

    LLaVA-1.5-7B上五种剪枝加SAP后，平均ASR均低于对应剪枝基线。

    实验设置

    • 模型：全部实验的骨干是LLaVA-1.5-7B。Table 1评估Original、Random，以及TRIM、FitPrune、SparseVLM、HiPrune、PruMerge、FasterVLM、LLaVA-MQT、LLaVA-Mini。SAP主对比为TRIM、HiPrune、PruMerge、FasterVLM、FitPrune。外部护栏为LLaVAGuard。
    • 基准：安全为MM-SafetyBench、FigStep、JailBreakV-28K；效用为MMBench、MM-Vet、LLaVA-Bench、SQA。论文未报告各基准的评测条数。
    • 指标：ASR定义为遵循恶意指令而非拒绝的比例。效用为各任务分数及四基准平均。效率为延迟、FLOPs和峰值显存。机制分析使用注意力熵。
    • 评审：MM-SafetyBench用GPT-4o-mini，覆盖13个风险场景，标签为Safe、Unsafe或Refusal。FigStep先做规则拒答关键词匹配，再用GPT-4o-mini核对排版指令是否被执行。JailBreakV-28K用Llama-Guard，对16类危害给出二值标签。附录A称这些协议与人类安全判断对齐，未给出一致性数字。
    • 运行设置：SAP主实验统一75%剪枝，m=10，λ=0.6，BTR恢复量为保留集的10%。默认greedy、temperature=0、seed 42，单张RTX 4090。附录F另用nucleus sampling（temperature=0.7），两种解码各5个种子。
    • 未进入Table 2的方法：SparseVLM、LLaVA-MQT、LLaVA-Mini有剪枝安全数字，论文未报告它们加SAP后的结果。

    主结果

    据Table 2，LLaVA-1.5-7B、剪枝率75%。下表只列Original、ASR最高的FasterVLM、FitPrune和后文常用的TRIM；HiPrune、PruMerge及Random未列入。

    表格较宽，可左右滑动

    方法MM-SafetyFigStepJailBreakV平均ASR效用平均
    Original59.3751.6051.0554.0164.46
    FasterVLM72.0263.0054.6463.2264.28
    FasterVLM+SAP54.5641.8046.4347.6063.98
    FitPrune71.4361.2056.7963.1464.26
    FitPrune+SAP56.3546.8042.5048.5562.91
    TRIM65.8762.2058.9362.3363.84
    TRIM+SAP52.7847.8050.0050.1963.45
    • 作者称五种剪枝加上SAP后平均ASR都下降，并以TRIM从62.33到50.19、效用从63.84到63.45为例。未列入上表的HiPrune平均ASR从59.83到48.58，PruMerge从61.88到44.78，Random为52.73（Table 2）。
    • 效用不是每行都上升。FitPrune加SAP后效用平均从64.26到62.91，是Table 2里效用平均降幅标注最大的一行（相对变化↓2.1%）。作者仍把整体概括为效用交换很小。
    • Table 1中75%剪枝的Text-Guided平均ASR高于Vision-Centric中的HiPrune（59.83），但单方法最高是FasterVLM的63.22，不是Text-Guided。作者称Text-Guided平均副作用最重，并举例SparseVLM与TRIM的ASR约增加10%；Table 1对应数字为62.73与62.33，Original为54.01。

    剪枝范式与机制干预

    • Query-based：Table 1中LLaVA-Mini在剪枝率99.8%时平均ASR为31.98、效用64.60；LLaVA-MQT在99.3%时ASR为46.84、效用57.45，低于Original效用64.46。作者称这类压缩与另外两类相反，并称该现象是counterintuitive。
    • 温度与删除：作者据Fig. 5称，τ从1.9降到1.0时，TRIM的注意力熵从2.8降到2.3，MM-SafetyBench上ASR从58%升到65%，SQA准确率在60%到69%之间。Table 9中，删前景后MM-SafetyBench ASR从59.37到50.00、SQA从69.56到65.25；删背景后ASR为65.87、SQA为69.46。作者称恶意语义主要在前景，背景充当安全缓冲。
    • 熵与随机剪枝：Table 10中Original熵3.39、ASR 54.01，FitPrune熵2.21、ASR 63.14，Random熵3.20、ASR 52.73。作者称熵更低的方法通常ASR更高。Table 11在MM-SafetyBench上给出Random的ASR：50%为60.12、80%为55.56、99%为34.92。正文称直到80%稀疏时约60%且统计上稳定。

    外部护栏、文本扩展与效率

    • LLaVAGuard：Table 3在TRIM上比较。LLaVAGuard的MM-Safety/FigStep为51.59/49.40，延迟160.09 ms；SAP为52.78/47.80，延迟57.19 ms。作者称安全相当、延迟约低3倍。两者串联为41.07/35.80，延迟162.44 ms；作者称二者正交，串联最强。
    • SAP†：Table 4把同一套MAI、BTR、AR用到文本token。FasterVLM的MM-Safety从72.02到视觉SAP的54.56，再到SAP†的10.32；FigStep与JailBreakV为12.60与18.57。TRIM+SAP†为20.04、8.20、15.36。作者称降低62%（从72.02到10.32），并称该原则与模态无关。
    • 效率与图：Table 8中Original延迟94.29 ms、FLOPs 8.79 T、显存14.66 GB；TRIM为55.90 ms、2.22 T、14.51 GB；TRIM+SAP为57.19 ms、2.22 T、14.53 GB。Figure 7标注TRIM熵为2.678和2.509，TRIM+SAP为2.927和3.192。作者称SAP提高熵、缓解注意力塌缩。

    其他消融与分析

    • BTR/AR（Table 5，TRIM）：只加BTR时MM-Safety 63.89、FigStep 59.20；只加AR时53.57、50.40，MMBench从66.92到63.23；两者同用为52.78、47.80，MMBench 67.27。
    • 锚点数量m（Table 6）：m=10时FigStep 47.80、MMBench 67.27；m=30时MM-Safety 47.42、FigStep 42.80、MMBench 59.02。
    • 剪枝率（Table 7，TRIM+SAP）：50%时MM-Safety 51.59、FigStep 49.60、SQA 69.76；90%时为50.40、46.40、69.21。表中单独的TRIM行为65.87、62.20、69.46。
    • 层（Table 12）：浅层0–15为MM-Safety 60.71、FigStep 58.60；深层16–31为56.15、56.00；全层为52.78、47.80。
    • 头（Table 13）：跨头平均的MM-Safety为67.26，高于TRIM基线65.87；逐头为52.78、FigStep 47.80。
    • 安全指令与解码：Table 15四条指令的MM-Safety为52.78、53.57、50.99、54.17；作者称最大ASR偏差为3.0%。附录F中TRIM+SAP的greedy为53.2±0.4与48.1±0.5，sampling为52.9±0.6与48.6±0.7，作者称标准差不超过0.7%。

  5. 有什么可以进一步探索的点？

    作者指出SAP需要白盒注意力，并把自适应攻击评测列为后续工作。

    作者指出的局限与后续方向

    • 白盒访问：Impact Statement写明SAP依赖对注意力权重的白盒访问，适用性限于开源架构。附录I把这一点称为Impact Statement中讨论的limitation。
    • 自适应攻击：附录I称，知道SAP机制的攻击者原则上可以针对恢复token和恶意锚点构造输入；设计和评估这类自适应攻击仍是未来工作。
    • BTR边界：附录I写明，剪枝比>95%时，保留集过小，恢复背景token理论上可能挤掉重要前景锚点。作者同时称该情形在实际部署中不会出现，因为Fig. 3显示此类比例会造成效用崩溃（作者称下降约40%），加速本身不再有意义。

    实验覆盖范围

    • 被测骨干为LLaVA-1.5-7B。Table 1报告八种剪枝策略及Random、Original；Table 2的SAP主对比为TRIM、HiPrune、PruMerge、FasterVLM、FitPrune，剪枝率75%。
    • 安全基准为MM-SafetyBench、FigStep、JailBreakV-28K；效用基准为MMBench、MM-Vet、LLaVA-Bench、SQA。论文未报告各基准样本条数。
    • 评审模型为GPT-4o-mini与Llama-Guard；FigStep另有规则关键词阶段。附录A称评估与人类安全判断对齐，论文未报告一致性数值。
    • 主实验为greedy、temperature=0、seed 42。附录F报告greedy与temperature=0.7的sampling，各5个种子的均值和标准差。
    • 外部对照包括LLaVAGuard和文本token上的SAP†。效率在单张RTX 4090上报告延迟、FLOPs和显存（Table 8）。附录I将自适应攻击的设计与评测列为后续工作。

  6. 总结一下论文的主要内容

    剪枝去掉背景token后注意力塌向恶意前景；SAP用恢复和再分配压低越狱ASR。

    这篇工作评估视觉token剪枝如何改变VLM在多模态越狱下的行为，并给出推理时防御SAP。

    • 问题：剪枝能加速，但作者称安全后果少被研究。防御方是white-box，把SAP加在剪枝之上；攻击方是black-box，提交有害前景加对抗文本的输入，且不知道剪枝或SAP。
    • 机制：作者称风险不是单纯少了token，而是背景缓冲被有偏删掉后，注意力塌到前景恶意锚点。Query-based把各类token融进可学习query，作者称因此呈现相反的安全变化。
    • 方法：SAP对保留token同时看注意力和与安全向量的偏离，选出恶意锚点；用被剪背景token替换保留集中得分最低的一部分，长度不变；再按系数把锚点上的注意力匀给恢复token。主设置为75%剪枝、m=10、λ=0.6。
    • 结果：LLaVA-1.5-7B上，Original三基准平均ASR为54.01；75%的FasterVLM为63.22，TRIM为62.33（Table 1、Table 2）。LLaVA-Mini在99.8%剪枝时为31.98（Table 1）。五种剪枝加视觉SAP后平均ASR均低于对应基线，TRIM+SAP为50.19（Table 2）。FasterVLM+SAP†的MM-Safety ASR为10.32，作者称相对72.02降低62%（Table 4）。TRIM+SAP延迟57.19 ms，FLOPs仍为2.22 T（Table 8）。
    • 作者结论：作者称剪枝诱发的安全风险来自剪枝后恶意与良性注意力失衡；恢复这一平衡可以抵消恶意放大。作者称SAP能缓解该漏洞，同时保留Token-Pruning的加速，效用交换很小。
阅读原文arxiv.org
#防御与护栏