Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv：可解释性· arXiv:2610.03389· Rahul Chowdhury, Timothy A Rupprecht, Xuan Shen, Shaoyi Huang, Pu Zhao, Yanzhi Wang·Indexed by this site · Originally published

Patch-to-Prune: Pruning visual computation on Qwen2.5-VL and LLaVA

From Patching to Pruning Visual Computation in Vision Language Models

Quick read

Other

Based on 论文 PDF （AI 生成）; refer to the original

作者用P2P在3%容忍度下替换部分视觉投影：四模型平均约保留94%准确率，FLOPs降55%。

Questions
VLM每层都对大量视觉token做attention与MLP投影，语言decoder成为推理瓶颈。按早期分数丢弃token的方法不考虑视觉信息在深度上的流动，重要性也未必单调下降。
Methods
P2P在不相交小校准集上估计每层、每模块的图像或文本流均值，再按容忍度做前向与后向累积修补以选出安全层。推理时这些层的视觉投影输出直接填均值，不删token、不改权重。
Experiments and results
默认3%容忍度下，作者称四模型平均保留约94%稠密准确率，FLOPs降55%、延迟降22%。LLaVA上FLOPs低于两种token剪枝基线，但平均准确率也更低；Qwen2.5-VL-3B的5% TextVQA从0.773降到0.182。
Limitations and future work
论文未设局限专节。Conclusion称后续可同时决定哪些视觉token重要，以及计算在何处必要。实验覆盖四个VLM与七个基准；主结果不微调，LoRA只报告LLaVA-7B的三个基准。
Experimental setupQwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct et al. · WhatsUp-VLM (COCOQA, VGQA)、POPE et al. · Accuracy、FLOPs (teraFLOPs) et al.
Evaluated models
Qwen2.5-VL-3B-InstructQwen2.5-VL-7B-InstructLLaVA-v1.6-Vicuna-7B-HFLLaVA-v1.6-Vicuna-13B-HF
Benchmarks
WhatsUp-VLM (COCOQA, VGQA)POPEScienceQA-IMGGQATextVQACV-BenchAI2D
Metrics
AccuracyFLOPs (teraFLOPs)Latency (seconds per sample)
AI summaryInspired by mechanistic interpretability, the researchers propose a training-free framework Patch-to-Prune (P2P), which turns activation patching from a diagnostic tool into a computational bypass at inference time, replacing the visual token projection outputs of some decoder layers with fixed neutral proxy activation vectors. Across four VLMs including Qwen2.5-VL and LLaVA and seven multimodal benchmarks, it preserves about 94% of dense accuracy with a 3% tolerance and reduces FLOPs by 55%. P2P does not change sequence length, token order, positional information, attention masks, or residual pathways, nor does it modify pretrained weights; layer-wise analysis shows that visual processing is unevenly distributed across decoder depth, with middle layers handling the main task-relevant visual integration.

Inspired by mechanistic interpretability, the researchers propose a training-free framework Patch-to-Prune (P2P), which turns activation patching from a diagnostic tool into a computational bypass at inference time, replacing the visual token projection outputs of some decoder layers with fixed neutral proxy activation vectors. Across four VLMs including Qwen2.5-VL and LLaVA and seven multimodal benchmarks, it preserves about 94% of dense accuracy with a 3% tolerance and reduces FLOPs by 55%. P2P does not change sequence length, token order, positional information, attention masks, or residual pathways, nor does it modify pretrained weights; layer-wise analysis shows that visual processing is unevenly distributed across decoder depth, with middle layers handling the main task-relevant visual integration.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    视觉投影在早层与晚层常可替换；P2P据此在容忍度内跳过这些计算。

    哪些decoder层真正需要token级视觉投影并不清楚，但VLM仍在每一层对全部视觉token做这些计算。

    • 场景：作者称图像通常变成数百到数千视觉token，并在每层重复经过attention与MLP投影；视觉token往往占序列主体，语言decoder成为推理瓶颈。
    • 现有不足：FastV与PyramidDrop等训练无关方法主要按早期注意力或相似度永久丢弃视觉token。作者称这忽略视觉信息如何在网络中流动，也忽略token重要性在后续层未必单调下降。
    • 观察：激活修补显示，替换视觉token投影输出在许多早层和晚层往往只带来较小准确率下降，中间层更敏感；替换文本流则普遍损害准确率。作者假设视觉信息分阶段写入共享残差与文本表示，后层主要利用已经嵌入的信息作答。
    • 方法：提出训练无关的Patch-to-Prune（P2P）。在用户指定的准确率容忍度内选出可替换层，推理时用固定的模态条件代理填视觉token的投影输出，从而跳过对应矩阵乘。序列长度、顺序、位置信息、attention mask与残差路径保留，不改预训练权重。

  2. What related research exists?

    论文把token剪枝与激活修补分开讨论，并称修补原先不加速推理。

    引言与Related Work分成视觉token削减和激活修补两组；实验另设剪枝基线。

    视觉token剪枝

    • FastV（Chen et al., 2024）：用早期注意力估计重要性并永久丢弃token。引言称它与PyramidDrop未考虑视觉信息如何流过网络，也未考虑重要性未必单调下降。
    • PyramidDrop（Xing et al., 2024）：把FastV扩展为分阶段日程，在每个阶段移除一部分尚存视觉token。论文将它与FastV一起用作token剪枝基线。
    • PruMerge（Shang et al., 2025）与SparseVLM（Zhang et al., 2024）：前者选择信息量大的视觉token，并把冗余token合并进保留表示；后者用文本引导的注意力排序，按层设稀疏比，并回收被丢token的信息。论文只描述这些做法，并称这类工作说明大量计算可以被去掉。

    激活修补与因果定位

    • Geiger et al. (2021)、Zhang & Nanda (2024)：用替换内部激活并测量行为变化，定位层、token位置、注意力头和中间表示的因果作用；也称为interchange intervention或causal tracing。
    • ATP*（Kramár et al., 2024）与Heimersheim & Nanda (2024)：讨论大规模干预的可扩展近似，以及如何使用和解释激活修补。
    • 论文指出这些方法主要是可解释性工具：原计算通常先执行，再覆盖激活，干预本身不加速推理。

    基线与基准

    • 基线：稠密Vanilla（不做token删除、激活替换或删层）、FastV、PyramidDrop。作者称后两者不是当作竞争者，而是用来对照跳过逐层视觉计算能否达到与token剪枝相近的效率，并指向在P2P保留的关键层内再剪token。
    • 基准：WhatsUp-VLM（COCOQA、VGQA）、POPE、ScienceQA-IMG、GQA、TextVQA、CV-Bench、AI2D。校准、验证与测试划分互不相交。

    作者把P2P定位为沿深度剪计算、不改token与序列结构，并称这与沿序列剪token正交；双向扫描则用来指出视觉流在早层和晚层可替换，而文本流修补仍然有害。

  3. How does the paper address this problem?

    双向累积修补划出安全层，推理时用图像流均值填视觉投影并跳过矩阵乘。

    Patch-to-Prune（P2P）把诊断性激活修补变成推理时的计算旁路，分三步：层敏感性分析、按容忍度选安全层、旁路推理。主结果不训练；可选LoRA在同一修补图上补偿准确率。

    问题设定

    • 对象：冻结的指令微调VLM，语言骨干有N个decoder层。图像–问题对经processor得到长度T的序列，投影后的视觉token与文本token交错。
    • 模块：每层线性投影为WQ、WK、WV、WO，以及门控MLP的Wgate、Wup、Wdown。aℓ,m(t)是层ℓ、模块m、位置t的输出。
    • 诊断设置：可只替换图像位置、只替换文本位置，或两者都替换，且用同流均值。

    流条件原型

    在与评测数据不相交的统计划分上前向，记录样本级均值。定义为 μℓ,m,s=1/(Nstat)∑n=1Nstat1/(|Ps(n)|)∑t∈ Ps(n) aℓ,m(n)(t)。每个样本先在所属流上平均，再对样本等权，避免长序列或大图主导。主实验Nstat=100。摘要称固定中性代理；§3–4的实现是按层、模块和流缓存的均值，视觉token使用图像流原型。

    累积扫描与安全层

    • 扫描：验证集上做累积修补。前向修补层{0,...,L}，L从输入侧增大；后向修补{L,...,N-1}，L从输出侧减小。每个L重新注册干预并记录准确率下降。
    • 准入：找到满足 Accd(L)≥ (1−τ)Acc0 的边界，即修补后验证准确率不低于未修补准确率的(1-τ)倍。前向增大L，直到两个连续不可接受边界，再取L*_fwd=L-1；后向对称。安全集是前缀与后缀的并，选定后测试时不变。
    • 控制量：τ是唯一控制参数。放宽τ会从decoder两端向内扩大安全集。作者在Qwen2.5-VL-3B-Instruct上扫描后采用τ=3%为默认；该扫描的数字在第4问。

    计算旁路

    安全层上，视觉token不做attention与三个MLP模块的乘法，输出直接填缓存原型。§4.4写其余文本token仍用原权重做attention；引言写安全层的文本token以及其他层的全部token走常规attention。非安全层不旁路。不删token，不改序列长度、顺序、attention mask、残差路径和预训练权重。§1只写填入attention投影输出，贡献条目则写跳过选定的attention与MLP投影矩阵乘。

    可选的P2P-aware微调

    安全层的attention与MLP投影插入LoRA，训练时保持同一修补图：安全层视觉位置仍填均值，这些位置不向LoRA回传梯度。适配器只通过未修补的文本token和安全层以外的模块更新。损失是teacher-forced因果语言建模，多模态提示被mask，交叉熵只在答案token上计算。附录A.1称缓存是每层每投影一个向量，与序列长度和batch无关；论文未报告字节数。

  4. What experiments did the paper conduct?

    3%容忍度下作者称平均保留约94%准确率、FLOPs降55%，但部分任务跌破容忍度。

    实验设置

    • 模型：Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct、LLaVA-v1.6-Vicuna-7B-HF、LLaVA-v1.6-Vicuna-13B-HF。§3.4的扫描写Qwen2.5-VL-3B-Instruct与LLaVA-Next（Vicuna-7B、Vicuna-13B）。
    • 数据：七个基准。附录A.6的测试规模为WhatsUp-VLM 1251、POPE 8800、ScienceQA-IMG 2017、GQA 12378、TextVQA 5000、CV-Bench 2438、AI2D 2888。每基准另有互不相交的100条代理估计和100条层选择。
    • 基线与协议：Vanilla、FastV、PyramidDrop，使用相同模型、提示、精度、测试样本和指标；论文未写精度格式。主结果不微调。工作点为1%、3%（默认）和5%。
    • 指标：任务准确率、FLOPs（T）、平均延迟（秒/样本）。论文未写重复次数，也未写LLM或人工复判。
    • 微调（仅消融）：batch size 1，LoRA r=1、α=1，AdamW，学习率2×10^{-4}，10个epoch；训练用100条统计样本，验证用100条层选择样本。

    主结果

    下表是作者在§5.2由Table 1算出的八列平均，不是表内原格。省略Qwen2.5-VL-3B/7B，因为正文没有同样的平均；逐列在Table 3。附录A.3称Table 3是Qwen结果，该表标题却写成LLaVA-7B的LoRA对比，以下按行标引用。

    Swipe horizontally to read the table

    设置平均AccFLOPs (T)延迟 (s)
    LLaVA-7B Vanilla0.64130.80.351
    LLaVA-7B FastV0.63516.20.377
    LLaVA-7B PyramidDrop0.63914.50.369
    LLaVA-7B P2P 3%0.60112.60.297
    LLaVA-13B Vanilla0.69359.20.619
    LLaVA-13B FastV0.68631.00.578
    LLaVA-13B PyramidDrop0.68928.10.573
    LLaVA-13B P2P 3%0.65722.40.462
    • 作者的汇总：3%时7B/13B保留93.8%/94.8%平均准确率，FLOPs降59.1%/62.2%；两模型合计约94%准确率、FLOPs约降60%。摘要写约94%与55%（七基准）；§5.2另写四模型、8个数据集为94%准确率、55% FLOPs、22%延迟。
    • 相对基线：作者称3%的计算更低，但平均准确率也低于FastV与PyramidDrop，因此是不同工作点，不是各项都更高。1%时7B/13B保留97.7%/98.1%，FLOPs降43.2%/32.8%；5%时平均Acc为0.574/0.605，FLOPs降67.2%/68.2%。
    • Table 3中的低点：Qwen2.5-VL-3B、5%的TextVQA/GQA/POPE为0.182/0.316/0.526，Vanilla为0.773/0.600/0.875。同模型3%的ScienceQA为0.648，Vanilla为0.752。作者未单独解释这些格子。Qwen2.5-VL-7B、3%的wco为0.890，Vanilla/FastV/PyramidDrop为0.913/0.754/0.729。

    延迟与任务差异

    • 延迟：作者称3%时LLaVA-7B平均延迟降15.4%，13B降25.4%；FastV与PyramidDrop的FLOPs低于Vanilla，但延迟更高。四模型、8个数据集的22%延迟降幅由作者给出；Table 3未列Qwen延迟，分项未给出。
    • 非单调：作者称每层修补有固定开销，更高容忍度可以FLOPs更低而延迟更高。Table 1中LLaVA-7B、5%的gqa/tvqa为0.815s/1.38s，Vanilla为0.531s/1.07s；LLaVA-13B、5%的sqa为2.11s，Vanilla为0.289s。
    • 任务：作者称1%时LLaVA-7B的WhatsUp-VGQA从0.580升至0.635，13B的COCOQA/VGQA从0.754/0.744升至0.762/0.769；3%时7B的AI2D为0.641，Vanilla为0.642。作者称TextVQA与CV-Bench对更强按压更敏感，且全测试降幅在部分数据集上可超过指定容忍度。Table 1中7B、1%的wco从0.576降到0.522；13B、5%的CV-Bench为0.392，Vanilla为0.605。

    容忍度扫描

    • 设置：Qwen2.5-VL-3B-Instruct，τ从1%到10%，每个设置在验证集重选安全层，再在全测试集评估（Figure 3）。
    • 数字：作者称平均准确率从1%的74.6%到7%的70.6%、10%的67.1%；平均计算从2.1降到1.3 TFLOPs，稠密参考为3.1。
    • 作者称：安全层先出现在decoder顶部和靠近输入处，τ增大时向内扩展到大约第14–21层，该处准确率开始变差，因此采用τ=3%。Figure 3(b)的逐层图案正文没有逐层数值，这里只转述作者对图的描述。

    P2P-aware微调

    • 设置：Table 2，LLaVA-7B，ScienceQA、TextVQA、CV-Bench；比较冻结Vanilla、冻结P2P与在均值修补图上训练的P2P+LoRA。
    • 数字：3%时三列从0.624/0.524/0.506到0.629/0.589/0.628；1%从0.646/0.543/0.556到0.665/0.59/0.566；5%从0.570/0.454/0.505到0.584/0.544/0.587。Vanilla为0.647/0.601/0.598。
    • 作者称：相对冻结P2P，1%/3%/5%约补回75%/100%/59%的平均缺口，因而把3%当作默认容忍度。Table 2中CV-Bench、3%的LoRA为0.628，高于同表Vanilla 0.598；作者的总括句比较的是相对冻结P2P。

    其他消融与分析

    • 代理类型（Figure 4，Qwen2.5-VL-3B，WhatsUp/POPE/ScienceQA，前向图像流attention与MLP）：mean、zero、noise、random token；正文无逐点准确率。作者称mean表现最好，zero与noise下降更大，ScienceQA上尤其如此，random token更不稳定。
    • 统计集Nstat∈{1, 25, 50, 100, 250, 500}（Figure 5）：作者称早层可容忍、延伸到中间层则下降的模式相近，更大统计集没有一致提升；主实验用100。
    • 3%相对FastV/PyramidDrop的额外FLOPs降幅（§5.2）：LLaVA-7B为22.2%/13.1%，13B为27.7%/20.3%。
    • §3.4与Figure 2、6、7：作者称视觉流在早层与晚层的替换往往可容忍，文本流修补普遍有害；正文未给这些图的逐层准确率。

  5. What are some points that can be further explored?

    论文未设局限专节，Conclusion只提出按深度决定视觉计算是否必要。

    作者指出的局限与后续方向

    • 论文没有Limitations、Discussion或Future Work专节，也没有把某项实验结果明确写成局限。
    • Conclusion：作者称这种按深度看视觉计算的视角，为token剪枝打开一个方向，使以后的方法不仅可以决定哪些视觉token重要，也可以决定它们的计算在何处真正必要。

    实验覆盖范围

    • 被测模型为Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct、LLaVA-v1.6-Vicuna-7B-HF、LLaVA-v1.6-Vicuna-13B-HF（§5.1）。层扫描另写LLaVA-Next Vicuna-7B/13B（§3.4）。
    • 基准为WhatsUp-VLM、POPE、ScienceQA-IMG、GQA、TextVQA、CV-Bench、AI2D。附录A.6的测试规模分别为1251、8800、2017、12378、5000、2438、2888；每基准另有不相交的100条代理估计与100条层选择。
    • 主结果对比Vanilla、FastV、PyramidDrop，且不微调。指标为准确率、FLOPs与每样本延迟；Table 3只列Qwen的准确率与FLOPs。
    • LoRA实验为LLaVA-7B的ScienceQA、TextVQA、CV-Bench（Table 2）。代理类型与统计集大小消融在Qwen2.5-VL-3B的WhatsUp、POPE、ScienceQA上做前向图像流修补（Figure 4、Figure 5）。
    • 论文未报告重复次数和统计显著性，也未给出§5.2所称四模型22%延迟降幅的Qwen分项。准确率按各基准任务分计算，论文未写LLM评审或人工一致性。

  6. Summarize the main content of the paper

    P2P用深度上的激活修补旁路视觉投影，以可调容忍度交换准确率与计算量。

    P2P是面向VLM推理的训练无关计算旁路：不删除视觉token，而在选定decoder层用固定激活代理代替视觉投影。

    • 问题：每层都对大量视觉token做attention与MLP投影，语言decoder成为瓶颈。按早期分数丢弃token的方法不回答哪些深度真正需要这些计算，也未处理重要性未必单调下降。
    • 做法：在不相交的100条样本上估计每层、每模块的图像/文本流均值，再在另100条上做前向与后向累积修补。验证准确率不低于(1-τ)倍基线时，把前缀与后缀并成安全层；默认τ=3%。测试时安全层的视觉token跳过attention与三个MLP投影的乘法，序列结构与权重保持不变。可选LoRA只加在安全层，并在同一修补图上、用那100条统计样本训练。
    • 结果：作者称3%时四个VLM、七基准或8个任务列平均保留约94%稠密准确率，FLOPs降55%，延迟降22%。仅LLaVA两模型时，作者称约94%准确率、FLOPs约降60%：7B/13B平均Acc为0.601/0.657，FLOPs从30.8T/59.2T到12.6T/22.4T，延迟降15.4%/25.4%。该工作点的FLOPs低于FastV与PyramidDrop，平均准确率也更低。部分格子跌破容忍度，如Qwen2.5-VL-3B在5%的TextVQA为0.182（Vanilla 0.773）。LLaVA-7B上，作者称3%的LoRA约补回全部平均缺口。
    • 作者的结论：视觉处理集中在任务敏感的中间层，早层与晚层有可替换计算；以后的token剪枝可以同时决定哪些token重要，以及计算在何处必要。
Read originalarxiv.org