QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御

分布式 VQA 在切层传输全部视觉 token，通信开销大，且中间激活与梯度易被反演和成员推断。

• 场景：作者认为 VQA 正部署到多机构医学 VQA 和端侧辅助等隐私敏感、带宽受限环境；大 VLM 难以端侧推理。FL 只聚合更新、SL 在切层交换中间激活、USL 再加第二切层把标签和问题头留在客户端，但原始数据本地化并不等于中间表示安全。
• 现有不足：作者称 CLIP-ViT-L/14 在 336×336 产生 576 个 1024 维视觉 token，跨 SL 切层传输代价高；激活与梯度更新面临特征反演、梯度泄漏和成员推断，现有激活级防御降效用且忽略许多 token 与问题无关。问题引导剪枝多作为集中式推理加速，作者称就其所知尚未作为隐私防御、也未与内容敏感度联合训练；现有 SL 压缩多与任务无关、不用客户端问题特征。
• 核心观察：作者认为只有子集视觉 token 需要过切层；VLM 分析显示早期语言层之后只有少量视觉 token 有贡献，传完整前缀同时抬高通信和攻击面。
• 提出方法：QPriv-VL 是建在 LLaVA-1.5-7B 上的问题引导、隐私感知 token 剪枝框架，同一决策机制用于集中训练（CL）、FL、SL 和 USL。核心是轻量 Dynamic Threshold Predictor（DTP），一次前向同时给出每样本剪枝比和每 token 保留掩码，权衡问题相关度与来自冻结 DINOv2 的内容敏感度。
• 威胁模型：
  • 目标：诚实但好奇或恶意服务器从交换信息恢复输入、标签或敏感属性。
  • 知识与能力：FSHA 用攻击者控制的模块替换合法服务器并劫持训练；FORA 为被动攻击，服务器收集 smashed activations 并在同域公开辅助集上训练反演器；MIA 训练影子模型，用置信度判断样本是否在训练集；iDLG 匹配观测梯度并解析恢复标签，适用于 FL 的参数更新和 SL 切层回传梯度。
  • 受害系统：客户端持有图像与问题；FL 传参数更新，SL/USL 传切层激活与回传梯度。QPriv-VL 在 token 离开客户端之前剪枝。
  • 成功判定：作者用重建 PSNR、MIA 攻击成功、敏感排除比，以及剪枝后 VQA 准确率衡量防御是否去掉可重建且隐私相关的 token，而不是单纯掉点。

作者把 QPriv-VL 放在集中式 VLM 剪枝与分布式隐私两条线的交叉处，并单独用 DINOv2 提供无标签敏感信号。

问题引导与自适应 token 剪枝

• FastV（Chen et al.）——在更深的 LLM 层剪掉低注意力 token。
• SparseVLM、ATP-LLaVA、QG-VTC、CROP——用文本条件或问题条件给出每样本预算或 token 分数，CROP 把保留适配到与查询相关的区域。
• PyramidDrop、VisionZip、LLaVA-PruMerge——在 LLM 深度上交错丢弃与渐进选择，或把离群选择与注意力引导合并结合。作者称这些方法显示三分之二或更多视觉前缀对 VQA 冗余，但决策放在 LLM 内部，只做集中式推理加速；没有放在网络边界之前，也没有与内容敏感度联合训练，或衡量对反演与成员推断攻击者的影响。

分布式学习中的隐私与压缩

• FSHA（Pasquini et al.）、FORA（Xu et al.）、DLG/iDLG、MIA（Shokri et al.）——分别从 smashed activations 主动对齐并反演、被动同域反演、梯度匹配反演，以及用影子模型置信度做成员推断。作者把这四类作为本文评测的攻击族。
• NoPeek、DP-CutMixSL、PATROL——用距离相关正则、样本混合或通道剪枝缓解泄漏。作者指出 FSHA 的对齐目标会压垮距离相关防御所正则的距离。
• BottleNet、ADC 压缩激活带宽；FedMultimodal、pFL-MedVQA、BiCSL 做多模态 FL 或 SL+FL 的 VQA。作者称这些工作不利用问题语义，或虽有对比隐私目标却不做 token 剪枝，视觉前缀及其可重建表面仍被完整传输。

自监督表示与可解释性工具

• DINO、DINOv2——无标签学习物体感知的 patch 表示，可迁移到自然与医学图像。作者采用冻结的 DINOv2 作为敏感度分支。
• Chefer et al. 的 transformer 注意力传播，以及基于删除的探测，被作者用来检查剪枝是否反映问题驱动推理而非一般显著性。

基线方法与基准

• 基线：不剪枝（ρ=0）、固定剪枝比 ρ∈{0.3, 0.5, 0.7, 0.9}，以及训练时用随机初始化打分器做的 oracle 网格搜索。训练范式为 CL、FL、SL、USL。
• 基准：一般域 GQA、OKVQA、VQAv2；医学域 SLAKE、VQA-RAD、PathVQA。敏感度教师另用 CelebA、NIH Chest X-Ray、EuroSAT（正袋）和 MNIST、CIFAR-10（负袋），这些标签不进入 VQA 循环。

作者称先前工作把问题引导剪枝、隐私保护 SL/FL 和自监督敏感度分开研究；QPriv-VL 把问题引导剪枝、学习到的每样本比例与 token 级保留掩码、DINOv2 patch 敏感度合在一起，并在四种训练设置上对四类攻击做统一评测。

QPriv-VL 放在冻结视觉–语言编码器和 LLaVA 多模态投影器之间，用同一套 QGTP 决策决定传出多少、哪些视觉 patch，从而挡住与问题无关或隐私敏感的内容。下游只训语言侧 LoRA，剪枝模块保持固定。

问题设定与三种策略

• 输入与位置：图像–问题对先经冻结编码器；剪枝发生在客户端、切层之前。四种范式共用同一骨干、LoRA 和优化日程，只改变模型与数据如何划分。
• 三种策略：关闭（ρ=0，无防御基线）、固定 ρ∈{0.3, 0.5, 0.7, 0.9}，或 DTP。选定比例后对效用分数做 top-k。安全地板 kmin=16，保证答案生成器至少看到少量图像上下文。
• 切分：SL 在 Llama-2-7B 解码器第 C=16 层切开，客户端拥有 [0, C)、QPriv-VL、投影器和嵌入，服务器拥有 [C, L) 与 LM 头，L=32。USL 在 CA=8、CB=24 切开，服务器只见两处切层激活，不见原始图像、问题、答案标签或 LM 头 logits。

效用分支与敏感度分支

• 效用：CLIP-V 给出 N=576、Dv=1024 的 patch（24×24）及池化图像向量；CLIP-T 给出 Dt=768 的问题向量。无偏投影到 P=256 后做缩放点积再过 sigmoid，得到每 patch 的问题相关分数 ub,n。公式为 u_b,n=σ(q_b^⊤ K_b,n/√P)，表示问题与该 patch 的对齐程度。
• 敏感度：冻结 DINOv2 在 16×16 网格上给出 Dd=384 的 patch。敏感头为 384→128→128→1 的 MLP（GELU），输出 (0,1) 分数，双线性上采样到 CLIP 网格。
• 融合：cb,n = α ub,n − β s_aligned，软掩码 mb,n = σ(γ cb,n)。α=β=1 为固定缓冲，γ 可学习、初始化为 3.0。训练时软掩码是可微蒸馏目标；推理时换成离散 top-k。

DTP：阈值与知识蒸馏

• 阈值头：把池化图像、问题向量和敏感度摘要（均值、最大值、超过 0.5 的比例）拼成 xb∈R^1795，经 1795→512→512→1 的 MLP 输出每样本剪枝比 ρ̂b，这是推理时唯一样本级变化量。DTP 约 1.7M 参数，其中 MLPτ 约 1.18M，打分投影约 459K。
• 准备数据：六个 VQA 集各最多 3000 条。Oracle 搜索在 G={0.10, 0.20, 0.30, 0.50, 0.70} 上由小到大找仍能以首 token 子串匹配金标答案的最小 ρ；匹配不到则 ρ⋆b=1.0。搜索每数据集上限 500 条，排序用固定随机初始化打分器。
• 教师：Hsens 在 Dpriv 的图像级标签上用二元交叉熵训 10 个 epoch（AdamW，lr 3×10^−4）；再冻结 Hsens，让 MLPτ 在 Dvqa 上回归 oracle 比例 20 个 epoch。学生从教师的 Hsens 与 MLPτ 初始化，Wq、Wk 随机，γ=3.0，以 LKD = λρ Lρ + λm Lm 端到端训 20 个 epoch（λρ=λm=1，AdamW，lr 3×10^−4，余弦退火，batch 128）。Lρ 同时拟合教师比例和硬 oracle。
• 保留数：kb = max(kmin, round((1−ρb)N))，再按效用分数取 top-k。作者给出蒸馏理由：oracle 需要每样本网格搜索且只落在离散网格上，隐私教师用的 Dpriv 学生不可用，因此不能直接当统一可微监督。

训练配置与成功判定

• CL：单训练者持有全部数据，用小批量 SGD 加梯度累积更新 LoRA。FL：NC 个客户端持不重叠分片，本地训 Tl 个 micro-batch 后 FedAvg；不共享优化器状态。SL：每轮 NC 个客户端依次对共享服务器训练，切层用前向钩子，保留旋转位置编码和因果掩码。USL：客户端头尾 LoRA 私有，服务器体 LoRA 共享，每客户端独立 AdamW 状态。LoRA 秩 32，作用在每层七个注意力与 MLP 投影上，基座 LLaVA 与 QPriv-VL 冻结。
• 探针：无关问题探针把测试图配上跨图问题、人工无意义问题和错误前提问题；回答若含策划集合 R 中的拒绝或不确定短语则计为拒绝，其余非空回答计为幻觉。敏感排除比为剪掉 patch 的平均敏感度除以保留 patch 的平均敏感度，大于 1 表示优先去掉高敏感区域。隐私子集按 patch 最大 DINOv2 敏感度排序取 top-N。

实验设置

• 模型：参考架构为 LLaVA-1.5-7B，视觉侧 CLIP-ViT-L/14，语言侧为 Llama-2 解码器（背景一处写 Vicuna，方法节写 Llama-2-7B，L=32）。敏感度分支为冻结 DINOv2。DTP 约 1.7M 可学习参数；下游只训秩 32 的 LoRA。
• 数据：GQA、OKVQA、VQAv2、SLAKE、VQA-RAD、PathVQA，DTP 准备阶段各最多 3000 条；oracle 搜索每集最多 500 条。Dpriv 为正袋 CelebA、NIH Chest X-Ray、EuroSAT 与负袋 MNIST、CIFAR-10，只监督 Hsens。
• 范式与基线：CL、FL、SL（C=16）、USL（CA=8，CB=24）。策略为关闭剪枝、固定 ρ∈{0.3, 0.5, 0.7, 0.9} 和 DTP。
• 攻击：FSHA、FORA、iDLG、属性推断 MIA，覆盖一般域与医学 VQA。摘要用重建 PSNR 和 MIA 攻击成功描述防御。
• 指标：VQA 准确率、平均保留 token、MIA 攻击成功、FSHA/FORA 的 PSNR、敏感排除比、闭集精确匹配与开放问答召回，以及幻觉率与拒绝率。论文未在所给正文中写明评审模型、ASR 阈值、NC、Tl 或重复次数。
• Fig. 10 设置：改变融合权重（α, β），在相同日程、学习率和早停下于 VQA-RAD 与 SLAKE 上做 LoRA 微调，报告测试准确率与每图平均保留 token。

主结果

摘要给出的主数字如下（正文后部表格在文本转换中错位，无法可靠抄入，故不填那些格子）。

Swipe horizontally to read the table

设置	指标	结果	出处
VQA-RAD，QPriv-VL/DTP	MIA 攻击成功	从 0.99 降到 0.76–0.79	摘要
DTP	sensitivity exclusion ratio	1.20 ± 0.18	摘要
约 40% 原始 token 预算	VQA 准确率	作者称仍有竞争力	摘要
FSHA、FORA	重建 PSNR	作者称低于线性固定比例趋势	摘要

• 作者称 DTP 作为防御与固定比例剪枝相当或更好，同时保留明显更多 token。
• 作者称 排除比 1.20±0.18 说明 DTP 优先去掉隐私敏感 patch；可解释性分析支持保留随问题语义变化，而不是一般显著性。
• 四个研究问题分别问：四种学习设置上能否同时降通信、缩小攻击面并保住准确率；动态阈值是否优于固定比例或免训练剪枝；是否专门去掉可重建且隐私相关的 token；能否用可解释性验证。

效用–隐私权重消融

• 测了什么：Fig. 10 在 α 从 0 到 1（图中横轴，β 侧标注为 =1 的量）上扫描 VQA-RAD 与 SLAKE 的准确率与平均保留 token。作者写最佳点在 α=0，即排序完全由隐私敏感信号 βs 决定。
• 结果：VQA-RAD 在 α=0 时准确率 0.566，α=1 时 0.527；SLAKE 分别为 0.817 与 0.774。平均保留 token 在 VQA-RAD 上约 220–224，SLAKE 上约 256–262，几乎不随 α 变。图上 VQA-RAD 的 token 轴大约在 220–223.5，准确率轴大约在 0.51–0.56；SLAKE 的 token 轴大约在 256–262，准确率轴大约在 0.76–0.82。
• 作者的解读：作者认为敏感度感知的排序会留下诊断上相关的区域，并丢掉效用排序容易留下的无关或噪声内容；ρ̂ 主要由全局预测输入控制，权衡来自排序准则而不是保留数量。

定性与探针设计

• Fig. 2 画出冻结编码器、效用分支、敏感度分支、可微掩码、阈值保持器和剪枝决策（关闭 / 固定 / DTP），以及安全地板 16。
• Fig. 1 示意四类攻击：FSHA 的假服务器与判别器、FORA 的好奇服务器与反演器、MIA 的影子模型与置信度规则、iDLG 从噪声初值匹配更新。
• 无关问题探针与敏感排除比的定义在方法节给出；所给正文片段没有列出这两项的数值表。Fig. 中一则 VQAv2 例子标注 kept = 565/576（98%），max sp = 0.80，问题为图像中人物所持物体、答案为 book。

其他消融与分析

• Oracle 网格 G={0.10, 0.20, 0.30, 0.50, 0.70}，匹配失败则 ρ⋆=1.0，每集搜索上限 500。
• 教师：Hsens 10 epoch，MLPτ 20 epoch；学生 KD 20 epoch，λρ=λm=1，batch 128。
• kmin=16；SL 切在第 16 层，USL 切在第 8 与第 24 层。
• α=β=1 为默认缓冲；Fig. 10 显示 α=0 在两个医学集上准确率高于 α=1，保留 token 数量几乎不变。
• 敏感排除比定义中，大于 1 表示优先删除高敏感 patch；摘要报告 DTP 为 1.20±0.18。
• 论文报告的负面或弱结果：α=1 的纯效用排序在 VQA-RAD（0.527）和 SLAKE（0.774）上低于 α=0；摘要中的 MIA 在防御后仍为 0.76–0.79，并未降到接近零。作者未对后者另给解释。

作者指出的局限与后续方向

论文未专门讨论局限。所给文本的结论段在转换中被截断，Section VII 仅被引言点名，没有可核对的局限或未来工作原句。Fig. 10 附近对 α=0 优于 α=1 的说法是结果解读，不是作者标明的局限。

实验覆盖范围

• 被测骨干为 LLaVA-1.5-7B，训练范式为 CL、FL、SL、USL 四种（Section II-C、Section V-C、Fig. 3）。
• VQA 基准为 GQA、OKVQA、VQAv2、SLAKE、VQA-RAD、PathVQA，DTP 准备时各最多 3000 条，oracle 搜索每集最多 500 条（Section V-A）。
• 攻击族为 FSHA、FORA、iDLG 和 MIA（含摘要中的属性推断 MIA），见 Section II-D 与摘要。
• 权重消融 Fig. 10 报告了 VQA-RAD 与 SLAKE 上 α 扫描的准确率与平均保留 token；敏感度教师使用图像级袋标签且不进入 VQA 循环。
• 论文未报告客户端数 NC、每轮本地步数 Tl、攻击查询次数、重复次数，以及幻觉/拒绝探针与人工判定的一致性。

QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。

• 问题：FL、SL、USL 把原始图像留在本地，但仍传输完整视觉前缀。CLIP-ViT-L/14 在 336×336 有 576 个 1024 维 token；这些激活和梯度可被 FSHA、FORA、iDLG 和 MIA 利用。作者认为许多 token 与当前问题无关。
• 方法：冻结 CLIP 与 DINOv2。效用分支用问题–patch 缩放点积打分，敏感分支用 DINOv2 patch 的 MLP 分数。融合为效用减敏感度。DTP 一次前向预测每样本剪枝比和软保留掩码，经教师–学生蒸馏对齐 oracle 最小可用剪枝比，推理时做 top-k，并设最少保留 16 个 token。同一模块用于 CL、FL、SL（切在第 16 层）和 USL（切在第 8 与第 24 层）。下游只更新 LoRA。
• 结果：作者称 DTP 与固定比例防御相当或更好，且保留更多 token；在大约 40% 原始 token 预算下 VQA 准确率仍有竞争力。VQA-RAD 上 MIA 从 0.99 降到 0.76–0.79。FSHA 与 FORA 的重建 PSNR 被作者描述为低于线性固定比例趋势。敏感排除比为 1.20±0.18。Fig. 10 中 α=0 时 VQA-RAD 准确率 0.566、SLAKE 为 0.817，高于 α=1 的 0.527 与 0.774，平均保留 token 分别约 220–224 和 256–262。
• 作者的结论：作者认为敏感度感知排序更适合医学 VQA，因为取舍来自“留哪些 token”而不是“留多少”；可解释性案例支持保留随问题语义变化。作者把该框架同时当作通信压缩层和隐私防御。