QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御
Don't Send What You Don't Need: Question-Guided Token Pruning as a Privacy Defense for Vision-Language Models
AI 导读
作者提出 QPriv-VL，一个面向联邦学习、拆分学习和 U 型拆分学习的问题引导隐私感知 token 裁剪框架，在传输前按任务效用与隐私敏感度裁剪视觉 token。其核心是轻量级 Dynamic Threshold Predictor（DTP），在一次前向中同时估计样本级裁剪比例和 token 级保留掩码，结合视觉 patch 与问题嵌入的跨模态相似度，以及来自冻结 DINOv2 特征的敏感度信号，无需敏感度标签即可抑制潜在敏感区域。