窃取补丁大小：对抗性操纵视觉语言模型

Kai Hu 等研究者提出一种黑盒模型窃取攻击，可从已部署的视觉语言模型（VLM）中恢复私有的视觉分词器配置，包括视觉补丁大小和输入预处理流程。其原理是 ViT 式图像分块引入的任务级侧信道：当合成网格图像与隐藏补丁网格对齐时，分词阶段的边界线索被抹去，造成周期性精度下降；扫描网格单元尺寸并测量这些精度下降即可推断补丁大小，再通过引入填充和一致性检验区分动态或固定分辨率预处理，并恢复目标缩放分辨率。该攻击在开源 Qwen-VL 变体以及 GPT、Claude 等专有模型上均能可靠恢复分词器相关参数。研究者还展示此类泄露可支持感知预处理的迁移攻击和针对特定模型的对抗操纵。