反转隐藏状态：揭示协作式 LVLM 推理中的多模态隐私泄露
Inverting the Hidden: Unveiling Multimodal Privacy Leakage in Collaborative LVLM Inference
AI 导读
研究者提出针对协作式 LVLM 推理的多模态重建攻击 RASR，显示边缘设备与云端之间传输的深层隐藏状态仍可还原隐私图像和文本。协作推理通过在边缘设备与云端之间划分计算来部署 LVLM，虽不传输原始输入，但中间隐藏状态构成攻击面。论文先从理论上分析隐藏状态的可还原性，证明在正则性假设和正的语义-干扰边际（semantic–nuisance margin）下，隐私相关的视觉语义仍可被识别并稳定还原。RASR 先通过沿各自前向处理管线逆方向进行的模态专属逆路径得到图像和文本的初始重建，再利用隐藏状态一致性细化两者。在 Qwen3-VL-8B-Instruct 和 LLaVA-1.5-7B 上跨五个数据集的评测显示，RASR 将图像重建 MSE 较最强基线降低约 50%，文本还原的 token 准确率最高达 99%。