用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露

商业多模态大推理模型能从随手照片推断精确地理位置，现有拒答与像素扰动都难在黑盒API上兼顾防护与画质。

• 场景：作者称MLRM会对建筑风格、植被和光照做多步推理，从自拍、街景和日常照片泄露住址与日常路线，降低跟踪、监视和物理入侵的门槛。地理数据受GDPR与CCPA约束。
• 现有防护不足：OpenAI等的拒答可被越狱模板把响应率抬到100%（Section III-C）。排版嵌入错误地名会损害观感，裁剪或缩放即可绕过。像素空间扰动受Lp预算约束，强扰动出伪影、弱扰动不够；CLIP类代理不对齐地理推理，黑盒迁移差。作者称GeoShield即使用编码器集成，仍停在像素优化。
• 核心观察：扩散模型反向采样直接改高层语义表示，可同时拉开定位并保持观感；用与GPS对齐的GeoCLIP作代理，比只对齐图文相似度的编码器更能打中MLRM所用的地理线索。
• 本文做法：提出潜空间扩散扰动框架，并可选扩散局部修复，让用户按城市、区域或国家粒度控制披露。
• 威胁模型
  • 攻击者目标：从用户分享图像推断当前位置、住所或常去区域。
  • 知识：strict black-box，没有账户元数据、IP或内嵌地理标签。
  • 能力：输入仅为Instagram、TikTok、YouTube等公开图像；可无限制使用GPT-5、Claude 4.5系列等MLRM，模型可缩放、网页检索和调用外部工具。
  • 防御方：社交平台在同意后于发布前净化图像，或第三方在客户端本地变换。真实位置来自用户GPS；没有元数据时用既有定位模型估计。干预需保持不可感知。

• 传统图像地理定位：分类法把地表划成格子再预测类别；检索法在带地理标签的库中找最近邻。作者称两者受固定粒度或大规模标注限制，全球尺度的精度、可解释性和可扩展性不足。
• MLLM地理能力与泄露：强化学习后训练提升街景定位；近期MLRM能对日常照片做零样本定位。被引工作称MLRM可通过简单提示词抽取地理信息，误差比非专家人类平均低21倍。真实案例包括从公开自拍推断住址并实施伤害。缓解方面，OpenAI用拒答；像素扰动试图从表示中拆出地理特征或打断概念依赖，作者称集成训练重、失真明显，不利于大规模部署。
• 扩散对抗样本：FGSM、PGD、C&W在像素空间用Lp约束；不受限对抗攻击改语义或属性。扩散模型经前向加噪与反向去噪生成图像，在中间潜变量注入扰动可做高层语义改变。同类方法已用于人脸隐私，遮挡身份同时保持外观。
• 基线与基准：M-Attack对齐错误地点目标图的全局与局部表示并做模型集成；GeoShield从CLIP嵌入拆地理特征并集成训练；ReasonBreak把图像块对齐到误导性视觉概念以打断分层推理，作者仅按官方建议在DoxBench上评测。基准为DoxBench与Street View，下游效用用MS COCO与UnsafeBench。排版方法因裁剪或缩放即可绕过而未作基线。

作者把本文定位为：在Stable Diffusion潜空间做地理感知优化，用GeoCLIP打断细粒度视觉线索，以同时获得视觉保真和对黑盒MLRM的可迁移防护。

整体在Stable Diffusion的DDIM反向采样里改潜变量：每步把潜变量解码成中间图像，用GeoCLIP梯度和保真损失更新，再写回潜空间。可选扩展用SAM掩码做局部修复。

问题设定与扩散过程

• 前向与反向：前向在T步把高斯噪声加到潜变量，zt由zt−1按方差日程βt得到；反向由生成模型预测噪声。Stable Diffusion在潜空间做这两步以降低计算。
• DDIM：把反向改成确定性非马尔可夫过程，可在任意时间步之间跳步，比完整T步更少。作者称因此常用它做扩散扰动，以保持原图与扰动图的视觉一致性。

地理引导与优化

• 代理：GeoCLIP用位置编码器L(·)把二维GPS映到高维，图像编码器V(·)提语义，预测为与全球GPS图库G相似度最高的坐标。防御为每张图指定与真实来源不同的目标位置G′；真实位置来自元数据，否则用既有模型（含GeoCLIP）估计。
• 目标：在时间步t把zt解码为xt，最大化V(xt)与L(G′)的余弦相似度，缩放因子为τ。同时加总变分损失抑制高频伪影，以及基于Sobel的软边缘一致性损失，使xt与上一中间图xt+1的边缘对齐。完整边缘式在附录C。
• 更新：对zt求梯度，项为(1−相似度)+γTV·LTV+γedge·Ledge。动量从tstart起累积，vt在起点为gt，之后为β vt+1+(1−β)gt；更新为zt∗=zt−α vt，α为步长。作者称逐步小扰动并保持方向一致，以降低失真并提高迁移。流程见Algorithm 1与Figure 5。

可选局部修复

• 适用边界：作者称扰动可把商业API预测稳定移开超过100 km，从而保护城市级隐私；区域级（约200 km）或国家级（约750 km）若只加大扰动会严重损害观感。粒度划分沿用所引标准：城市约25 km、区域约200 km、国家约750 km。
• 条件：SAM按作者认定的两类最有信息量区域生成二值掩码；文本条件为把地点改到不同区域或国家并要求高分辨率、真实、最佳质量。反向噪声同时条件于提示词p与掩码m，潜变量按掩码混合预测值与原图潜变量。
• 目标位置：区域级取同国另一区域的质心GPS，国家级取另一国家的质心；仍最大化与G′的余弦相似度，动量更新只作用在掩码内。

成功判定

• 泄露指标：可验证响应率VRR、平均误差距离AED、中位误差距离MED，以及1、25、200、750、2500 km阈值上的top-1准确率；另报防御前后top-1预测的平均偏离。坐标经Google Geocoding API映射，大地测量误差用Pyproj的Geod.inv。
• 画质与效用：PSNR、FID、LPIPS、CLIPIQA，修复另加NIQE，均用pyiqa。非地理任务包括字幕、物体分类和不安全内容检测。

实验设置

• 模型：GPT-4.1、GPT-5、Gemini 2.5 Pro、Claude Opus 4.5、Qwen3-VL Plus，均走官方API，默认配置并开启深度推理，温度设为0。作者称开源模型尚不能精确地理定位用户图像，故只测商业MLRM。GPT-5与Claude Opus 4.5有拒答，评测时前置越狱模板，使VRR超过70%。
• 数据：DoxBench为模拟社交分享的日常照片，评测Level 2（私人空间、无人出镜）和Level 3（私人空间、有人出镜），排除Level 1，因作者称其上定位能力很弱。Street View来自Google街景，覆盖88国。两类都用基准默认提示词。下游为MS COCO子集和UnsafeBench。论文未在正文给出各子集样本条数。
• 基线：M-Attack、GeoShield、ReasonBreak。ReasonBreak只在DoxBench上评测。
• 指标：VRR、AED、MED、Deviation，以及1/25/200/750/2500 km准确率；画质为PSNR、FID、LPIPS、CLIPIQA，修复加NIQE。
• 代理：优化用GeoCLIP，目标MLRM为黑盒，与代理不同。
• 拒答预实验：GPT-5与Claude Opus 4.5上三种查询变体（直接要GPS、要完整地址、用思维链要地址），指标为VRR与拒答时的推理token数（Figure 3、Figure 4）。

主结果

DoxBench level-3（Table I）。Deviation、AED、MED单位为km，箭头表示作者定义的优劣方向。

Swipe horizontally to read the table

模型	方法	Dev.↑	AED↑	1 km↓	25 km↓
Qwen3-VL Plus	Clean	N/A	190.378	6.89%	29.81%
Qwen3-VL Plus	Ours	349.670	437.169	0.00%	18.19%
GPT-5†	Clean	N/A	20.223	19.09%	59.25%
GPT-5†	Ours	192.480	171.106	2.28%	33.18%
GPT-4.1	Ours	182.381	174.760	4.25%	33.34%
Claude Opus 4.5†	Ours	139.522	132.864	2.28%	35.61%
Gemini 2.5 Pro	Ours	332.236	343.058	3.03%	46.37%

†表示在越狱模板下评测。表中只列Clean与本文方法的部分列；M-Attack、GeoShield、ReasonBreak的同行数字见Table I。GPT-5†上GeoShield的AED为52.744 km、1 km为10.00%；Claude上GeoShield的1 km为17.12%，高于Clean的19.39%并未出现，其1 km为17.12%对Clean的19.39%。

• 作者解读：配合越狱模板后，全部被测模型在干净图像上VRR超过80%，AED低于20 km；街景上比日常照片更差，作者认为可利用线索更少。本文方法在全部黑盒MLRM上AED与MED最高，定位误差最高增至11倍，1 km准确率低于5%。
• 例外：Table I中Qwen3-VL Plus的干净AED已是190.378 km，并不低于20 km，与“全部低于20 km”的概括不一致。同表ReasonBreak在Qwen上AED为215.302 km，低于Clean的190.378 km这一比较并不成立（215.302高于190.378）；但GPT-5†上M-Attack的750 km准确率为95.30%，高于Clean的90.61%。粗尺度上像素基线有时并不更差。
• Figure 2：作者把本文放在高画质、强防御一侧，标注FID 46.4、CLIP 0.29；M-Attack为FID 123.4、CLIP 0.20；GeoShield为FID 89.6、CLIP 0.26；ReasonBreak为FID 69.4、CLIP 0.16。横轴为防御效果，纵轴为图像质量。

拒答与越狱

• Figure 3：两种MLRM会拒绝大量敏感查询，但拒答时仍推理，平均每查询超过1000个推理token；超过94.45%的拒答回复包含与地点相关的视觉线索描述，只 withholding 最终坐标。Claude Opus 4.5对显式GPS查询的遵从率为29.03%，间接请求的VRR更高，仍有一部分被挡住。
• Figure 4：三种越狱模板把两个模型的VRR都推到100%；越狱后响应的AED为20 km。作者认为服务方更新策略后，攻击者仍可迭代改模板，拒答本身脆弱。

画质、人工与稳健性

• Figure 6（DoxBench level 2）：本文PSNR 21.06、FID 46.42、CLIP-IQA 0.29；M-Attack为13.60、123.44、0.20；GeoShield为20.65、89.61、0.26；ReasonBreak为19.06、69.36、0.16。LPIPS本文为图中Ours一栏，M-Attack 0.32、GeoShield 0.48、ReasonBreak 0.39。作者称FID最高改善74.08%、PSNR最高改善54.85%；某些数据集上本文LPIPS略高于基线，作者认为可能因为扰动动到高层语义，LPIPS的深度特征对此敏感。本文CLIPIQA在全部对比中最好。level-3与Street View的对应图为Figure 10、11，正文未逐项抄数。
• 人工：三名专家在DoxBench level-3上按五点量表打自然度和与原图的感知相似度（附录F）。作者称本文分数高于4.85，并称显著优于基线；论文未报告显著性检验，故这里只保留作者的分数陈述。正文在Table V处中断了开销句，给出的完整开销对比未出现在所附文本的后半，故不写具体时延与显存。
• 作者称的稳健性：对图像变换和净化攻击仍稳健；局部修复把region-level与country-level预测准确率降到0%和20%。定性例：GPT-5一例误差从25.971 km到639.836 km（Figure 14）；Claude Opus 4.5一例从140.347 km到3338.876 km（Figure 15）。附录另有模型回复示例。

其他消融与分析

• 下游效用：字幕由GPT-5生成，按LLaVA-Bench式LLM评审打准确性、完整性、幻觉；物体分类用CLIP ViT-L/14报准确率与CLIPScore；不安全内容用OpenAI omni-moderation-latest报准确率。所附正文未给出这些任务的具体分数。
• level-2的防御表在附录Table IX，Street View在Table II；所附文本未保留这两张表的数字，故不转写。
• 真实位置缺失时用既有模型估计的可行性讨论在附录B；实现细节在附录D。
• 人类评分协议与完整提示词在附录A、F；攻击示例与拒答提示词不复述。

作者指出的局限与后续方向

所附文本在开销分析处截断，Limitations、Discussion与Conclusion的完整原句未能逐句核对。能对应到正文明确表述的只有：

• 拒答赛跑：作者称服务方可以持续更新策略，攻击者也可以通过与目标模型交互迭代改越狱模板，因此拒答防护本身脆弱（Section III-C）。
• 扰动的粒度上限：作者称不可感知扰动能保护街道级和城市级，区域或国家级往往要改显式视觉语义，只加大扰动会带来严重感知失真，因而另做修复扩展（Section IV-B）。
• 开源模型：作者称当前开源替代尚不能精确地理定位用户图像，所以实验只针对商业MLRM（Section V-A）。
• 若论文后部另有局限清单或“计划开源代码”的句子，所附转换文本未保留到可核对的原句，这里不补。

实验覆盖范围

• 被测商业API为GPT-4.1、GPT-5、Gemini 2.5 Pro、Claude Opus 4.5、Qwen3-VL Plus共五个，温度0、深度推理开启（Section V-A）。
• 地理防御主评测为DoxBench的Level 2与Level 3以及覆盖88国的Street View；Level 1被排除（Section V-A）。
• 基线为M-Attack、GeoShield、ReasonBreak，后者只在DoxBench上报告（Section V-A）。
• 拒答与越狱只在GPT-5和Claude Opus 4.5上报告VRR与推理token（Section III-C，Figure 3、4）。
• 代理为GeoCLIP，与被测API不同；画质用PSNR、FID、LPIPS、CLIPIQA，人工为三名专家、五点量表（Section V-C、V-D）。论文未报告各子集条数、重复次数，以及评审与人工一致性。

这篇工作是面向商业MLRM的地理隐私防御：在扩散潜空间打断定位线索，而不是依赖服务端拒答。

• 问题：攻击者只有公开照片，却可用黑盒MLRM从建筑、植被和光照推断住址与行动路线。拒答挡的是最终坐标而不是地理推理，三种越狱模板把GPT-5和Claude Opus 4.5的VRR推到100%，越狱后AED为20 km。
• 方法：DDIM反向每步解码中间图像，用GeoCLIP把视觉嵌入拉向指定的错误GPS，并用总变分与Sobel边缘损失约束失真，动量写回潜变量。需要区域或国家级保护时，用SAM掩码和扩散修复替换显式地标，目标取另一区域或另一国家的质心。
• 主结果：DoxBench level-3上，本文方法对Qwen3-VL Plus的AED为437.169 km、1 km准确率0.00%；GPT-5（越狱）AED 171.106 km、1 km 2.28%；Gemini 2.5 Pro AED 343.058 km、1 km 3.03%（Table I）。作者称五个模型上1 km准确率低于5%，误差最高增至11倍，并称预测可被推离真值超过2500 km。
• 画质：DoxBench level-2上本文FID 46.42、PSNR 21.06、CLIP-IQA 0.29，FID与PSNR优于三组像素基线（Figure 6）。三名专家在level-3上的感知分高于4.85。Figure 14–15的个例把误差从25.971 km、140.347 km分别拉到639.836 km、3338.876 km。
• 作者结论：潜空间、地理对齐的扰动能在黑盒商业API上迁移，并保持可分享的画质；修复扩展把区域级和国家级预测准确率降到0%和20%，供用户按粒度选择。