GeoCloak：通过外围线索操纵实现语义保持地理位置隐私的智能体框架

LVLM能从无元数据的单张照片推断位置，用户缺少不破坏语义的图像级控制。

• 出现场景：作者称，分享照片常含路牌、建筑等无意泄露的线索；持有黑盒LVLM的被动攻击者可在数分钟内定位，检索、工具型智能体和地理奖励后训练还会加强这一能力。
• 现有不足：作者称，输出审核和提示词拒答依赖服务方，攻击者可改用无防护模型；M-Attack、AnyAttack、GeoShield、ReasonBreak等固定扰动靠事后效用评估，会留下可感知伪影（Section 5.4）。
• 核心观察：作者称存在visual-geolocation asymmetry：决定性线索往往视觉上处于外围。Figure 1把一块高棉文路牌标为1.0，并标有Culture 0.7、Culture 0.9与Spatial 0.4。
• 本文提出：提出GeoCloak，按图识别线索，对外围线索做语义编辑，并在效用反馈下配置对抗扰动。作者称语义编辑是直接针对这些线索的新防护机制。
• 威胁模型：
  • 目标：推断用户在公开平台所分享图像的城市、州或国家级位置。
  • 知识：仅有受保护图像，无原图；摘要称为black-box LVLM access，推断使用SOTA LVLM及多种方法。
  • 受害对象：准备分享到社交媒体等公开平台的用户图像。
  • 防御方：分享前提交图像和真实地理位置，作为停止条件。走外部API时，信任假设延伸到处理图像与真值的服务方；也可在自有设施内部署开源配置。

Section 2把相关工作分成地理定位推断和防护方法。

地理定位推断

• 提示、检索与工具：零样本查询到结构化思维链（Liu et al., 2024；Mendes et al., 2024；Li et al., 2025；Luo et al., 2025；Song et al., 2025）；检索增强（Jia et al., 2024；Zhou et al., 2024）；带网页搜索、放大、街景的智能体（Li et al., 2026；Zhang et al., 2025）。
• 后训练：用地理奖励做监督微调或强化学习（Li et al., 2024；Jia et al., 2025；Li et al., 2025；Xu et al., 2025）。作者称智能体与后训练已汇合，包括端到端训练地理定位智能体（Jia et al., 2026；Wang et al., 2025的GeoVista）。
• 检索与分类：GeoCLIP（Cepeda et al., 2023）、IM2GPS（Vo et al., 2017）、PIGEON（Haas et al., 2024）、PlaNet（Weyand et al., 2016）。作者称这些方法虽需数百万标注图，经验上仍不如LVLM。

防护方法

• 传统与模型级：作者称元数据剥离和模糊对直接从视觉内容推断位置的LVLM效果有限。输出审核（Mendes et al., 2024）和提示词拒答（Luo et al., 2025）限制推断时披露位置，但需部署在服务侧，图像所有者没有直接控制。
• 图像级扰动：定向的M-Attack（Li et al., 2025）与AnyAttack（Zhang et al., 2025）把预测导向指定错误地点；非定向的GeoShield（Liu et al., 2026）与ReasonBreak（Zhang et al., 2025）不指定目标。作者称它们把效用放在事后评估，因而出现可感知伪影（Figure 3、Table 6、附录G）。

基线与数据集

• 基线方法：作者称为state-of-the-art的图像级防御M-Attack（targeted）与GeoShield（untargeted），按发布代码和全部原始超参数复现。
• 基准：Im2GPS3k、GeoBench、Dataset-GSS、Dataset-PCW，用于城市、州、国家分级评测。

作者把本文与固定扰动流程区分开：按每张图选择语义编辑和对抗扰动，并把效用约束放进迭代保护，而不是统一套用同一扰动流程。

GeoCloak由Orchestrator协调ClueAgent与EditAgent，迭代改图，直到目标粒度上不再匹配真值且通过效用检查，或达到最大步数。

停止条件

• 双目标：隐私目标是阻止正确推断位置；效用目标是保留语义和视觉质量。真值位置是循环的停止依据。
• 效用检查：主对象集合若改变则效用为0，否则再乘CLIP图像余弦。即U(I^(t))=1[obj(I^(t))=obj(I⁽⁰⁾)]·cos(ϕ_I(I^(t)),ϕ_I(I⁽⁰⁾))。它表示主对象被改则直接失败，否则衡量残余视觉偏移。阈值τ=0.85。论文未点名做主对象检测的具体LVLM。
• 保护检查：GeoMatch在city、state、country上判断预测与真值是否一致。主实验把目标粒度gtgt设为country；作者称国家级不匹配是最强防护级别。
• 终止与回退：最早在“不再匹配且效用不低于τ”时停止；最大轮数N=20，温度0.5。若跑满N，按国家、州、城市报告已达到的最强级别。图像全程未改时，施加CLIP余弦仍不低于τ的回退扰动。效用不通过则回滚并改计划。

ClueAgent

• 线索：分析当前图像，类型为landmark、text&signage、culture、spatial（沿用Li et al.）。每条含描述、像素框和0到1的ranking score。描述是EditAgent的主要输入。
• 内部攻击者：用全部线索预测地名。与真值不再相等就停止编辑。作者称这不表示线索已全部去除；ClueAgent之外的防护由Section 5.1的外部攻击者评估。
• GT-guided：若原图上就不能匹配真值，则整次运行改为把真值提供给线索分析，直到不再识别出与真值相关的线索。模式在t=0决定后固定，不中途切换。

语义编辑

• 五种策略：ReplaceText、ReplaceObject、EraseObject、AddDecoy、StyleTransfer。按分数与区域面积之比，优先高分且面积小的线索。擦除不区分文字和物体；替换才区分。附录B给出完整提示词，附录C给出示例。
• 约束：修改需与场景光照、透视和风格一致；替换取地理邻近区域；不覆盖LVLM检出的主主体；同一策略失败后再换策略。Figure 7给出多轮示例：效用失败后回滚并更换策略。

对抗扰动

• 配置：用于大范围或结构性、语义编辑难以处理的线索。参考为region_focus（线索框并上全图）或full_image；损失为feature_only（λ=0，推离参考裁剪的CLIP特征）或dual_loss（λ=1，再拉向EditAgent写的非地理描述）。
• 更新与反馈：符号随机梯度上升，步长为ε/10，投影到半径ε的ℓ∞球，共K步。首次使用时按有无框、场景是否有清晰视觉内容设定初始参考、损失、K、ε和文本权重μ。效用低于τ则回滚并收紧；效用够但隐私不足则加强。正文未给出单一固定ε。附录B给出完整提示词。

实验设置

• 攻击侧模型：Gemini-2.5-Pro、Gemini-3.1-Pro-Preview（表中Gemini-3.1-Pro）、GPT-5.4、o3、Qwen-3.5-Plus（表头Qwen3.5-Plus），以及GeoVista自有训练模型。另在Im2GPS3k上评GeoCLIP和商业黑盒工具GeoSeer；微调设置使用Qwen3.5-9B。Claude-Sonnet-4.6因尺寸限制未纳入正式结果，Dataset-PCW初始运行中40.0%样本超过5MB。
• 防御配置：主结果用Gemini-2.5-Pro做线索、规划与代码，Gemini-2.5-Flash-Image做编辑。另有o3+Seedream-4.5，以及Qwen3.6-35B-A3B+Qwen-Image-Edit-2511。各智能体最多20轮，温度0.5。
• 数据：GeoBench 512张、Dataset-PCW 267张为全部可用样本；Im2GPS3k与Dataset-GSS各随机抽500张。合计1,779张，108国、576城（Table 10）。作者称完整设计超过75,000次运行，覆盖11种攻击配置和4种条件。
• 范围：Section 3与5.2排除视觉占主导的全球可识别地标。流程用U2-Net、Florence-2和Gemini-2.5-Pro；至少一个tier-A且被判为intentional则标Exempt。Table 1豁免率：GeoBench 37.5%、Im2GPS3k 53.4%、Dataset-GSS 21.0%、Dataset-PCW 55.3%。Table 3题注未写Exempt；其Gemini-2.5-Pro零样本汇总48.3%与Table 2的Non-Exempt相同。
• 基线与指标：M-Attack与GeoShield按原超参数复现：CLIP集成ViT-B/16、ViT-B/32、CLIP-Laion，ε=8/255，步长1/255，100步PGD；GeoShield的非地理描述由GPT-5-mini生成。主指标是城市级准确率，另有州、国家及@1km、@25km、@100km。成功判定是地理位置匹配，不是LLM打分。论文未报告整次评测的重复次数。
• 推断方法：零样本、两阶段GeoMiner、工具增强GeoVista，与五款LVLM组成11种配置。GeoMiner与GeoVista按官方默认设置。零样本提示见Section D.2，此处不复述。

主结果

下表为Table 3里四数据集汇总的城市级准确率。零样本五行和GeoVista行取Overall分段；最后一行是论文对11种配置的汇总。越低表示攻击者越难定位。

表格较宽，可左右滑动

模型	Initial	M-Attack	GeoShield	GeoCloak
Gemini-3.1-Pro（零样本）	51.3%	37.3%	33.2%	13.8%
Gemini-2.5-Pro（零样本）	48.3%	32.3%	26.0%	9.5%
o3（零样本）	46.9%	25.2%	17.7%	13.3%
GPT-5.4（零样本）	39.5%	21.5%	17.1%	12.2%
Qwen3.5-Plus（零样本）	31.1%	15.3%	11.8%	6.5%
GeoVista（同名方法）	35.2%	21.4%	15.6%	11.1%
论文Overall（11配置）	41.2%	24.5%	19.7%	9.9%

• 作者解读：作者称Gemini-3.1-Pro最强，且零样本已经很强，不依赖专门推断流程。作者称GeoVista较弱，因其基于Qwen2.5-VL-7B-Instruct做强化学习，其余评测模型则来自各提供方中更强的型号。
• 汇总与反例：作者称GeoCloak把汇总准确率降到表中最好基线的大约一半，并称在所有设置上优于两基线。Table 3有反例：Dataset-GSS零样本GPT-5.4上GeoShield为9.1%、GeoCloak为12.9%；Dataset-PCW的GeoMiner×Qwen3.5-Plus上GeoCloak为6.1%，高于GeoShield的4.4%和M-Attack的5.3%。
• 同骨干与拒答：表中Gemini-2.5-Pro行的攻击模型与ClueAgent骨干相同；Gemini-3.1-Pro行不是。o3配GeoMiner时，无防御安全拒答率28.1%，M-Attack、GeoShield、GeoCloak下为15.2%、21.6%、18.1%（附录I）。作者称拒答在各防御中都记为失败，因此不偏向某一方法。

效用与人工感知

• 测了什么：100张源图均匀来自四个数据集，各配三种防御，共300个任务。两名标注者在不知防御身份时，按五级Likert评自然度、语义保持和总体质量。二次加权Cohen's κ为0.709。
• 结果：Table 5总体质量为GeoCloak 4.43、M-Attack 2.63、GeoShield 2.53；自然度4.57、2.31、2.23；语义保持4.45、3.77、3.68。Table 6汇总CLIP相似度为0.9197、0.7719、0.4209；BERT Score为0.9158、0.9124、0.9047；BLEU为0.1136、0.0968、0.0766；ROUGE-L为0.4054、0.3839、0.3480。
• 作者解读：作者称GeoShield和M-Attack出现裁切、漂浮文字和分离头部等可感知伪影，GeoCloak以局部编辑完成防护。文本指标的描述由LVLM生成，论文未说明是哪一个模型。

跨机制迁移与自适应攻击

• 非LVLM：在Im2GPS3k上，GeoCLIP城市级准确率从12.1%到5.0%，商业工具GeoSeer从30.7%到5.7%（Table 4）。作者称这支持防护迁到不同定位机制。
• 知情提示与压缩：Table 8为五款LVLM零样本。朴素攻击者Initial 43.4%、GeoCloak 11.1%、再JPEG为11.5%；冲突感知提示Initial 41.6%、GeoCloak 15.9%。作者称该提示有额外攻击能力，但在无防御图像上从43.4%到41.6%，并认为不加区分地把线索当可疑会丢掉真实证据。
• 微调与净化：保护图像80/20划分上，GeoCLIP由无保护17.0%到保护后7.4%，微调后9.6%；Qwen3.5-9B为24.5%、6.4%，LoRA后11.3%。论文未说明该划分来自哪个数据集。作者称微调只部分恢复。DiffPure的guided diffusion、DDPM和Stable Diffusion变体使细节模糊且扰动仍可见；论文未报告其后的城市级准确率。

其他消融与分析

• Table 7在Im2GPS3k上、11配置平均的城市级攻击成功率：Initial 24.1%，去掉语义编辑15.4%，去掉扰动5.1%，o3+Seedream-4.5为6.3%，开源配置7.4%，完整系统4.0%。
• Figure 5：Erase Object占调用24.9%，Replace Text 21.4%，对抗扰动20.4%；效用保持率85.6%、81.8%、13.5%。两种技能并用58.4%，仅语义编辑39.9%。
• Figure 5b成功轮次：城市级Erase Object占37.3%，国家级降到16.9%；国家级Replace Text占36.5%。作者称城市级常靠去掉单一线索，国家级更依赖重语境化。
• 非豁免图像中12.1%进入GT-guided；Im2GPS3k上该模式仍被定位的攻击者比例为2.9%，一轮辩论方案为11.8%。中位成本0.32美元/图、8.3分钟；作者称Batch API约0.16美元。城市与州中位2.0轮，国家5.0轮。
• Table 12按无防御成功攻击者数分组。高可识别（8–11/11）均值从9.84到GeoCloak 2.75、GeoShield 5.69、M-Attack 6.91；低可识别（1–4/11）为2.18、0.35、0.39、0.57。作者称低可识别图像上优势不那么突出。
• Table 13中Gemini-3.1-Pro零样本、四数据集汇总的国家级准确率：Initial 86.3%，GeoCloak 24.9%，GeoShield 42.1%，M-Attack 45.0%。地标人工核验精确率86.7%、标注者间一致93.3%；论文未报告该核验样本量。

作者指出的局限与后续方向

• 骨干能力：作者称效果依赖底层LVLM的视觉推理，更强模型能识别更全的线索。开源Qwen配置的攻击成功率为7.4%，高于主Gemini配置的4.0%（Table 7）。用更小、资源受限的开源骨干改进防护被写成未来工作（Section 6）。
• 事后审计：标准模式停止后再做GT-guided审计，或可再查残留线索；作者称其额外防护收益和处理开销仍待评估（Section 6）。
• 提示词：不改变各智能体职责时，改写提示词对防护的影响被作者称为可忽略。作者称DSPy一类框架不直接适用于多轮动态提示，系统化提示词优化留作未来工作（Section 6）。
• 用户意图：作者称现有数据集没有真值意图，评测用视觉地标分析近似，自动效用检查估计可接受的修改。交互版让用户指定不可改对象，并逐步接受、回滚或停止。作者称未来工作将纳入真实用户反馈（Section 6）。
• 架构依赖：作者称线索只能在推断时发现，固定流程难以同时保住隐私和效用；这是对智能体结构的论证，不是单独列出的未解决问题（Section 6）。

实验覆盖范围

• 抽样基准为Im2GPS3k、GeoBench、Dataset-GSS、Dataset-PCW共1,779张，108国、576城（Section 5.1、Table 10）；豁免率见Table 1，豁免与非豁免的定位难度见Table 2。
• LVLM攻击配置为五款模型的零样本和GeoMiner，加上GeoVista，共11种（Table 3）；Im2GPS3k上另有GeoCLIP与GeoSeer（Table 4）。
• 图像级对照为M-Attack与GeoShield。自适应设置包括冲突感知提示、JPEG、DiffPure三变体的定性观察，以及GeoCLIP和Qwen3.5-9B的微调（Section 5.8、Table 8）。
• 主配置为Gemini-2.5-Pro与Gemini-2.5-Flash-Image；Table 7另报告o3+Seedream-4.5和Qwen3.6-35B-A3B+Qwen-Image-Edit-2511。人工效用评测为100张源图、两名标注者（Section 5.4）。
• 论文未报告整次评测的重复次数，未报告DiffPure后的城市级准确率，也未报告地标人工核验的样本条数，以及文本效用描述所用LVLM的名称。

GeoCloak是面向LVLM图像地理定位的语义保持隐私防护。

• 问题：黑盒LVLM可从无元数据单张照片推断城市到国家。作者认为模型级拒答可被换模型绕过，固定对抗扰动又会留下可感知伪影。作者把需要保护的图像收在位置可由不起眼线索推出、而用户本不打算公开位置的情形。
• 方法：ClueAgent列出外围但高分的线索并预测位置；EditAgent在五种局部编辑和CLIP对抗扰动之间选择；Orchestrator要求主对象不变，且CLIP余弦不低于0.85，目标粒度为国家，最多20轮。原图上就定位失败时，改为用真值引导找残留线索。
• 主结果：Table 3中11种攻击配置的汇总城市级准确率从41.2%降到9.9%，M-Attack与GeoShield为24.5%和19.7%。对不是防护骨干的Gemini-3.1-Pro零样本，从51.3%降到13.8%。部分数据集×模型格子中，GeoShield或M-Attack的城市级准确率低于GeoCloak。
• 效用与迁移：100张图的人工总体质量为4.43/5（Table 5），四数据集汇总CLIP相似度为0.9197（Table 6）。Im2GPS3k上GeoSeer从30.7%降到5.7%。冲突感知提示后，五款LVLM零样本的汇总准确率为15.9%（Table 8）。
• 作者结论：作者认为这种视觉与定位的不对称，使针对性编辑能在较小视觉改动下削弱定位，并称已发布可由用户逐步接受或回滚的交互版本。作者同时称开源骨干仍弱于主配置，更小开源模型、真实用户反馈和事后真值审计留待后续。