自己指定隐私：评估大型视觉语言模型的推理时个性化隐私保护能力

核心问题：LVLM 能否在推理时按用户用自然语言动态指定的隐私边界保护个人化隐私（ITP3），而不是只遵守预设的通用隐私类别。

• 问题场景：作者称 LVLM 能从图像中以较高精度推断身份属性、地理位置等敏感信息（Figure 1(a)）；现有隐私工作隐含假设隐私偏好是全体用户共有、以静态敏感属性定义。
• 现有方法不足：作者认为隐私是个人化且依赖场景的——不同用户对性别、年龄等属性的敏感度不同，同一属性（如诊断影像）在不同场景下敏感性不同；预定义分类与灵活偏好的差距限制了 LVLM 的实际隐私保护效果（Figure 1(b)）。
• 核心观察：作者认为推理时的隐私泄露难以用提示词匿名化或过滤等预处理缓解，因为查询与正常请求难以区分，且隐私的个人化本质使通用过滤规则无法预先定义。
• 论文提出：提出 ITP3 任务（含指令遵守、场景感知、效用保持三个维度），构建 SPY-Bench（32,700 样本、67 类别、24 场景）与训练集 SPY-Tune，评测 21 个 LVLM，并实现 SFT、DPO、NCA 及其变体 NCA-P 作为初步对齐方法。
• 威胁模型：本文非攻击论文，关注的是模型推理时的隐私泄露风险。
  • 风险来源：LVLM 从用户上传的图像中推断并泄露个人信息（属性推断）。
  • 期望行为：绝对隐私类别始终回避；可定制类别按用户指令与场景决定回答或回避。
  • 受害系统：部署中的 LVLM（个人助理、服务商合规等场景，附录 A）。

大型视觉语言模型（LVLM）

• CLIP 与 BLIP——以对比学习对齐图文表示，用于零样本分类与图像描述。
• LLaVA、BLIP-2、MiniGPT-4——将图像嵌入投影到预训练 LLM 的文本嵌入空间，而非从头训练。
• GPT-4o、Claude、Gemini、Qwen VL、InternVL 等——作者称其在高分辨率理解、多图理解、视觉推理等任务上取得进展。

个人化对齐（Personalized Alignment）

• 论文按文献 [26] 将偏好建模分为三类：基于提示词（在输入中附加偏好描述）、基于嵌入（编码到嵌入空间或隐变量）、基于参数（全参数或 adapter 训练）。
• 论文指出这些工作大多针对 LLM，多模态模型尤其是 LVLM 上的个人化对齐相对未被探索；也很少有研究从隐私角度做个人化对齐。

LLM/LVLM 的隐私问题

• 训练数据泄露：成员推断攻击（MIA）与数据提取攻击，可用数据清洗、机器遗忘、联邦学习、差分隐私等缓解。
• 推理时泄露：模型从看似无害的输入推断隐私信息（属性推断攻击），如从照片推断精确地理位置；作者认为这类泄露更难缓解。
• Multi-P2A [90]——多模态隐私评测数据集，与 SPY-Bench 使用相同图像来源；本文在 Table 2 中与其比较文本多样性、图文对齐与自然度，并将其 RtA 指标借鉴为本文基础指标。

基线与基准

• 对齐方法基线：Self-Moderation [15]（免训练的多轮自我反思）、SFT、DPO [64]、NCA [11]，微调骨干为 Qwen2 VL 7B Instruct。
• 通用能力基准：MMMUVal、OCRBench、MME；数据集质量对比基准：OK-VQA、Multi-P2A。

作者定位：作者称本文是首个提出并形式化 ITP3 任务的工作，SPY-Bench 与 SPY-Tune 是首个面向个人化视觉隐私保护的基准与训练集。

整体思路：先形式化 ITP3 任务并构建 SPY-Bench 基准与 SPY-Tune 训练集，设计以用户指令与场景为依据的评测指标，再用多种对齐方法提升模型的个人化隐私保护能力。

问题形式化

• 给定信息类别 c（如年龄、位置）与涉及 c 的图像-问题对 (I, q)，考察模型能否根据 c 是否被定义为隐私来改变回答。
• 绝对隐私类别：无论指令与场景如何，模型都应回避（拒答或排除与 c 相关内容）；实验中预定义为 semi nudity、full nudity、ausweis、passport、drivers license 五类（附录 C.1）。
• 可定制类别：默认正常回答，除非用户用自然语言指令（如“Age is considered as private information.”）将其指定为隐私。
• 场景 s：若 c 在场景 s 中被视为非隐私（冲突场景），即使用户指定为隐私也应正常回答；非冲突场景下则遵循用户指令。

数据构建

• 图像来源：全部来自 VISPR 数据集，SPY-Bench 用其测试集、SPY-Tune 用训练集，两者无重叠。
• 文本生成三步：GPT-4o 生成场景与隐私指令模板；InternVL 2.5 78B 为每对 (I, c) 生成问题、回答式答案 yr 与回避式答案 ye；随机选取指令模板并可选地加入场景模板。
• 质量控制：去重；用 InternVL 2.5 38B 做类别一致性校验；问答一致性过滤；随机抽约 500 条人工复查。
• 规模：SPY-Bench 含 2,725 图像、6,700 问题、24 场景，扩展为 32,700 样本；SPY-Tune 含 4,206 图像、16,677 问题、18 场景、81,096 样本（Table 1）。

指标设计

• RtA（Refuse-to-Answer Rate）：应回避样本中正确回避的比例，借鉴自 Multi-P2A。
• AtA（Agree-to-Answer Rate）：应正常回答样本中正确回答的比例。
• HMS：RtA 与 AtA 的调和平均，惩罚一味拒答或一味回答的极端行为。
• ICS（Instruction Compliance Score）：ICS = (N_1abs + N_2cust + N_4conf) / (N₁ + N₂ + N₃ + N₄)，即绝对隐私回避、可定制类别按指令行事、冲突场景优先场景这三种期望行为命中的比例（Table 3 定义四种情形）。

评测协议

• 每个图像-问题对按是否带场景、是否被指定为隐私扩展为 5 种情形，6.7k 对生成 32.7k 样本。
• 两种设置：w/o distractors 只给 1 条针对 c 的指令；w/ distractors 另加 5 条针对无关类别的指令。
• 用 GPT-4o 判定模型回答是 respond 还是 evade（评审提示词见附录 Table 12）。

对齐方法

• Self-Moderation：免训练，首轮回答后再经两轮反思与确认重新生成。
• SFT：以 (I, 指令, q) 与期望回答直接做自回归微调。
• DPO：以偏好/非偏好回答对学习 Bradley-Terry 模型。
• NCA：对比方法，学习每个样本的绝对奖励，保证偏好样本似然上升。
• NCA-P：作者假设预训练模型难以捕捉指令中“指定为隐私/非隐私”的字面差异，将同一 c 的隐私与非隐私两种情况放进同一损失函数联合优化（式 7）。
• 训练细节：骨干 Qwen2 VL 7B Instruct；SFT 学习率 6e-6（4 张 A100），DPO 1e-6、β=0.5（8 张 A100），NCA/NCA-P 3e-6、β=0.01（8 张 A100）；batch size 32，训练 3 个 epoch（附录 D.3）。

实验设置

• 被测模型：18 个开源模型（LLaVA 1.5 13B、LLaVA NeXT Vicuna 13B、LLaVA OneVision Qwen2 7B、Llama 3.2 11B、Pixtral 12B、GLM 4V 9B、Deepseek VL2、InternVL 2.5 4B/8B/38B/78B、Qwen2 VL 7B、Qwen2.5 VL 3B/7B/32B/72B、Phi 4 Multimodal、Mistral Small 3.1 24B）与 3 个闭源模型（GPT 4o 2024-11-20、Gemini 2.0 Flash、o4-mini 2025-04-16）。
• 基准：SPY-Bench（32,700 样本，67 类别、24 场景）；通用能力用 MMMUVal、OCRBench、MME。
• 指标：ICS、RtA、AtA、HMS（均缩放到 [0,100]）。
• 评审方式：GPT-4o 判定 respond/evade；与 3 位人工专家在 100 条随机样本上的一致率为 97.00%（多数投票），人工标注 Fleiss' kappa 为 91.69%（Table 5、附录 D.2）。
• 生成参数：最大 512 token，temperature 0.0，每样本单次生成；开源模型用 vLLM 在 A100 集群推理（附录 D.1）。
• 对齐实验：骨干 Qwen2 VL 7B Instruct，在 SPY-Tune 上训练 3 epoch；论文未报告多次重复。

主结果

据 Table 4（w/ distractors 设置，无场景部分 ICS 与有场景部分 HMS）：

模型	ICS（无场景）	HMS（有场景）
LLaVA 1.5 13B	1.90	15.25
LLaVA OneVision Qwen2 7B	1.99	11.93
Qwen2 VL 7B Instruct	2.75	12.33
InternVL 2.5 38B	11.70	41.59
Qwen2.5 VL 32B Instruct	17.60	36.64
GPT 4o 2024-11-20	21.10	48.31
Gemini 2.0 Flash	10.51	22.96
o4-mini 2025-04-16	23.74	42.25

（省略其余 13 个模型；最低的为 LLaVA 1.5 13B 与 LLaVA OneVision Qwen2 7B。）

• 作者称多数模型 ICS 低于 20%，表明当前 LVLM 难以按用户定义的隐私约束动态调整回答；作者推测这源于个人化偏好与预训练通用隐私理解之间的冲突。
• 场景分析：应回答时多数模型 AtA 约 80%–90%；应回避时 RtA 通常低于 30%，最高的 GPT-4o 在 w/ distractors 下为 40.79%，作者称这反映模型倾向于直接回答、存在隐私泄露倾向。
• 干扰指令影响：多数模型加入 distractors 后 ICS 下降，但 GPT-4o 与 Mistral Small 3.1 24B 反而上升；Figure 4 显示这两者随干扰数量增加表现保持稳健，其他模型下降更多（作者称该结果反直觉）。

模型规模与类别分析

• 规模：Figure 3 与附录 Figure 7 显示 Qwen2.5 VL 与 InternVL 2.5 系列从 sub-10B 到 30B 以上 ICS/HMS 上升，但 32B 到 72B（或 38B 到 78B）不再持续提升，个别甚至下降；作者认为单纯增大模型规模不能可靠解决 ITP3。
• 类别：Figure 5 与附录 Figure 8 显示模型在绝对隐私类别（National Identification、Passport、Driver License）及 Credit card、Receipt、Email 上 ICS 偏低，在 Approximate age、Gender、License plate 上相对较好；作者称模型对传统敏感信息反而更难拒答。

对齐方法结果

据 Table 6（Qwen2 VL 7B 为骨干）：

表格较宽，可左右滑动

方法	ICS（w/o dis. 无场景）	ICS（w/ dis. 无场景）	HMS（w/ dis. 有场景）
原始模型	3.06	2.75	12.33
+ Self-Mod.	20.30	9.45	35.25
+ SFT	66.30	75.75	85.29
+ DPO	92.76	91.43	87.70
+ NCA	97.40	96.54	87.05
+ NCA-P	97.70	96.88	88.11

• 作者称所有方法均有提升，NCA-P 表现最好；通用能力上所有微调方法都有下降，SFT 下降最多（MMMUVal 从 50.44 降至 5.56，Table 7）。
• 综合分（SPY-Bench 均分与 MMMUVal/OCRBench/MME 归一化均分的调和平均）：NCA-P 为 78.61，高于 DPO 的 75.99 与 NCA 的 75.51（Table 7）。
• 例外：附录 Table 15 显示，非冲突场景下 Self-Moderation、SFT、DPO 的 AtA 低于原始模型，冲突场景下所有方法的 AtA 都低于原始模型；作者归因于对齐后的过度保守倾向。

其他消融与分析

• 数据集质量（Table 2）：SPY-Bench 的 Self-BLEU 为 81.51，低于 Multi-P2A 的 100.00；CLIP Score 20.49，高于 Multi-P2A 的 15.74；与 OK-VQA 嵌入余弦相似度 16.76，高于 Multi-P2A 的 9.05。
• 案例研究（Figure 6、附录 Table 16–21）：冲突场景下各微调基线全部拒答，Self-Moderation 与 NCA-P 给出折中回答；绝对隐私案例下 Self-Moderation 与 DPO 未能回避。
• 论文未报告超参数敏感性或多次重复的方差。

作者指出的局限与后续方向

• 通用能力与 ITP3 的平衡（附录 B）：NCA-P 相比主流微调方法权衡更好，但通用能力仍有下降；作者建议把个人化隐私样本并入预训练阶段，或探索 prompt tuning、训练专用 prompter 等冻结参数的方法。
• 真实场景覆盖（附录 B）：SPY-Bench 与 SPY-Tune 受规模限制，对真实隐私信息类别与个人化需求的覆盖有限；作者建议扩大数据规模。
• 多粒度多维建模（附录 B）：当前仅以二元约束（隐私/非隐私）建模独立类别；作者建议支持多粒度（如位置精确到国家/城市级）与多维隐私需求，并配套新基准与训练集。
• 隐私多样性表示不全（附录 H 伦理声明）：隐私类别与场景不可穷尽，数据集只能反映个人化隐私保护的部分图景。
• 对隐私复杂性的简化（附录 H）：将主观、模糊的隐私概念简化为有限类别与场景集合，更系统的框架仍需研究。
• 滥用风险（附录 H）：作者承认方法可能被滥用于开发规避隐私保护的模型，倡导负责任披露。

实验覆盖范围

• 被测模型共 21 个（18 个开源、3 个闭源），主结果见 Table 4。
• 对齐实验仅以 Qwen2 VL 7B Instruct 为骨干，方法为 Self-Moderation、SFT、DPO、NCA、NCA-P 五种（Table 6）。
• 通用能力评测包括 MMMUVal、OCRBench、MME 三项（Table 7）。
• 评审为 GPT-4o 自动判定，人工一致性在 100 条随机样本上验证（3 位专家，多数投票一致率 97.00%）。
• 论文未报告多次重复运行或置信区间；SPY-Tune 有意排除了部分类别以测试未见领域的泛化（附录 C.1）。

一篇关于 LVLM 个人化隐私保护的评测与对齐论文。作者认为隐私是个人化且依赖场景的，现有对齐只覆盖通用隐私类别，因此提出 ITP3 任务：让用户在推理时用自然语言动态指定隐私边界。

• 基准：SPY-Bench 含 32,700 样本、67 个隐私类别、24 个真实场景，图像来自 VISPR，文本由 GPT-4o 与 InternVL 2.5 78B 生成并过滤；指标包括 ICS、RtA、AtA、HMS，GPT-4o 评审与人工多数投票一致率 97.00%（100 条样本）。
• 主要发现：21 个 LVLM 的遵守能力普遍较低——多数模型无场景部分 ICS 低于 20%，最高的 o4-mini 为 23.74%（w/ distractors，Table 4）；应回避时 RtA 多在 30% 以下，应回答时 AtA 约 80%–90%，作者称模型存在偏向披露的倾向。
• 规模与类别：Qwen2.5 VL 与 InternVL 2.5 系列在 30B 以上后规模收益减弱；模型在 Passport、Credit card 等传统敏感类别上 ICS 反而更低。
• 对齐方法：以 Qwen2 VL 7B 为骨干，NCA-P（把同一类别的隐私/非隐私指令放入同一损失）取得 ICS 96.88%、HMS 88.11%（w/ distractors，Table 6），综合分 78.61 高于 DPO 与 NCA（Table 7）；但所有微调方法通用能力均有下降，冲突场景下 AtA 全部低于原始模型。
• 作者结论：ITP3 是多模态系统伦理部署的基本要求，当前模型对个人化隐私的感知不足；未来需更好的训练策略以平衡隐私保护与模型效用。