IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准

如何判断一个 VLM 是否忘掉了“某个人”，而不只是答不出某条属性。

• 场景：作者称 VLM 在大规模多模态语料上训练，同一人的姓名、人脸、地点等可经不同路径互相指向。权利擦除（GDPR Art. 17、CCPA § 1798.105）要求删除与可识别个体相连的信息，单模态遗忘无法满足。
• 现有不足：作者称既有多模态遗忘基准（Table 4）主要检查预定目标答案或概念是否仍可访问，对备选身份键、反向访问、同身份绑定和关系重构的联合测试有限。MultiPriv 能测个体级隐私推理，但不评测遗忘后关联是否仍可恢复。
• 核心观察：Figure 1 中，直接问答失败后，目标仍可经其他模态、反向关联、身份绑定和关系重构被访问。作者称压低一种风险可能放大另一种，风险变化可以是非单调的。
• 本文提出：IDUnlearn-Bench，作者称其为面向 VLM 个体级多模态遗忘的基准。60 个合成个体、4,860 条评测探针，分 Attribute Access、Identity Access、Identity Binding、Identity Reconstruction 四族。
• 威胁模型：
  • 目标：恢复遗忘后仍可访问的目标知识，从而判断可用证据是否仍能推断目标身份；任何成功恢复都视为残留个体级信息。
  • 知识：black-box。可查询遗忘后的模型，不能访问模型内部或遗忘过程。
  • 能力：对目标个体可使用基准提供的文本与视觉证据，包括生物特征、个人记录以及与保留个体的关系；证据可以不完整或被遮罩。
  • 受害系统：经过遗忘算法 U 得到的 VLM Mθ−。遗忘集为 Fu，保留数据为 R。

多模态遗忘方法

• GA（Thudi et al., 2022）、Gradient Difference（Liu et al., 2022）、KL Minimization（Nguyen et al., 2020）、NPO（Zhang et al., 2024）——从语言模型遗忘改编：提高遗忘集损失、结合保留集训练、约束保留数据上的输出分布，或把目标回答当作负偏好。论文把它们当作输出级目标，称其未显式去掉跨模态身份关联。
• MMUnlearner（Huo et al., 2025）定位与目标视觉知识相关的参数，并用保留的视觉概念和文本知识约束更新；MANU（Liu et al., 2025b）按模态估计神经元重要性，剪掉与遗忘数据关联更强的神经元。
• R2MU（Wang et al., 2025）面向大型推理模型，重定向遗忘集的推理表征，并用增强的 chain-of-thought 监督保留一般推理能力。

文本与多模态遗忘基准

• TOFU（Maini et al., 2024）、MUSE（Shi et al., 2024）、RWKU（Cao et al., 2024）——在语言模型上以受控设置测量知识移除与保留效用。
• MLLMU-Bench（Liu et al., 2025a）用纯文本和图像条件问答评测档案知识；CLEAR（Dontsov et al., 2025）研究角色在文本与视觉上的遗忘；FIUBench（Ma et al., 2025）提供人脸档案 VQA，并含成员推断与对抗抽取；PEBench（Xu et al., 2025）考察人物与事件概念的耦合干扰；UMU-Bench（Wang et al., 2026）测量跨模态不对齐的遗忘；SALMUBench（Selvas-Sala et al., 2026）针对对比多模态编码器中的 persona–attribute 关联。
• MultiPriv（Sun et al., 2026）以相连的多模态证据表示个体，评测 VLM 能否据此链接并推断身份与敏感信息；论文称它不评测遗忘后身份关联是否仍可恢复。

基线方法与数据来源

• 基线：GA、GA-Diff、KL-Min、NPO、MANU、MMUN（Both / Lang / Vis）、R2MU，共七类方法、九种配置。参照点为 Base（原始指令微调检查点）和 Vanilla（档案微调检查点）。
• 基准：评测在自建 IDUnlearn-Bench 上进行；语义种子来自 MultiPriv 的合成档案。监督集为 10,050 条直接档案问答。

作者将本文定位为互补问题：遗忘之后个体是否仍可被恢复。既有基准评测模态对齐、概念耦合、关联移除或对抗抽取，但不联合测试不同观察能否支持反向身份访问、是否仍绑定为同一人、或能否被组合以重构目标。

IDUnlearn-Bench 把评测单位从孤立的遗忘集问答，改成个体作为整体是否仍可恢复。微调只用直接档案问答；评测探针不进入训练，专门探测替代访问路径。

问题设定

• 形式化：Mθ 为在多模态档案上训练的 VLM，u 为待遗忘个体。遗忘算法给出 Mθ− = U(Mθ, Fu, R)。目标是降低目标相关查询 Qu 上的可恢复性 Rec，并使保留个体查询 Qū 上的效用 Util 接近遗忘前。
• 设计依据：Table 1 将 GDPR 与 CCPA 对应到三点：把同一档案内的多模态属性与记录放在一起；移除目标信息并保留无关知识；测试残余证据是否仍能识别或重构目标。
• 身份中心构建：以 MultiPriv 合成档案为语义种子，扩展为 60 个多模态身份。每个身份含多张人脸与指纹观察、个人记录、情境图像、关系和文本属性，以及保留身份的生物特征观察和去掉显式标识、保留情境线索的遮罩文档。

监督与四族任务

• 两套数据：监督集 10,050 条直接档案问答，按个体划入 forget 与 retain，用于微调与遗忘。基准含 4,860 条仅评测探针，覆盖九个子任务，输入为纯文本、单图和成对图像。每个身份配 24 张图像及文本信息，覆盖身份属性、个人记录、活动和关系。
• Attribute Access（AA）：用姓名（Textual）或人脸/指纹（Visual）取回目标属性。
• Identity Access（IA）：方向相反，从属性、记录或视觉观察恢复身份。Direct 使用显式标识，Indirect 使用遮罩记录或情境证据。
• Identity Binding（IB）：判断两个观察是否属于同一人。Cross-Instance 用同一人的不同图像，Cross-Modal 连接不同模态。每条查询是同一身份的一对匹配观察，参考答案为肯定，因此分数是绑定恢复率，不是平衡的同/异分类准确率。
• Identity Reconstruction（IR）：组合关系、属性和视觉线索。Relational 恢复相关个体；Relational-Attribute 用属性消歧；Cross-Modal Relational 推断视觉证据与目标的关系。

划分与成功判定

• 划分：I 为全部身份，Uf ⊂ I 为待遗忘身份。与 Uf 相关的查询构成 forget split，其余为 retain split。主实验为 Forget-1 与 Forget-5，即从 60 个身份中移除 1 个或 5 个，分区在方法间固定。
• 匹配：预测与参考答案都做大小写折叠、空白合并、去掉外围引号和句末标点。规范化后的参考答案作为子串出现在模型回复中即计为成功恢复，记为 m(ŷ, y)。
• 族级分数：RS,k 为该 split、该任务族中成功恢复的查询百分比。遗忘集上 AA、IA、IB、IR 越低越好；保留集上越高越好。四族分开报告，因为一条路径上的遗忘不蕴含其他路径上的遗忘。

被比较的遗忘配置

• 初始化：每个 Base 先在档案监督集上微调得到 Vanilla，所有遗忘方法从同一检查点出发。
• 九种配置：GA、GA-Diff、KL-Min、NPO、MANU、MMUN-Both、MMUN-Lang、MMUN-Vis、R2MU。MMUN 的三种配置分别遮蔽双模态、仅语言、仅视觉。直接 AA 探针测受监督事实的残余召回；IA、IB、IR 测变换后的访问路径。划分不一致或生成为空的运行被排除。附录给出了微调数据示例和实现细节。

实验设置

• 模型：六个开源 VLM，三个家族：Qwen3-VL-2B/4B/8B、LLaVA-1.5-7B/13B、Llama-3.2-11B-Vision。Qwen3-VL 为控制规模的主评测；LLaVA-1.5 与 Llama-3.2-Vision 用于跨架构分析。
• 数据：60 个合成个体；监督集 10,050 条直接档案问答；评测 4,860 条探针、九个子任务。Forget-1 与 Forget-5 分别移除 1 个和 5 个身份，分区固定。
• 方法：GA、GA-Diff、KL-Min、NPO、MANU、MMUN-Both/Lang/Vis、R2MU。参照为 Base 与 Vanilla。主对比是 Qwen3-VL 的 Forget-5（Table 2）；完整 Forget-1 与跨架构结果在附录。
• 指标：规范化答案包含准确率（%）。forget residual 越低越好，retain utility 越高越好，四族分开。IB 只用匹配正对，表中标为 IB† 或 IB+。
• 评审：规则子串匹配，论文未报告 LLM 评审、人工一致性或重复次数。划分不一致或空生成的运行被排除。
• 细粒度分析：Figure 4 使用 Forget-5；属性分析覆盖 15 个有效 MMUN 配置。

主结果

Table 2 为 Qwen3-VL 在 Forget-5 上的规范化答案包含准确率（%）。下表只列作者重点讨论的参照与方法；GA、KL-Min、NPO、MANU 在多数格子上接近 Vanilla，完整九种配置见 Table 2。

表格较宽，可左右滑动

模型	方法	Forget AA↓	Forget IR↓	Retain AA↑	Forget IB†
2B	Vanilla	98.57	77.78	100.00	42.50
2B	GA-Diff	44.76	73.33	73.25	77.50
2B	MMUN-Lang	40.00	46.67	79.48	92.50
2B	MMUN-Vis	32.38	55.56	76.54	70.00
2B	R2MU	16.19	60.00	14.07	0.00
4B	Vanilla	98.57	71.11	100.00	100.00
4B	MMUN-Lang	44.76	75.56	93.68	100.00
4B	R2MU	12.38	24.44	9.09	0.00
8B	Vanilla	98.57	71.11	100.00	65.00
8B	MMUN-Lang	14.29	33.33	64.03	77.50
8B	MMUN-Vis	19.52	31.11	62.81	10.00
8B	R2MU	8.57	35.56	8.23	0.00

• Q1：作者称 GA、KL-Min、NPO 继承输出级目标，多数遗忘集结果仍接近 Vanilla；GA-Diff 变化更大但不均匀。MANU 接近 Vanilla，作者认为身份知识是分布式的。MMUN 把 forget 与 retain 分得更开，但以 4B 的 MMUN-Lang 为例，forget AA 为 44.76%、retain AA 为 93.68% 时，forget IR 仍为 75.56%。R2MU 的 forget 与 retain 都移向 Base，作者称这是去掉了习得的档案知识，而不是选择性去掉目标个体。
• Q2：作者称没有单一通路稳定控制身份访问。2B 上 forget AA、IA、IR 的最低值分别来自 MMUN-Vis（32.38%）、MMUN-Both（32.73%）、MMUN-Lang（46.67%）；8B 上 AA 最低为 MMUN-Lang 14.29%，IA 与 IR 最低为 MMUN-Vis 的 15.45% 与 31.11%。双通路遮蔽并不稳定优于单通路。
• Q3：作者称九种 MMUN 配置中有八种的 forget IR 高于 forget AA 和 forget IA。2B 上 GA-Diff 把 AA 从 98.57% 降到 44.76%，IR 仍为 73.33%。IB 在 AA 或 IA 下降后仍可升高，作者据此称观察之间的关联可以在直接答案被抑制后留下来。

细粒度隐私效应

• 共享属性：Figure 4(a)，15 个有效 MMUN、Forget-5 下，any-path recovery 平均为 gender 100.00%、medication 98.67%、nationality 82.67%，对比 ID number 30.67%、address 32.00%、date of birth 41.33%。作者称排序跟随答案复用：60 人中有 41 人的 medication 为 None，而标识符、地址和生日是唯一的。
• 方向不对称：Figure 4(b) 只比较 Vanilla 在两个方向都答对的人–属性对。MMUN-Lang 后，正向恢复在 2B/4B/8B 上为 16.67%、40.00%、4.00%，反向为 66.67%、100.00%、60.00%。作者称一个方向失败不能说明人–属性关联已被去掉，其他骨干上方向可以反过来。
• 风险转移：Figure 4(c)，Qwen3-VL-2B 上三种 MMUN 把 AA 从 98.57% 降到 32.38–41.90%，IA 从 68.18% 降到 32.73–40.91%，IB 从 42.50% 升到 70.00–92.50%。8B 上 MMUN-Lang 把 AA、IA 降到 14.29% 和 20.00%，IB+ 从 65.00% 升到 77.50%。

架构、规模与删除范围

• 架构：Table 3(a)，Forget-5 下 GA 在 LLaVA-1.5-7B 上 forget AA 为 97.62%、retain AA 为 99.70%；13B 上为 54.76% 与 66.45%；Llama-3.2-11B 为 58.10% 与 90.48%。MMUN-Vis 在 LLaVA-1.5-7B 与 Qwen3-VL-8B 上 forget AA 为 25.71% 与 19.52%，retain AA 相差 31.09 个百分点（93.90% 与 62.81%）。作者称选择性取决于身份关联所在的骨干。
• 规模：Table 3(b)，MMUN-Lang 下 Qwen3-VL-8B 四族残余最低，但 retain AA 为 64.03%；4B 的 retain AA 为 93.68%，IB+ 为 100.00%、IR 为 75.56%。LLaVA-1.5 从 7B 到 13B，forget AA 同为 42.38%，IB+ 同为 100.00%，IA 从 11.82% 升到 21.82%，IR 从 13.33% 升到 31.11%。
• 删除范围：Table 3(c) 为 Forget-5 减 Forget-1。五个模型配置、四族共 20 个比较中，16 个残余上升，2 个 IB+ 保持 100.00% 不变；IA 与 IR 在每个模型上都上升；只有两个 AA 比较下降（LLaVA-1.5-13B 为 −26.67，Qwen3-VL-8B 为 −11.90）。作者称 Forget-1 应视为单身份单元测试，不宜代理多身份删除。

其他消融与分析

• 2B Forget-5：MMUN-Both 的 forget AA/IA/IB†/IR 为 41.90 / 32.73 / 85.00 / 48.89，retain AA 为 78.61（Table 2）。
• 4B Forget-5：MMUN-Vis 的 forget AA/IA/IR 为 50.48 / 55.45 / 48.89，IB† 为 100.00；KL-Min、NPO、MANU 的 forget AA 为 98.57、97.14、98.57，IB† 均为 100.00（Table 2）。
• 8B Forget-5：MMUN-Both 的 forget AA/IA/IB†/IR 为 20.95 / 22.73 / 35.00 / 33.33，retain AA 为 65.06（Table 2）。
• LLaVA-1.5-13B Forget-5：MMUN-Vis 的 forget AA 为 60.00、IA 为 10.00、IR 为 20.00、IB+ 为 100.00，retain AA 为 96.84（Table 15）。
• Llama-3.2-11B Forget-5：Vanilla 的 IB+ 为 2.50，GA 的 forget AA 为 58.10、IA 升至 74.55（Vanilla IA 为 56.36），R2MU 的 forget AA/IR 为 8.10 / 28.89，retain AA 为 4.63（Table 16）。
• 4B 上多种方法的 IB† 在 Base 为 0.00、Vanilla 起即为 100.00，遗忘后仍为 100.00，作者未把该饱和格单独解释为方法失效以外的现象。

作者指出的局限与后续方向

• 合成数据：附录 Limitations 称档案为合成，以支持受控的身份链接并避免使用真实人物；作者认为向真实分布外推需要在授权数据上再验证（§12）。
• 匹配协议：作者称子串包含匹配不覆盖释义、拒答风格差异和部分正确的长回答，计划加入生成式与人工评测（§12）。
• 删除范围与分区：作者称只报告 Forget-1 与 Forget-5、且使用固定身份分区，更大或自适应的删除请求以及不同分区可能改变残余路径（§12）。
• 模型范围：作者称实验限于六个开源 VLM，闭源 API 模型上的查询接口与安全过滤未被测量（§12）。
• 后续方向：结论与 §12 称需要去掉相连的身份表征而不是孤立属性；作者计划扩展真实授权数据、生成式评测和更广的模型家族。
• 效用代价：作者在结论中称更强的遗忘可能损害保留效用，但未把某一方法写成已经解决该权衡。

实验覆盖范围

• 被测模型为 Qwen3-VL-2B/4B/8B、LLaVA-1.5-7B/13B、Llama-3.2-11B-Vision，共 6 个；主表 Table 2 只含 Qwen3-VL 的 Forget-5，跨架构数字在 Table 3 与附录 Table 15、Table 16。
• 遗忘方法为 GA、GA-Diff、KL-Min、NPO、MANU、MMUN-Both/Lang/Vis、R2MU；参照为 Base 与 Vanilla。Llama-3.2-11B 的附录表未列出三种 MMUN。
• 数据规模为 60 个合成个体、每身份 24 张图像、监督集 10,050 条、评测探针 4,860 条、九个子任务、四族；删除设置为 Forget-1 与 Forget-5。
• 判定为规范化子串包含；Figure 4 的属性统计基于 15 个有效 MMUN 配置，方向分析限于 Vanilla 双向都正确的人–属性对。论文未报告重复次数、查询预算或与人工判断的一致性。
• 威胁模型实验按 black-box 查询设定执行，证据可遮罩或不完整；论文讨论了输出级、神经元剪枝、模态遮蔽和推理表征重定向这几类方法，未在正文给出它们的学习率或步数。

IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。

• 问题：姓名、人脸、记录和关系提供多条通向同一身份的路径。作者认为只抑制预定答案，会在擦除请求与实际可重识别之间留下空隙。
• 做法：60 个合成个体先用 10,050 条直接档案问答微调，再用 4,860 条不参与训练的探针，分 AA、IA、IB、IR 测属性取出、反向认人、观察绑定和关系重构。成功与否由规范化参考答案是否作为子串出现决定。对手被设为 black-box，只能拿基准证据查询。
• 主结果：Forget-5 的 Qwen3-VL 上，GA、KL-Min、NPO、MANU 的遗忘集分数多接近 Vanilla。Qwen3-VL-4B 的 MMUN-Lang 把 forget AA 降到 44.76%、retain AA 保持 93.68%，forget IR 仍为 75.56%。Qwen3-VL-8B 的 MMUN-Lang 把 forget AA 降到 14.29%，IB† 却从 Vanilla 的 65.00% 升到 77.50%。R2MU 在 2B 上 forget AA 为 16.19%，retain AA 只有 14.07%，两侧都靠近 Base。
• 其他发现：15 个 MMUN 配置里，gender 的 any-path recovery 为 100.00%，ID number 为 30.67%。MMUN-Lang 在 2B 上正向恢复 16.67%、反向 66.67%。Forget-5 相对 Forget-1，20 个比较里 16 个残余更高。LLaVA-1.5-7B 上 GA 的 forget AA 仍为 97.62%。
• 作者结论：当前方法常常留下个体级知识，更强遗忘又可能损害保留效用。作者认为应移除相连的身份表征，而不是孤立属性，并把 Forget-1 看作单身份单元测试。