Open-MMUnlearning 发布：统一多模态大模型遗忘方法与评测框架

MLLM 遗忘缺少可复现的统一实现、一致评测，以及能把真正移除和表面抑制分开的指标。

• 场景：作者称 MLLM 的预训练和指令微调使用网络等来源的大量数据，其中可能含隐私、有害或受版权内容，因而有伦理与法律关切。现代 MLLM 有数十亿参数，按每次删除请求从零重训，作者称成本和操作上都不可行。
• 难点：作者称同一概念可能冗余编码在视觉特征、语言表示和跨模态交互中，残留信息可以从任一模态泄漏。
• 现有不足：方法常绑定少量基准和骨干；初始化、预处理、可训练组件和超参不同，换设定往往要重写流程。各基准的 forget/retain 划分、任务和指标也不一致。跨模态查询、定向再学习、表征探测、对抗提示、视觉扰动和成员推断，多在分开的研究里做。遗忘集分数下降还可能只是输出抑制或整体能力下降。
• 本文做法：作者提出 OPEN-MMUNLEARNING，用共享接口和结构化配置覆盖目标模型准备、多模态数据处理、遗忘和评测。框架接入 5 个基准、4 个模型族的 8 个 MLLM、12 种遗忘方法，并评遗忘效果、保留效用，以及对模型干预、对抗输入和成员推断的 Robustness。作者再用同一协议比较其中 10 种方法，并对 13 个指标做忠实性与干预后判断的元评测。

按干预机制的遗忘方法

• 优化式：§2 将目标驱动的参数更新归为一类，包括通用遗忘目标、反事实目标、知识蒸馏、结构化目标、反馈目标和对抗目标。引言点名 NPO 与 RMU，并称迁到多模态时需要适配。
• 定位、算术、推理时：定位式只改与目标知识相关的组件、神经元或子空间，点名 MANU 与 MMUnlearner。§3 称二者各自只在少量基准和模型族上评估。算术式对权重或更新向量做代数运算；推理时方法固定参数，在解码时干预激活或稀疏特征。
• 模块式：引言另列 Garg 等（2026）与 Jin 等（2026）。§2 的机制分类未再单列这一组。

按移除目标的基准

• 隐私：作者称这是研究最多的设定，目标包括身份、档案、敏感属性和关联，并按知识来自预训练还是由微调引入来区分。点名的工作包括 Li 等（2024a）、Patil 等（2025）、Guang 等（2026），以及 CLEAR、MLLMU、FIUBench。
• 安全与版权：安全基准针对由图像和相关问题共同引出的有害多模态知识，点名 SafeEraser 与 Xu 等（2025）。版权基准针对受保护角色、标志及相关背景知识，点名 CoVUBench。

评测与已有统一框架

• 行为与分布指标：分类和填空常用 Accuracy 或 Exact Match；开放生成用 ROUGE-L、BLEU；似然类包括负对数似然和困惑度。与 retain-only 参考比较时，使用 Truth-Ratio 的 KS 检验、Jensen–Shannon 散度或 Wasserstein 距离。
• 恢复检验：作者称跨模态查询、成员推断、改写提示、对抗提示、隐状态探测、视觉扰动、定向再学习和量化，通常分散在不同研究或只做部分组合；已有方法常只评一到两类攻击。
• OpenUnlearning：Dorna 等（2026）统一文本 LLM 遗忘的方法与指标。作者称 MLLM 还需要不同架构、图文配对、视觉与语言组件的更新选择，以及跨模态泄漏和图像换写评测。

基线方法与基准

• 本文比较：Table 2 的方法为 GA、GD、KL、NPO、RMU、UNDIAL、MMUnlearner、MANU、MIP-Editor、SMFA；Finetune 与 Retain-Only 是参考模型。主设定是 MLLMU-Bench 的 10% forget。效用分量还使用 MMBench、MM-Vet、POPE、ScienceQA、VizWiz、GQA、VQAv2（A.3.3）。

作者把本文放在这些工作之后：用同一配置流程比较遗忘、效用和 Robustness，并单独检查指标是否反映目标知识仍在，以及量化或再学习后原先的遗忘判断是否还站得住。

作者用 OPEN-MMUNLEARNING 把数据、模型、遗忘方法和评测拆成可替换模块。本文没有新提出一种遗忘算法；比较来自同一准备、调参和打分规则。

流水线与接口

• 四段流程：Figure 1 中，Data Worker 从隐私、安全、版权基准准备微调、评测和遗忘数据；Model Loader 提供骨干；Trainer 做微调以及通用和 MLLM 专用遗忘；Unified Evaluator 评 Forget Quality、Model Utility，并从模型侧、输入侧、输出侧评 Robustness。
• 配置驱动：实验用结构化配置选择模型处理器、遗忘方法、基准评测器和鲁棒性审计。作者称可在相同设置下复现，替换组件不必改核心执行逻辑。
• 扩展：新组件实现对应接口并写入配置即可接入，之后可复用已有评测器和审计。

已接入的方法

• 规模：12 种方法，7 种通用、5 种 MLLM 专用；4 个模型族、不同参数规模的 8 个 MLLM；5 个基准。Table 1 是缩略，完整变体在附录 Table 4。Table 2 不含 IdkNLL 与 VGID。
• 通用方法：GA 只提高遗忘响应的负对数似然，不约束保留。GD 在遗忘集上升的同时对保留集做最大似然。KL 用原模型在保留输入上的输出分布作约束。NPO 把遗忘响应当作相对冻结模型的负偏好，作者称目标响应足够不像原模型后梯度会饱和。RMU 把选定层隐状态拉向固定随机向量，并锚定保留样本的表示。UNDIAL 降低冻结模型在真实 token 上的 logit，再做自蒸馏。
• MLLM 专用方法：MMUnlearner 用遗忘集与保留相关数据的显著性比做更新掩码。MANU 按遗忘/保留重要性比剪枝视觉和语言 MLP 神经元。MIP-Editor 先定位跨层信息流路径并阻断激活，再只在路径上做表示误导。SMFA 把更新限制在低秩适配器，并去掉与保留适配器方向冲突且幅度占优的项。VGID 用图像扰动加上下文指令构造冻结教师，再蒸馏到学生。各目标见附录 A.3.1。

比较协议与聚合

• 选择规则：§4.1 在 MLLMU-Bench 的 10% forget 上比较 10 种方法。每种主超参至少三个候选值，共 150 个配置（A.3.2）。检查点最大化 Forget Quality 与 Model Utility 的均值；Robustness 在选定后评，不参与调参。选择和 Table 2 用同一划分，没有单独验证集。
• Forget Quality：填空准确率、分类准确率和 ROUGE-L 先合成任务分，再对多模态遗忘集与留出测试集取平均，然后与 Truth Ratio、答案概率、相对 Retain-Only 的 KS-Test 和 JS Distance 等权平均。BLEU 只作辅助生成指标，不进这一聚合（A.3.3）。
• 效用与 Robustness：效用平均单模态/多模态、retain-shared/retain-celebrity，以及 MMBench、MM-Vet、POPE、ScienceQA、VizWiz、GQA、VQAv2。Robustness 三侧等权：模型侧是量化、定向再学习，以及第 16 与 24 层探测的平均；输入侧是跨模态纯文本查询、FigStep、jailbreak、image rephrasing、SUA，图文 jailbreak 变体不进聚合；输出侧把五种成员推断的 ROC-AUC 换成离 0.5 的接近程度，越接近随机猜测分越高。总分是三维等权算术平均。作者称这种平均允许一维高分抵消另一维低分。攻击流程和访问假设在附录 A.2，不在此展开。

指标元评测

• 忠实性：底模为 LLaVA-1.5-7B，数据为 MLLMU。正池训练时见过正确目标事实，负池没有。分数归一化到 [0, 1]，越大表示越像仍含目标知识。区分度是 F_m = AUC−ROC(S₊^m, S₋^m)，即正负池分数的 ROC-AUC。另取使两池分类准确率最大的阈值，标出看起来已遗忘的模型。
• 干预后判断：对这些模型做量化，以及与 retain-only 参考相同预算的定向再学习。量化不引入额外目标数据；再学习比较两者分数变化。量化分与再学习分取调和平均，再与忠实性取调和平均（§5、A.4）。效用下降超过 20%，或未达到该指标所用遗忘筛选条件的模型被排除。探测因为使用额外线性读出，且与生成和似然指标不对齐，不进这一聚合。
• 模型池：6 个训练集交叉 5 个学习率，即 {1, 2, 3, 4, 5}×10^-5。正池为 full、full paraphrased、full bio；负池为 retain90、retain90 forget10 perturbed、retain90 celeb bio（A.4.5）。GPT-4o 生成问题释义和答案扩展。评测答案的生成模型，正文写 GPT-4o，附录 A.4.4 写 GPT-4o-mini。附录给出完整提示词。

实验设置

• 方法比较：10 种方法为 GA、GD、KL、NPO、RMU、UNDIAL、MMUnlearner、MANU、MIP-Editor、SMFA，设定是 MLLMU-Bench 的 10% forget（§4.1）。该比较的骨干模型论文未说明。参考模型为 Finetune 与 Retain-Only。
• 指标：Forget Quality、Model Utility、Robustness 及三者等权的 Agg，越高越好。规则见 A.3.3。BLEU 不进入 Table 2 的 Forget Quality。输出侧高分表示成员推断 ROC-AUC 更接近 0.5，不是攻击成功率更高。
• 调参：主超参至少三值，共 150 个配置。检查点按 (Forget Quality + Model Utility) / 2 选取，Robustness 不参与。作者在 A.3.3 称，选择与报告用同一划分，报告值和 Overall 是 selection-conditioned，可能偏乐观，小差距只作描述。
• 鲁棒性项目：量化、定向再学习、probing；跨模态文本查询、FigStep、纯文本 jailbreak、image rephrasing、SUA；LOSS、ZLIB、GradNorm、Min-K%、Min-K%++。附录 A.2.1 把量化写成 4-bit，并称 RTN、GPTQ、AWQ 是不同配置；Table 9 未分开报告量化器，也未给出再学习步数。
• 指标元评测：MLLMU，底模 LLaVA-1.5-7B（§5.1）。正负池见 A.4.5。排除效用下降超过 20% 或未达遗忘筛选条件的模型。论文未报告重复次数和 MLLMU 样本条数。
• 判定：Table 2 由准确率、词面重叠、似然或分布距离和成员推断 AUC 聚合。论文未写该主结果使用 LLM 裁判，也未报告与人工判定的一致性。GPT-4o 与 GPT-4o-mini 用于构造文本变体。

主结果

据 Table 2，MLLMU-Bench 10% forget，骨干论文未说明。越高越好。

表格较宽，可左右滑动

方法	Agg	Forget Quality	Model Utility	Robustness
GD	0.647	0.781	0.400	0.760
MIP-Editor	0.647	0.717	0.451	0.773
UNDIAL	0.640	0.722	0.454	0.745
RMU	0.632	0.707	0.428	0.760
MMUnlearner	0.632	0.739	0.411	0.745
NPO	0.630	0.749	0.382	0.757
GA	0.574	0.774	0.066	0.881
SMFA	0.546	0.712	0.148	0.778

• 表中省略 KL（Agg 0.617，Forget Quality 0.694，Model Utility 0.391，Robustness 0.767）和 MANU（0.627、0.684、0.439、0.758）。参考模型 Finetune 的 Agg 为 0.622，Retain-Only 为 0.638。
• 作者称 GD 与 MIP-Editor 以不同平衡并列 Agg 0.647：GD 的 Forget Quality 最高，为 0.781，效用 0.400；MIP-Editor 效用 0.451、遗忘质量 0.717、Robustness 0.773。UNDIAL 效用 0.454，为十种方法中最高，遗忘质量 0.722。
• 作者报告通用方法平均总分 0.623、专用方法 0.613，Robustness 平均 0.778 对 0.764；专用方法效用平均 0.362，通用方法 0.354。作者称通用方法的总分优势与遗忘质量和 Robustness 有关，而不是效用保持更好。GA 的 Robustness 为 0.881，由模型侧 0.996 和输入侧 0.971 推动，但效用只有 0.066；作者认为这可能部分来自回答能力普遍受损，而不只是选择性抵抗恢复。SMFA 的 Robustness 为 0.778，输入侧为 0.661。MIP-Editor 输出侧 0.814，为该列最高，输入侧 0.676。作者称不能只看 Robustness 总分。

指标元评测

• 测了什么：Table 3 在 LLaVA-1.5-7B、MLLMU 上评 13 个指标的忠实性 AUC，以及量化、定向再学习后的判断。综合分是忠实性与两类干预分的调和平均。
• 结果：BLEU 综合分 0.950，忠实性 0.910，Robustness 综合 0.993。ROUGE-L 综合分 0.921，忠实性 0.870。KS-Test 忠实性 0.991，为该列最高，Robustness 综合 0.804，再学习 0.727。Truth Ratio 的 Robustness 综合 0.996，为该列最高，忠实性 0.814，总排名第三。Cloze、Classification 的 Robustness 综合为 0.986、0.954，忠实性为 0.626、0.604。Min-K%++ 综合分 0.493，再学习 0.297，为全部指标最低。GradNorm 量化 1.000，再学习 0.892，作者称是成员推断指标里再学习分最高的。
• 作者解读：作者称词面重叠指标在该设定下综合分较高，但其发现目标事实的能力可能依赖生成答案与参考答案的词面对应。似然和分布指标在同一协议下可以表现不同。作者称应同时看：指标能否区分有无目标知识暴露、量化后判断是否还在、以及相对 retain-only 参考，定向再学习后的恢复是否被如实反映。Figure 2 给出 ROUGE-L：蓝点为合格遗忘检查点，红星为 Retain-Only 均值，阴影为干预特定的不可靠区域，红虚线为 y=x，右图忠实性 AUC 为 0.870。附录 Figure 8、9 的散点标题含 11 个指标，未见 KS-Test 与 JS Distance。

分量与案例

• 行为遗忘：Table 5 中，越低表示行为遗忘越强。GA 在遗忘集的 Cloze、Cls. 均为 0.00，ROUGE-L 为 0.003；留出测试集同样为 0.00、0.00、0.003。
• 通用能力：Table 8 中，GA 在 MMBench、MM-Vet、POPE、VizWiz、GQA、VQAv2 为 0.00，ScienceQA 为 36.00。SMFA 除 ScienceQA 为 6.00 外，其余六项为 0.00。
• 案例：附录 A.3.5 的四组配对案例中，作者称 GA 在四个遗忘案例和四个保留案例都未给出目标答案，并常出现重复文本。MIP-Editor 与 UNDIAL 在全部保留案例保留目标答案，四个遗忘案例中压掉三个，但在 Eva Lindberg 案例中仍给出。GD 与 RMU 保留全部四个保留目标，各在两个遗忘案例中仍给出。作者称这是定性说明，不是总体性能估计。

其他消融与分析

• Table 9：GA 的量化分为 0.999、再学习分为 0.997；Finetune 的 Probe-L16/L24 为 0.993/0.996，Retain-Only 为 0.984/0.993。
• Table 10：GA 的 FigStep、Jailbreak、Image Rephrasing、SUA 均为 1.000，Cross-Modal Leakage 为 0.853。
• Table 11：GD、NPO、UNDIAL 的 GradNorm 为 0.000；MIP-Editor 的 Min-K%++ 为 0.995；MMUnlearner 的输出侧总分在 Table 2 为 0.590，为十种方法中该列最低。
• A.4.2：作者认为探测分数接近上限，当前设定下区分不大，因此不纳入指标稳健性聚合。
• A.3.2：十种方法共 150 个超参配置；论文未报告各配置的全部分数，只报告选出的检查点。
• A.3.3：作者称排序依赖聚合规则；算术平均允许一维高分抵消另一维低分。

作者指出的局限与后续方向

• 受控方法比较只覆盖十种方法、MLLMU 的 10% forget；指标元评测使用 LLaVA-1.5-7B，且是同一设定（A.5）。
• 作者称观察到的排序可能随模型、数据集、遗忘比例和评测协议变化（A.5）。
• 鲁棒性评测只覆盖选定的干预和攻击，不能由此认为目标知识在每一种攻击或之后的模型更新下都不可恢复（A.5）。
• 聚合分依赖所选归一化与聚合规则，应与分量结果一起解读（A.5）。
• 作者称还需要更广的受控评测，以评估这些发现在多大范围内一致（A.5）。

实验覆盖范围

• Table 2 比较 GA、GD、KL、NPO、RMU、UNDIAL、MMUnlearner、MANU、MIP-Editor、SMFA，基准为 MLLMU-Bench 的 10% forget；该比较的骨干模型论文未说明（§4.1）。
• 指标元评测的底模是 LLaVA-1.5-7B，数据是 MLLMU（§5.1）。忠实性使用三种正池数据、三种负池数据和五个学习率（A.4.5）。
• Robustness 项目包括量化、定向再学习、probing、跨模态文本查询、FigStep、纯文本 jailbreak、image rephrasing、SUA，以及 LOSS、ZLIB、GradNorm、Min-K%、Min-K%++（§4.1）。Table 9 未写量化器名称和再学习步数。
• 框架登记 5 个基准、4 个模型族的 8 个 MLLM、12 种方法（§3.1）。A.3.1 写明其中 10 种进入 Table 2，IdkNLL 与 VGID 在方法说明中、不在该表。
• 超参搜索共 150 个配置（A.3.2）。论文未报告重复次数、MLLMU 样本条数，以及主结果与人工判定的一致性。

OPEN-MMUNLEARNING 把 MLLM 遗忘的数据准备、模型加载、遗忘执行和评测放进同一配置流程，用来比较方法和检查指标。

• 问题：作者认为按删除请求从零重训不可行，而同一知识可能留在视觉、语言和跨模态表示里。现有实现绑定特定基准和骨干，遗忘、效用和恢复检验的协议也不一致；遗忘集分数下降还可能只是抑制输出或整体能力下降。
• 做法：共享接口接入 5 个基准、4 族 8 个 MLLM 和 12 种遗忘方法。受控比较取其中 10 种，在 MLLMU-Bench 的 10% forget 上使用同一准备和调参；检查点只最大化 Forget Quality 与 Model Utility 的均值，Robustness 事后再评。该比较的骨干论文未说明。指标元评测另以 LLaVA-1.5-7B 为底模，用见过与未见正确目标事实的模型池计算 ROC-AUC，再用量化和定向再学习检查原先判断。
• 方法比较：Table 2 中 GD 与 MIP-Editor 的 Agg 并列 0.647。GD 的 Forget Quality 为 0.781、Model Utility 为 0.400；MIP-Editor 的效用为 0.451、遗忘质量为 0.717。UNDIAL 效用 0.454，为十种方法中最高。GA 的 Robustness 为 0.881，效用为 0.066。作者报告通用方法平均总分 0.623，MLLM 专用方法 0.613；专用方法效用平均 0.362，通用方法 0.354。
• 指标：Table 3 中 BLEU 综合分 0.950，KS-Test 忠实性 0.991，但其 Robustness 综合分为 0.804。Truth Ratio 的干预后综合分最高，为 0.996。Min-K%++ 综合分 0.493，为 13 个指标中最低。
• 作者结论：作者称遗忘、保留效用、Robustness 和指标判断应一起看。单一维度的高分不能代表综合结果；能按目标知识暴露区分模型的指标，在量化或定向再学习后仍可能不成立。作者同时称，聚合分依赖归一化规则，当前排序也不一定换模型、数据或遗忘比例后仍相同。