遗忘能否经受协作考验?面向共享模型 LLM 团队的鲁棒遗忘
Does Unlearning Survive Collaboration? Robust Unlearning for Shared-Model LLM Teams
ACU训练共享模型抑制团队消息恢复;TOFU上相对输出监督,全轨迹ROUGE-L从41.8%降到19.3%。
- 共享模型团队协作时,遗忘可能失效:最终答案可被拒绝,不完整线索仍能合成目标。作者认为只约束最终答案或单条消息不够。
- ACU用冻结reader从单条、汇集和全轨迹重构遗忘目标,按风险加权,并以消息替换分配信用,同时约束直接与协作效用。
- TOFU上相对输出监督,全轨迹ROUGE-L从41.8%到19.3%,事实恢复从34.2%到18.7%。WMDP-bio上ACU遗忘准确率27.9%,MMLU为65.4%。
- 作者指出训练计算增加,固定审计未覆盖自适应恢复或更长交互,且恢复不等于参数级删除。实验含三家骨干、异构团队、留出reader和三种子Full ROUGE。
- 被测模型
- Llama-3.1-8B-InstructQwen2.5-7B-InstructGemma-2-9B-it
- 基准
- TOFU (forget10/retain90)WMDP-bioMMLU
- 指标
- ROUGE-L recallfactual coverage Runlearning efficacyMMLUbenign refusal
论文发现 LLM 团队协作会削弱遗忘效果,并提出 Aggregation-Conditioned Unlearning(ACU)方法来降低团队消息中的信息恢复率。作者从理论和实验两方面说明,只控制最终回答或单条消息,并不能保证它们的组合不会被恢复出被遗忘的内容。ACU 利用单条消息与汇总消息的重建反馈训练共享模型,优先处理恢复风险更高的视角,并在保护直接与协作效用的同时做基于替换的信用分配。在 TOFU 上,相比输出监督训练,ACU 将完整轨迹恢复的 ROUGE-L 召回从 41.8% 降到 19.3%,事实恢复从 34.2% 降到 18.7%,保留任务表现相当;WMDP-bio 用于测试原生遗忘与保留效用。作者称该方法可跨团队规模和不同读者泛化。
深度解读
这篇论文试图解决什么问题?
作者称协作会削弱遗忘:控最终答案或单条消息,不能保证组合后难恢复。
共享权重的 LLM 团队协作时,被遗忘知识仍可能从消息组合中恢复。
- 场景:作者称团队通过比较视角、共享证据和合并部分解处理复杂任务。遗忘若只在单次回答上成立,不完整披露仍可能合成被遗忘答案。
- 现有不足:作者称梯度更新、NPO 与 SimNPO 改善了遗忘和保留的平衡,后续工作增强了对再训练、对抗提示和重复查询的稳健性,但未处理遗忘后队友之间的消息交换。
- 核心观察:作者给出理论并报告实验:压低最终答案或单条消息,并不能保证组合后的恢复风险也低。Figure 1(a) 中直接询问被拒绝,格式、身份与域名线索合在一起仍暴露目标。
- 协作设定:
- 多个 proposer 独立作答,一个 aggregator 综合消息;各角色共用同一遗忘后参数,推理中权重固定。
- 主团队 N=3,共四次目标模型调用。遗忘集是查询–目标对,保留集是有用问答。
- native 暴露看直接或团队最终答案;恢复暴露由独立 reader 根据中间消息重构,目标只给 scorer。
- 论文未使用 white-box 或 black-box 等说法来描述该 reader。
- 方法:提出 Aggregation-Conditioned Unlearning(ACU),用个体与汇集消息的重构反馈训练共享模型,并保护直接与协作效用。
有哪些相关研究?
相关工作分鲁棒遗忘、团队安全与团队学习;作者称消息交换仍是开放训练问题。
鲁棒遗忘
- 效果评估:Yao et al. (2024)、Liu et al. (2024)、Shi et al. (2024) 用参数更新移除指定知识,并以遗忘、保留效用和隐私评估。Bărbulescu and Triantafillou (2024) 用梯度抑制指定知识;NPO 与 SimNPO(Zhang et al., 2024a; Fan et al., 2024a)平衡遗忘与保留。
- 后续使用:Fan et al. (2025)、Wang et al. (2025a) 针对再训练后的遗忘回潮;Reisizadeh et al. (2026)、Pan and Wang (2026) 处理重复与多轮查询下的恢复。作者称这些工作没有处理遗忘后队友之间的消息交换。
团队安全
- 不安全行为:Chen et al. (2024) 研究记忆投毒,Gu et al. (2024) 研究传染式越狱,Zhang et al. (2024b)、Yu et al. (2024) 研究智能体画像与通信拓扑。
- 披露与推理时移除:Patil et al. (2025) 讨论组合披露;ALU(Sanyal and Mandal, 2025)处理推理时移除,Agentic Unlearning(Wang et al., 2026)处理参数–记忆回流。作者称,在团队消息交换中保住已经学到的遗忘,仍是开放的训练问题。
团队学习
- 集体反馈:Lowe et al. (2017)、Yu et al. (2022) 用集中式优化改进个体策略;Song et al. (2022) 等讨论网络化系统中的协调。
- LLM 团队:Stronger-MAS(Zhao et al., 2026)从任务奖励学习;C3(Chen et al., 2026)用消息替换分配信用。作者称,据其所知,ACU 是首次针对协作消息视图的下游恢复来优化共享模型遗忘。
基线与基准
- 基线方法:GA、WGA、SalUn、DPO、NPO、SimNPO、CEU;监督对照为 Native-only、Direct-message、Semantic-direct、RULE-GradDiff,另有 retain-only retraining。
- 基准:TOFU 的 forget10/retain90,WMDP-bio,以及 MMLU。
作者把 ACU 放在这些工作之后:沿用集体反馈和消息替换,但把多视图恢复写进共享模型的遗忘更新。
论文如何解决这个问题?
ACU用冻结reader的多视图重构、风险加权和替换信用更新共享LoRA。
ACU 对共享模型做 generate–reconstruct–update:先生成团队交互,再由冻结 reader 检查消息泄露了什么,恢复分数与保留任务一起更新参数(Figure 2)。
协作遗忘设定
- proposer 按角色提示生成消息,aggregator 在消息集合上综合答案。协议固定提示、可见性、解码和预算。主团队 N=3,推理中权重固定。
- 直接部署与团队部署的暴露差,只来自同一模型的用法不同。角色提示引出直接、证据导向和另一种视角;Table D.1 给出完整提示词。
- Proposition 1:可以让最终答案风险为 0,而固定 reader 在候选视图上以精确匹配恢复出目标。
- Proposition 2:N 个独立均匀 q 值坐标,单条最优完整恢复为 q^-(N-1),汇集后为 1;最终答案风险仍可为 0。因此要检查中间消息,并评估组合能让 reader 推出什么。
多视图重构
- 视图包括单条提案、联合提案池,以及含最终答案的 Full。reader 只见查询和可见消息;单独 scorer 给出 0 到 1 的分数,且只有 scorer 见到目标。native 审计直接给直接答案或团队最终答案打分。
- 三名 proposer 时有七个审计:两个 native、三个 singleton、一个 joint、一个 Full。作者称 Full 文本最多,但不一定是固定 reader 最暴露的输入,所以三种访问都保留。
- 候选模型的目标是压低最高平均审计风险,并加上保留似然。直接与团队保留质量不得低于遗忘前参考减去允许损失。
目标写成 minθ maxa∈ AB Rf(θ,a)+λr Lret(θ):在审计族上压低最坏平均恢复风险,并用保留损失把模型锚在有用回答上;效用另有不等式约束。
共享模型更新
- 试点批次估计各审计平均风险,再按温度 T 做 softmax 加权。权重对应平滑最大值的梯度权重;试点权重固定后,另抽独立批次更新。附录 A 给出试点误差界。
- 信用分配沿用反事实信用和 C3 的消息替换:保留执行前缀,独立采样替换消息并重生成后缀,aggregator 看到改变后的证据。替换分数的均值作基线;原轨迹高于基线则抑制该消息,低于则强化。reader 与 scorer 冻结。
- 恢复梯度与保留交叉熵、直接和团队效用惩罚合并。效用低于阈值时惩罚乘子增大。提案视图监督 proposer;native 团队最终答案和 Full 也监督聚合。各角色梯度累加到同一模型。
选择与部署
- 默认冻结读者为 Qwen2.5-7B-Instruct,每视图贪心一次,输出上限 96 token。可训练部分为共享 LoRA,r/α 为 16/32,AdamW,学习率 10^-5。审计温度 T 与保留权重均为 0.1,每动作替换数为 2,效用容差为 0.05。
- 核心比较为 100 次更新、每 10 次验证,训练比较含反馈与验证,上限 18 GPU-hour。两个效用都落在参考的五个百分点以内时,选择最大平均审计风险最低的可行模型。
- 部署不使用 reader 和替换,仍是原来的四次目标模型调用。Algorithm 1 在附录 C。
论文做了哪些实验?
TOFU上ACU全轨迹ROUGE-L为19.3%,Native-only为41.8%,效用接近。
实验设置
- 模型:Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B;异构团队的 proposer 为分别遗忘的三家模型,aggregator 为同一套遗忘后的 Qwen。主恢复读者是冻结的 Qwen2.5-7B-Instruct;留出读者为 Mistral-7B-Instruct-v0.3 与 Gemma-2-9B-it。
- 数据:TOFU forget10/retain90,遗忘作者 20、保留作者 180,留出遗忘题 200;retain90 为训练 3,000、验证 300、测试 300。WMDP-bio 用 800 篇训练文档和 100 篇验证文档,得到 4,000/500 个查询–目标对。BR 用 1,000 条可回答邻域题。
- 基线:GA、WGA、SalUn、DPO、NPO、SimNPO、CEU。监督对照为 Native-only、Direct-message、Semantic-direct、RULE-GradDiff;删除参照为 retain-only retraining。
- 指标:ROUGE-L recall;事实覆盖 R,排除题目已给出的事实。TOFU 的 UE 是 ROUGE-L 不低于 0.30 的比例的补。WMDP 的 UE 是多选准确率的补,25% 机会准确率对应 75% UE。分数为百分比,差值为百分点。
- 评审:主外部审计每视图一次贪心 reader,输出上限 96 token。800 条 Full reader 答案、4,000 个二值决定上,裁决前一致率 93.075%,Cohen's κ=0.829;标注由作者完成,GPT-5.6 协助。
- 重复与预算:核心 Full ROUGE 为种子 42/43/44 的均值和样本标准差。事实与内容审计除注明外为种子 42 的固定模型。比较含反馈与验证,上限 18 GPU-hour。
主结果
Team-final 遗忘 ROUGE(%),据 Table 1。越低表示 native 团队最终答案暴露越低。
表格较宽,可左右滑动
团队配置 ACU SimNPO GA Llama-3.1-8B-Instruct 12.5 28.6 18.2 Qwen2.5-7B 15.8 32.5 22.1 Gemma 2-9B 11.8 27.5 17.6 Heterogeneous MAS 18.9 35.4 25.6 - 作者称四个配置上,ACU 相对 SimNPO 的 team-final 暴露低 15.7–16.7 pp,team retain 高 1.9–4.8 pp。
- GA 的 team-final 低于 SimNPO,但 Llama 上 Retain 为 39.1%、BR 为 22.0%;ACU 的 Retain 为 55.6%、BR 为 5.2%(Table 1)。四个配置的 GA BR 为 22.0%、23.9%、20.7%、22.0%,ACU 为 5.2%、6.3%、4.9%、5.8%。
- 异构团队的直接参照是其 Qwen aggregator。作者写 ACU 的 native 部署差为 7.9 pp。作者称遗忘改善时仍保留了有用协作。
轨迹级恢复
- Llama 上,冻结 Qwen 读完整轨迹:ACU 的 Full ROUGE 为 19.3%±0.9,Native-only 为 41.8%±1.4,Direct-message 为 28.7%±1.2,Semantic-direct 为 23.1%±1.0,RULE-GradDiff 为 32.6%±1.3(Table F.1)。摘要中的对照称为输出监督训练。
- 事实恢复 R:ACU 为 18.7%,Native-only 为 34.2%。直接与团队 retain 各只差 0.2 pp。BR 从 25.4% 到 5.2%。作者称这对应选择性遗忘,而不是普遍压低有用回答。
- WMDP-bio 上,作者称 ACU 的遗忘准确率为 27.9%(机会水平 25%),MMLU 为 65.4%;Table 2 的 UE 为 72.1%。retain-only retraining 的 Full ROUGE 为 21.4%、R 为 19.0%,团队 retain 为 50.6%±0.3(Table F.1,恢复为种子 42)。
机制、迁移与例外
- 固定 Qwen reader、提示和预算时,只看最终答案:Native-only 为 14.7%,ACU 为 14.9%。加入提案后分别升高 27.1 与 4.4 pp(Figure 5a、Table F.12)。作者称同一 reader 能分开只看最终答案时相近的模型。
- 池可完整恢复、但任一 singleton 和仅查询不能:Native-only 为 14/200,ACU 为 3/200;互补证据分别为 10 例和 2 例。10 例互补证据中,删关键线索后完整恢复 1/10,等长无关删除为 9/10(Table F.7)。
- 七个 proposer 时,ACU 的 Full 恢复为 25.0%,Native-only 为 49.4%(Figure 4a)。Qwen 目标为 22.1% 对 45.2%(Table F.2);固定轨迹上的 Mistral reader 为 21.4% 对 45.0%(Figure 5b)。Table F.9 中四种匹配调用协议的事实恢复差为 10.9、12.8、14.7、15.6 pp。reader 输出上限改为 64 token 后,retraining 的 Full 为 9.8%,ACU 为 14.3%±0.9,排序相对 96 token 时的 21.4% 与 19.3% 反转(Table F.18)。
其他消融与分析
- 去掉 recovery:TOFU/WMDP-bio 的 UE 低 4.5/5.3 pp;去掉替换基线低 3.5/6.7 pp;去掉效用保护后 UE 略升,MMLU 低 6.2/6.6 pp(Table 2)。
- Singleton-only 的 Full 恢复为 29.6%;无替换基线为 20.6%,对照 ACU 的 19.3%(附录 F.7)。
- 9 GPU-hour 时 Full ROUGE:ACU 29.7%,Direct-message 35.0%,Native-only 46.2%(Figure 6)。两对照实际续训到 18 GPU-hour 为 26.5% 与 37.9%,仍高于 ACU 的 19.3%(附录 F.6)。
- 完整 RULE(30 GPU-hour、500 次更新)Full ROUGE 为 28.9%±1.2(附录 F.4)。60 道配对题上,原始消息事实支持从 40.3% 到 27.7%(Table F.1)。
- 三组配对中,重构相对 Semantic-direct 平均低 3.8 pp Full ROUGE、3.1 pp 事实覆盖。MIA AUC:Native-only 0.61,ACU 0.56,retraining 0.48(Table F.18)。
- 公开 Llama-3.2-1B-Instruct 的 40 题诊断中,Aggregate 相对 Best role 的 ROUGE 差为 0.53 pp,自动事实分为 −21.96 pp(Table F.17)。
有什么可以进一步探索的点?
作者指出训练开销、固定审计未含自适应恢复,且恢复不等于参数级删除。
作者指出的局限与后续方向
- 重构和替换 rollout 增加计算,可能限制可扩展性(Limitations)。
- 两个基准和固定审计没有覆盖自适应恢复或更长交互(Limitations)。
- 恢复依赖 reader 和指标,不能确立参数级删除(Limitations)。
- 作者计划探索更便宜的反馈,以及更广的协作遗忘评估(Limitations)。
- 作者称,过分依赖有利的审计分数可能掩盖残留泄露,敏感部署前需要更广评估(Ethical Considerations)。
实验覆盖范围
- 主结果包含 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B 和异构团队(Table 1)。
- TOFU 使用 forget10/retain90 与 200 道留出遗忘题;WMDP-bio 报告原生多选 UE 与 MMLU(Table 2)。轨迹级恢复和配对删除主要在 Llama、种子 42 上展开(附录 F)。
- 默认团队为 3 个 proposer 加 aggregator;另报告 proposer 数为 5 和 7 的 native UE,以及 7 个 proposer 的 Full 恢复(Table F.23、Figure 4a)。
- 训练 reader 为冻结 Qwen2.5-7B-Instruct;另在固定轨迹上使用 Mistral-7B-Instruct-v0.3,并用 Gemma-2-9B-it 的两提示、两协议套件取逐题最大(Table F.20、附录 F.10)。
- 核心 Full ROUGE 为三个训练种子的均值。论文未报告显著性检验。部署保持四次目标模型调用;训练侧每动作替换数为 2(附录 C)。
总结一下论文的主要内容
作者称ACU降低团队可恢复泄露,TOFU全轨迹ROUGE-L从41.8%到19.3%。
ACU 把协作消息的下游恢复写进共享模型的遗忘训练。
- 问题是同一套遗忘权重在 proposer 与 aggregator 之间复用时,最终答案或单条消息上的低暴露,不等于这些消息合在一起后难以恢复。
- 冻结 reader 对单条、汇集和全轨迹打恢复分,按风险加权,并用替换消息的信用分配更新共享 LoRA,同时约束直接与团队效用。推理仍是四次目标模型调用。
- TOFU、Llama 上,ACU 的全轨迹 ROUGE-L 为 19.3%,输出监督对照 Native-only 为 41.8%;事实恢复为 18.7% 对 34.2%。Table 1 四个配置的 ACU team-final 为 12.5%、15.8%、11.8%、18.9%。
- 只看最终答案时,Native-only 与 ACU 为 14.7% 和 14.9%;加上提案后分别升高 27.1 与 4.4 pp。七个 proposer 时 Full 恢复为 25.0% 对 49.4%。WMDP-bio 上 ACU 的遗忘准确率为 27.9%,MMLU 为 65.4%。
- 作者称 ACU 减少了团队消息中可被恢复的证据,在匹配训练预算下仍有差距,且不增加推理调用。作者同时写明,恢复依赖 reader 与指标,并不确立参数级删除。