跳到正文
原文

FIRM:面向联邦 LLM 遗忘的 Fisher 感知保留合并

FIRM: Fisher-Informed Retention Merging for Federated LLM Unlearning

arXiv:越狱、提示注入、投毒与防御· arXiv:2610.21720· Reeyansh Shah, Maram Hasan, Subhasis Chaudhuri, Biplab BanerjeeIndian Institute of Technology Bombay本站收录· 2026-10-16· 原文发表对齐

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者报告FIRM用Fisher合并后,Zephyr-7B在WMDP、γ=1.00的MMLU为48.29%。

问题
联邦LLM遗忘要求删除留在私有客户端的知识,服务器不能同时看到遗忘集与保留集。未归一化跨客户端聚合会放大合并更新,作者称为magnitude explosion,并在更强遗忘下损伤保留效用。
方法
FIRM让各客户端传一次LoRA任务向量和经验Fisher对角。服务器先按遗忘域取均值,再做Fisher归一化基合并,并用每张量的二阶投影收缩保留敏感坐标,不访问原始数据。
实验与结果
作者报告WMDP与MUSE-HP上,可比遗忘处FIRM-base的MMLU高于复现FULM,如Zephyr-7B、γ=1.00为48.29%。TOFU的优劣随指标而变;投影收益限于部分匹配点,近匹配中也有效用差为负。
局限与可以继续做的
作者称Fisher代理不是精确保留损失,并假设可信服务器与单角色客户端。评测为两个模型族上的WMDP、TOFU和MUSE-HP;论文未报告多种子不确定性。
实验设置Zephyr-7B-β、Llama-3-8B-Instruct · WMDP、TOFU 等 · WMDP-Biology accuracy、WMDP-Cybersecurity accuracy 等
被测模型
Zephyr-7B-βLlama-3-8B-Instruct
基准
WMDPTOFUMUSE-HPMMLU
指标
WMDP-Biology accuracyWMDP-Cybersecurity accuracyMMLU accuracyROUGE-L
AI 导读FIRM 是面向联邦 LLM 遗忘的单轮服务端聚合框架,用客户端本地 Fisher 统计量构造归一化合并并约束保留敏感参数,以缓解跨客户端聚合导致的更新幅度爆炸。其保留投影有唯一最小距离解,对偶规模随保留客户端数量而非模型维度增长。在 WMDP、TOFU、MUSE-HP 上用 Zephyr-7B 和 Llama-3-8B 测试,WMDP 与 MUSE-HP 在遗忘程度相当时效用提升,TOFU 存在依指标而定的权衡。

FIRM 是面向联邦 LLM 遗忘的单轮服务端聚合框架,用客户端本地 Fisher 统计量构造归一化合并并约束保留敏感参数,以缓解跨客户端聚合导致的更新幅度爆炸。其保留投影有唯一最小距离解,对偶规模随保留客户端数量而非模型维度增长。在 WMDP、TOFU、MUSE-HP 上用 Zephyr-7B 和 Llama-3-8B 测试,WMDP 与 MUSE-HP 在遗忘程度相当时效用提升,TOFU 存在依指标而定的权衡。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    联邦LLM遗忘里,未归一化跨客户端聚合会放大更新并损伤保留效用。

    联邦场景下要删掉留在私有客户端的知识,服务器却不能同时看到遗忘集与保留集,还要避免未归一化聚合放大更新、压低保留效用。

    • 场景:作者认为部署后的模型可能编码个人、版权或有害信息;GDPR与CCPA确立删除权,重训十亿参数模型成本高,定向事后删除往往是实际选择。
    • 现有不足:多数LLM遗忘方法假设能集中访问遗忘数据与代表性保留数据。FULM在组内用TIES消解符号,再对域级质心未归一化求和;作者将幅度随异构贡献增大、而非按集体重要性标定称为magnitude explosion,并称符号聚合不显式控制保留侧损伤。
    • 观察:遗忘客户端抑制目标知识,保留客户端提供保全更新和参数敏感度。作者认为服务器须在不见两类数据时仲裁这两类信号,并同时管更新尺度及其对保留敏感参数的影响。
    • 设定:
      • 目标:得到有效遗忘且维持保留效用的模型。
      • 数据:遗忘集与保留集留在私有客户端,原始数据不传给服务器。
      • 角色:每轮每个客户端只有遗忘或保留一种角色,不同轮可以切换。
      • 通信:单轮中客户端传一个任务向量和Fisher摘要,服务器不再要求其参与。
    • 方法:作者提出FIRM,用客户端局部Fisher做归一化基合并,并加约束保留敏感参数的二阶投影。
  2. 有哪些相关研究?

    相关工作涵盖集中式遗忘、适配器合并与联邦遗忘;作者把FULM视为协议最接近的框架。

    集中式LLM遗忘

    • 梯度上升:Jang et al.(2023)直接提高遗忘样本上的损失。作者称它可能不稳定并损伤通用效用。
    • 带保留正则的遗忘:Liu et al.(2022a)用梯度差,Maini et al.(2024)用KL惩罚,以保留数据正则化遗忘目标。
    • 任务向量与表示改向:Ilharco et al.(2023)的Task Arithmetic从预训练模型减去微调任务向量;Li et al.(2024)的RMU把选定中间表示导向随机目标。作者称这些方法都假设能集中访问遗忘与保留数据,不直接处理数据本地性下的分布式删除。

    适配器与模型合并

    • TIES与KnOTS:Yadav et al.(2023)的TIES-Merging用修剪、符号冲突消解和选择性合并减轻干扰;Stoica et al.(2025)的KnOTS用联合SVD把适配器对齐到共享子空间。
    • Fisher加权平均:Matena and Raffel(2022)用对角Fisher估计参数重要性,并按重要性加权平均参数。
    • 联邦或模块选择中的Fisher:Liang et al.(2026)的UniFLoW处理多模态联邦LoRA中,分别平均低秩因子与平均诱导权重更新不一致的问题。Cao et al.(2026)的CrossEarth-Gate把经验Fisher聚成模块级分数,周期选择要训练的模块。作者称FIRM把Fisher用于另一目标,即合并角色相反的遗忘与保留更新。

    联邦遗忘

    • 常规模型:Liu et al.(2021)做选择性重构,Liu et al.(2022b)做快速重训,Wang et al.(2022)做类判别激活剪枝。
    • FedOSD:Pan et al.(2025)在迭代联邦遗忘中构造不干扰剩余客户端梯度的遗忘方向。作者称它依赖反复的客户端梯度访问,而FIRM每客户端只传一个任务向量和Fisher摘要。
    • LLM上的联邦遗忘:Zhang et al.(2026)的Oblivionis在迭代框架中组合联邦优化器与本地遗忘目标。Zhong et al.(2025)的FULM做分层TIES后再跨组求和。作者称FULM是协议最接近的框架,但其聚合未归一化,也无显式保留侧约束。

    基线与基准

    • 基线方法:AVG为全部任务向量的均匀均值,SUM为遗忘任务向量直接求和,TIES为遗忘更新的符号投票合并,FULM为组内分层TIES、组间求和。作者用相同训练条件与硬件复现,并称与原报告数值的差异可能来自未披露实现细节。
    • 基准:WMDP、TOFU、MUSE-HP;保留效用用MMLU。WMDP遗忘适配器采用RMU风格目标,TOFU与MUSE-HP用梯度上升。

    作者把本文与面向相容或合作目标的TIES、Fisher加权合并区分开,并用单轮Fisher归一化合并加保留约束投影,补FULM的聚合缺口,且服务器不访问遗忘或保留数据。

  3. 论文如何解决这个问题?

    FIRM用客户端Fisher做归一化合并,再用保留投影约束保留敏感参数。

    FIRM是单轮服务器端聚合:服务器广播预训练模型,客户端本地适应后各传一次摘要,服务器算出最终模型,不再通信。保留投影再限制沿保留敏感参数的更新。

    问题设定与本地编码

    • 共享初始参数为θ0。遗忘客户端持有待删数据,保留客户端持有待保全数据。任何时刻不向服务器传原始数据。
    • 本地适应用LoRA,适应权重为W+sBA,s=αLoRA/r。任务向量是各适应张量上vec(sBA)的拼接。遗忘客户端优化遗忘目标,保留客户端优化保全目标。
    • 客户端在共享预训练参考θF上估计对角经验Fisher:因果语言模型损失对每个参数的梯度平方的期望。Fisher只给非负敏感度,方向来自带符号任务向量。TOFU上,θF是专家适应之前的预训练骨干(附录C)。
    • 每个客户端只传一次(Δθc, Fc)。只有与任务向量对齐的Fisher坐标进入聚合。

    域内聚合与Fisher处理

    • 同一遗忘域的多个遗忘客户端先取均值,得到域级任务向量质心和Fisher质心。作者称这与FULM的TIES符号投票不同,均值保留相反符号,随后再做Fisher归一化合并。保留摘要保持分开,以便按客户端设约束。
    • 池化之后,服务器对每个遗忘域张量和每个保留张量独立做最大值归一化,再保留Top-αd,平局保留。α∈(0,1]是保留比例。池化先于归一化与稀疏化,二者一般不可交换。

    Fisher加权基合并

    • 直接求和会让聚合更新随贡献个数增长。FIRM按坐标把遗忘项与保留项分开做Fisher加权,分母是对应Fisher之和再加ε0。

    ΔΘraw(j)=(∑i F̃fi(j)Δθfi(j))/(∑i F̃fi(j)+ϵ0)+(∑k F̃rk(j)Δθrk(j))/(∑k F̃rk(j)+ϵ0)

    该式把每个坐标做成Fisher归一化加权,而不是把任务向量直接相加。作者称客户端增多时分子与分母一起缩放,合并更新不随客户端数成比例增大。

    • 再设ΔΘbase=γΔΘraw。γ>0控制遗忘与保留的权衡。后文把ε=∞、不做投影的版本称为FIRM-base,把有限ε的版本称为FIRM-QP。

    保留约束投影

    • 投影按选定权重张量独立进行。保留客户端k的代理是稀疏化Fisher加权的更新平方和的一半;平方避免方向抵消,并惩罚保留敏感坐标。ε是每客户端、每张量的预算,不是全局总和。
    • 原问题是在全部代理不超过ε时,找离ΔΘbase的ℓ2最近更新。作者称该问题严格凸,且零更新满足Slater条件,因此强对偶,且有唯一全局最优。

    ΔΘ∗(λ)(j)=(ΔΘbase(j))/(1+∑k λk F̃rk(j))

    该式是驻点给出的坐标收缩:保留敏感度越大,相对基合并缩得越多。

    • 作者给出三条关于精确每张量最优解的命题:最优解满足全部代理预算;它是满足这些约束、离基合并唯一最近的更新;对偶变量数为每张量的保留客户端数m,与张量维度d无关,但求值代价仍依赖d。这些保证针对精确最优,而不是每一次数值求解输出。
    • 实验实现与精确对偶不同。m=1用标量二分;m>1的报告流程只增加乘子。附录B称,只增乘子时,后一次增加可能使先前约束变松而乘子仍为正,因此满足代理预算并不证明最小距离最优,代理预算也不等于精确保留损失变化。达到迭代上限本身不证明可行。
  4. 论文做了哪些实验?

    作者报告WMDP与MUSE-HP的可比遗忘点上FIRM-base效用更高,TOFU则随指标而变。

    实验设置

    • 模型:主实验为Zephyr-7B-β,4-bit NF4加载。稳健性实验为Llama-3-8B-Instruct。LoRA秩r=16,αLoRA=32。Fisher在单独bfloat16副本上估计,每客户端20个batch,序列截断到512。
    • WMDP:6个遗忘客户端。Biology共1,273题、3片、约424题/客户端;Cybersecurity共1,987题、3片、约662题/客户端。1个保留客户端在MMLU随机600样本上训练。遗忘适配器用RMU风格目标,更新第5–7层down_proj;遗忘项由遗忘客户端优化,保留由单独保留客户端和服务器合并处理。随机猜测为25%。
    • TOFU:先在全量TOFU上微调,200位虚构作者、4,000个QA。5个遗忘客户端分得forget01,共40个QA、2位作者。1个保留客户端用retain90的200样本。遗忘适配器对全部线性层做梯度上升。
    • MUSE-HP:Llama-3-8B上3个遗忘客户端,各在MUSE-Books原始划分的1,676段不相交分片上训练,每段约4,096字符。遗忘评测为forget_qa的100个KnowMem QA,指标ROUGE-L。该设置的Utility评测写明为MMLU 14,042题。全部线性层梯度上升。
    • 基线、变体与硬件:AVG、SUM、TIES、FULM,训练条件与硬件相同。FIRM与FULM各自扫描γ,数值区间不可直接对比。ε0=10^{-8},Top-10%(α=0.1)。Table 1–4为FIRM-base(ε=∞)。匹配遗忘的QP使用ε=4.1×10^{-5},更紧预算为10^{-5},求解最多500次迭代。GPU为NVIDIA RTX PRO 6000 Blackwell Max-Q(96 GB)。
    • 指标与重复:Bio↓、Cyber↓为WMDP准确率;HP↓、Forget↓、Retain↑、Real Authors↑、Real World↑为ROUGE-L;Utility↑为MMLU准确率。论文未写LLM评审。主表未写明WMDP所用MMLU题数。附录D.1写明未估计多种子不确定性。

    主结果

    下表只列作者用于可比遗忘或零ROUGE-L讨论的行,均为无QP的基合并。γ按方法分别选取。

    表格较宽,可左右滑动

    基准 / 模型方法与γ遗忘指标Utility↑
    WMDP / Zephyr-7BFULM,0.17Bio 43.13%,Cyber 31.76%45.88%
    WMDP / Zephyr-7BFIRM-base,1.00Bio 42.42%,Cyber 31.91%48.29%
    MUSE-HP / Llama-3-8BFULM,0.20HP 0.00%57.52%
    MUSE-HP / Llama-3-8BFIRM-base,1.60HP 0.00%58.57%
    TOFU / Zephyr-7BFULM,1.0Forget 71.85%,Retain 95.51%37.35%
    TOFU / Zephyr-7BFIRM-base,16.0Forget 70.00%,Retain 95.55%36.44%
    • 作者报告WMDP上Bio约43%时,FIRM的Utility比FULM高2.41个百分点,Cyber为31.91%对31.76%。Table 1中FULM在γ≥0.2后Utility降到23–36%,γ=0.30与0.40被标为效用坍塌(≤25%);FIRM从γ=0.5的54.19%降到γ=1.2的40.43%。Figure 2图注称所讨论的可比遗忘点有利于FIRM,连线不建立均匀占优。
    • Table 4中,HP=0%时作者称FIRM相对FULM在已评零ROUGE-L设定里高1.05个百分点。作者同时称γ的数值区间依赖方法,本身不说明对缩放更不敏感。
    • Table 3上作者称权衡依赖指标。上表这一对中,作者报告Real Authors高2.50分,但FULM的MMLU与Real World更高(75.93%对72.76%)。FIRM在所评尺度上Retain保持在94%以上;FULM从γ=1.0到2.5,Retain从95.51%降到67.84%,Real Authors从44.65%降到23.20%。

    尺度匹配的合并基线

    • Table 2所列设定中,作者称FIRM的Utility 48.29%最高。同表AVG scale=1.00为24.18%,TIES topk=0.50为22.80%,SUM scale=0.05为43.06%。作者称这些行的输入与调参不同,不是统一的尺度匹配规则。
    • Table 6在共享再生成检查点上、无QP,单独调尺度。密集均匀平均γ=0.30的MMLU为48.58%,FIRM-base γ=1.00为51.33%,作者称高2.756个百分点,Bio/Cyber绝对差为0.236/0.101个百分点。把FULM组间SUM换成MEAN后,FULM-MEAN γ=0.35的MMLU为53.77%,FIRM-base γ=0.60为54.38%,作者称高0.612个百分点,Cyber相同,Bio差0.157个百分点。这些检查点与Table 1不是同一次记录。

    保留投影

    • Table 7按Bio/Cyber绝对差匹配、不用MMLU选点。γ=1.5的FIRM-QP相对γ=1.1的FIRM-base,MMLU高0.669个百分点,Bio差为0,Cyber差0.201个百分点。γ=2.2对1.5时,作者称两侧遗忘都略强,MMLU高1.723个百分点。ε收到10^{-5}后,三组报告对比的MMLU高0.249–1.453个百分点。作者称这是局部改进,不是整条扫描上的均匀占优。
    • 附录D.5保留了效用差为负的近匹配:Q/F在γ=0.5/0.5时ΔMMLU为-0.114个百分点,T/Q在γ=2.6/2.4时为-0.883个百分点。Table 15在固定γ=1.0收紧ε时,Utility从ε=∞的48.16%升到ε=10^{-5}的53.45%,Bio从42.97%升到55.07%,Cyber从31.96%升到38.85%,遗忘变弱。该无QP参照与Table 1同一γ的记录不同;作者称现有记录不能确定差异来源。

    更新幅度与跨模型

    • Table 9固定γ(FULM为0.15,FIRM为1.0)且无QP。n=1时FULM的Utility为54.22%,高于FIRM的52.68%。n=3时FULM范数为1.86(相对n=1为×2.6)、Utility 24.03%,FIRM为2.78(×1.7)、Utility 39.10%。Figure 3图注称相等γ下FIRM范数更小,并称性能比较仍需调γ并匹配遗忘。
    • 附录A.1的跨模型扫描未启用QP(ε=999)。Table 11中,MUSE-HP/Zephyr-7B上FIRM γ=0.30的HP为0.06%、MMLU为50.98%,FULM γ=0.07为0.81%与47.35%,作者称效用高3.63个百分点。HP恰好为0时,FIRM γ=0.40的MMLU为49.34%,FULM γ=0.10为35.37%。作者称零ROUGE-L针对所评答案,不是完整删除知识的证明。
    • Table 12中,WMDP/Llama-3-8B上FULM为Bio 30.87%、Cyber 27.73%、MMLU 29.65%,FIRM为33.70%、27.08%、36.58%。作者称效用多6.93个百分点,Bio遗忘弱2.83个百分点,Cyber遗忘强0.65个百分点,并称这是带非零匹配间隙的权衡,不是等遗忘比较。

    其他消融与分析

    • Table 5、WMDP、Zephyr-7B、γ=1.0:去掉求和归一化后为63.00%/40.01%/54.37%,接近预训练63.08%/40.11%/54.46%。作者称这不说明独立重缩放变体也会如此。
    • 同表:均匀权重与完整Fisher(α=1.0)均为24.82%/25.87%/24.54%,被标为效用坍塌;Top-20%为34.64%/29.59%/42.92%,Top-10%为42.42%/31.91%/48.29%。作者称稀疏化同时改变支撑与更新幅度。
    • 附录D.3在相同Top-10%掩码并把非Fisher更新缩放到相同ℓ2范数后,γ=1.1时Bio同为42.97%,Cyber为32.76%/32.56%,MMLU为49.76%/49.94%;作者称两种权重都不占优观测前沿。
    • Table 8:m=1、2、3时全部保留乘子为正,投影后最大代理损伤分别到1.0×10^{-4}、5.7×10^{-5}、6.3×10^{-5};Utility(无QP/有QP)为48.16/51.69%、47.63/51.66%、47.67/52.12%。求解时间0.77、0.99、1.66秒。作者称m>1不证明最小距离最优。
    • Table 13:所测WMDP配置中Fisher估计15.96分钟/客户端;服务器FIRM合并217秒,FULM 547秒,保留校正1.2秒。训练/Fisher峰值显存19.7/38.4 GB。
    • 附录D.1:17个FIRM-base与33个均匀设定的观测步包络,范围归一化面积差为Bio 1.268个百分点、Cyber 2.326个百分点。作者称这些网格摘要不建立统计显著性或均匀占优。
  5. 有什么可以进一步探索的点?

    作者称Fisher代理并非精确保留损失,并计划考察更大规模与混合角色。

    作者指出的局限与后续方向

    • 代理而非精确损失(Limitations):FIRM约束二阶经验Fisher代理,而不是精确的保留损失变化;保真度取决于对角经验Fisher在多大程度上代表局部保留损失曲率。作者称在代理与真实损失变化之间建立更紧的界,仍是理论方向。
    • 规模与异构性(Limitations):评测覆盖两个模型族以及WMDP、TOFU、MUSE-HP,含WMDP与MUSE-HP的跨模型测试。作者称超出8B、更多模型族,以及更广客户端与域异构性上的验证,仍是未来工作。
    • 单角色(Limitations):一次请求中每个客户端只有一种角色。作者称同时持有待删数据与保留数据的混合角色客户端留待未来工作。
    • 信任假设(Limitations):协议假设可信中心服务器和honest-but-curious客户端。作者称对篡改Fisher统计、投毒任务向量、客户端掉线,以及完全去中心化聚合的稳健性仍未解决。
    • 后续计划(Conclusion):作者计划考察更大模型、混合角色客户端、更广异构性,以及Fisher代理控制与实际保留之间的关系。

    实验覆盖范围

    • 被测模型为Zephyr-7B-β与Llama-3-8B-Instruct。主配对是WMDP和TOFU用Zephyr-7B、MUSE-HP用Llama-3-8B;附录A.1另报MUSE-HP/Zephyr-7B与WMDP/Llama-3-8B。
    • 第5.1节的遗忘客户端数为WMDP 6个、TOFU 5个、MUSE-HP 3个,主结果各有1个保留客户端。Table 8另报m=1、2、3,Table 9另报n=1、2、3。
    • 对照包括AVG、SUM、TIES、FULM,以及附录D的尺度调优均匀平均、FULM-MEAN、支撑与范数匹配的均匀权重。Table 1–4是无投影的FIRM-base;QP对比在第5.6节和附录D。
    • 指标为准确率与ROUGE-L。论文未报告LLM评审或人工评估。附录D.1写明未估计多种子不确定性,并称该节网格包络不建立统计显著性。
    • 附录B写明m>1的只增乘子过程不证明最小距离最优,代理预算也不约束精确保留损失变化。跨模型扫描使用未启用的QP(ε=999),作者称它们不分离连续Fisher加权。
  6. 总结一下论文的主要内容

    FIRM单轮合并遗忘与保留适配器;在WMDP、MUSE-HP的部分可比点上作者报告更高效用。

    FIRM是单轮、服务器不见原始数据的联邦LLM遗忘合并方法。

    遗忘客户端与保留客户端的更新角色相反。作者把未归一化跨客户端求和造成的幅度增长称为magnitude explosion,并认为更强遗忘下它会连同通用能力一起压低保留效用。

    服务器先对同一遗忘域取均值,再按坐标用Fisher对角分别归一化遗忘项与保留项,并以γ缩放。可选的二阶投影把每张量、每保留客户端的Fisher扰动代理限制在预算ε内,并取离基合并最近的更新。精确解的对偶规模随保留客户端数、而不是参数维度增长。Table 1–4对应不做该投影的FIRM-base。

    作者报告的可比点包括:WMDP、Zephyr-7B上,FIRM-base γ=1.00的Bio/Cyber/MMLU为42.42%/31.91%/48.29%,FULM γ=0.17为43.13%/31.76%/45.88%(Table 1)。MUSE-HP、Llama-3-8B上,HP=0时MMLU为58.57%(FIRM,γ=1.60)与57.52%(FULM,γ=0.20)(Table 4)。TOFU、Zephyr-7B上,FIRM γ=16.0的Forget/Retain/Real Authors/MMLU为70.00%/95.55%/47.15%/36.44%,FULM γ=1.0为71.85%/95.51%/44.65%/37.35%(Table 3)。

    作者的结论是,尺度匹配比较支持该组合在所报告操作点上超出只做全局重缩放,匹配遗忘比较支持保留校正在部分点另有收益;TOFU上权衡依赖指标。作者计划继续考察更大模型、混合角色客户端,以及代理与真实保留损失的关系。

相关论文

共同使用 TOFU
再看 3 篇
共同使用 TOFU
阅读原文arxiv.org