从事实到人设:基于混合专家的 LLM 可解释角色遗忘
From Facts to Personas: Interpretable Role Unlearning in LLMs via Mixture-of-Experts
作者提出角色扮演遗忘任务与 ROLEMOE 框架,作者称其在两个 7–8B 骨干上比 LORAMOE 取得更低 ODS 并更抗再诱导攻击。
防御方目标:从已微调的 role-playing MoE LLM 中选择性遗忘目标角色的风格与知识(forget set Df),同时保留非目标角色与通用能力(retention set Dr)。
- role-playing LLM 模仿角色风格的能力可能带来隐私、偏见和不安全输出风险;已有遗忘方法主要删除事实级知识,难以处理角色级的风格与行为分布。
- 提出 Role-playing Unlearning 任务与 ROLEMOE:在 LoRA-MoE 上加入角色-上下文门控、角色专门化损失和专家解耦损失做两阶段训练,再把遗忘目标集中于目标角色专家;并构建 RoleBench-Unlearn 评测。
- 在两个骨干和多种遗忘算法上,ROLEMOE 的 ODS 均低于 LORAMOE(Table 1/2);再诱导攻击下遗忘集分数保持低位,而 LORAMOE 出现回升(Table 3);MMLU 准确率不劣于基线(Table 5)。
- 作者指出实验仅覆盖英文 RoleBench 数据,指标可能无法完整捕捉风格移除与残留泄漏;实验只用 2 个 7–8B 骨干、15 个角色、每角色 100 条样本,遗忘集默认 2 个角色。
- 威胁模型
- 防御方目标:从已微调的 role-playing MoE LLM 中选择性遗忘目标角色的风格与知识(forget set Df),同时保留非目标角色与通用能力(retention set Dr)。操作者掌握模型参数并进行微调与遗忘训练;论文未设定外部攻击者,另测了用角色特定诱导指令复活角色的 re-induction attacks。
- 被测模型
- LLaMA-3-8B-InstructQwen2.5-7B-Instruct
- 基准
- RoleBench-UnlearnMMLU
- 指标
- ROUGE-LLLAJODSDistinct-npersona-marker frequencyMMLU accuracy
研究者提出角色扮演遗忘(Role-playing Unlearning)任务和 RoleMoE 混合专家框架,让 LLM 选择性遗忘目标角色的风格与知识,同时保留其余角色的语言能力与行为,以应对角色模仿可能带来的隐私风险、社会偏见和不安全输出;不同于以往只删除事实信息的遗忘任务,该任务还要求遗忘人设特有特征。RoleMoE 将不同角色映射到更独立的专家子空间,专业化损失促使各角色采用不同的专家分布,解缠损失促使专家形成不同的能力子空间,使遗忘聚焦目标角色的专家并提升结构可解释性;同时发布 RoleBench-Unlearn 评测基准。在多个骨干 LLM 上的实验显示,RoleMoE 能精确、可控地遗忘目标角色,并更好保留非目标角色的语言质量、知识与角色一致性。代码与数据集公开于 https://github.com/mbzuai-nlp/ROLEMOE。
深度解读
这篇论文试图解决什么问题?
作者提出角色扮演遗忘任务:选择性遗忘目标角色的风格与知识,同时保留其余角色能力。
核心问题:如何从 role-playing LLM 中选择性遗忘目标角色的整体风格与知识分布,而不损伤其他角色和通用能力。
- 场景与动机:作者称,LLM 模仿角色语言和行为模式的能力可能带来隐私风险、强化社会偏见,并产生与特定角色人设绑定的不安全或不可控输出。
- 现有方法的不足:作者称,已有机器遗忘工作主要删除事实级知识(如隐私信息或有害内容),但角色扮演中的不当行为还来自人设级分布,仅删除孤立事实不够。
- 核心观察:作者的预实验称,标准 LoRA-MoE(LORAMOE)存在三个问题:路由与角色无关(role-agnostic routing)、专家表示高度纠缠(expert entanglement)、遗忘时误伤保留角色(collateral damage),见 Figure 2–5。
- 论文提出:Role-playing Unlearning 任务;ROLEMOE 框架(角色-上下文门控 + 两个解耦损失);评测基准 RoleBench-Unlearn。
- 威胁模型:
- 防御方目标:从已微调模型中移除 forget set Df 中目标角色的人设特质与知识,保留 retention set Dr 中的角色与通用能力。
- 知识与能力:操作者掌握模型参数,可进行微调与遗忘训练;论文未设定外部攻击者。
- 受害系统:在 RoleBench 数据上微调的 LoRA-MoE role-playing LLM。
- 鲁棒性检验:另用 re-induction attacks(角色特定诱导指令)检验遗忘后角色是否会被重新激活(附录 E.3)。
有哪些相关研究?
相关工作分三组:role-playing LLM、MoE LLM、LLM 机器遗忘;作者称本文把 MoE 结构用于角色级遗忘。
Role-playing LLM
- in-context learning 路线——ChatHaruhi(2023)、Character-LLM(2023)、RoleLLM(2024)等通过上下文学习实现角色扮演。
- 微调路线——Lu et al.(2024)、OpenCharacter(2025)、Zhao et al.(2025)等通过微调赋予预训练模型角色扮演能力。
- 论文指出,这些 role-playing 工作忽视了对角色风格与行为过拟合的风险,可能触发隐私泄漏、偏见放大和不安全生成。
Mixture-of-Experts LLM
- MoE 架构——Shazeer et al.(2017)、DeepSeekMoE(2024)等将 LLM 实现为可专门化的专家集合;MoP(2025)用 mixture-of-personas 架构做行为模拟。
- SEUF(2025)——通过识别并修改特定专家来遗忘目标知识,是较早把 MoE 用于遗忘的工作。
- 论文指出,现有 MoE LLM 存在 routing agnosticism 与 expert entanglement,使针对性的角色扮演遗忘变得困难。
LLM 机器遗忘
- 优化类方法——GA(2023)在遗忘集上做梯度上升;GD(2024)用遗忘集与保留集之间的梯度差目标;另有 WGA(2025)、NPO(2024)、SimNPO(2025)、RMU(2024)。
- 论文指出,这些方法面向 dense LLM,难以选择性移除角色特有的知识与风格;SEUF 这类专家选择方法依赖能力良好分离的专家,而角色扮演场景下专家行为并未干净解耦。
基线与基准:结构基线为 LORAMOE(标准 LoRA-MoE);遗忘算法基线为 GA、GD、WGA、NPO、SIMNPO、RMU、SEUF、Task Vectors;评测基准为本文构建的 RoleBench-Unlearn(源自 RoleBench),通用能力用 MMLU。
作者将本文定位为:把 MoE 的结构化解耦用于角色级(分布级)遗忘,而非事实级删除,并称这是对此前工作的补充。
论文如何解决这个问题?
ROLEMOE 分两阶段:先做角色解耦微调(门控+两个损失),再把遗忘更新集中于目标角色专家。
整体思路:先在 LoRA-MoE 架构上把不同角色映射到更独立的专家子空间(Stage I),再对目标角色相关专家施加遗忘目标(Stage II),框架名为 ROLEMOE。
问题形式化
- 角色扮演生成:模型以用户查询 q 和目标角色 r 为条件采样回复 y,r 来自预定义角色集合 U。
- 架构:每层含冻结骨干与 N 个 LoRA 专家,专家输出经 softmax 门控加权组合,o = xW0 + ∑i=1N Gi(x) · Ei(x),其中 W0 为冻结骨干权重。
- 遗忘目标:Lunlearn = −Lforget(θ; Df) + Lretain(θ; Dr),即在遗忘集上最大化损失、在保留集上最小化损失,两者均为标准交叉熵。
Stage I:角色解耦微调
- Role-Context Gating:门控同时接收上下文嵌入 x 与可学习的角色嵌入 ur,logits 为 h = xWg + urWu,使相似上下文下的 token 也能按角色路由到不同专家子集。
- 专门化损失 Lspec:定义为不同角色平均门控分布之间两两 KL 散度的负和,最小化它促使各角色使用不同的专家分布。
- 专家解耦损失 Ldis:把每个专家的 LoRA 更新矩阵 BiAi 展平为向量,对所有专家对的余弦相似度平方求和,惩罚方向相似性以促使专家占据正交子空间。
- 总目标:Lfinetune = Lce + λspec·Lspec + λdis·Ldis,默认 λspec = 0.5、λdis = 0.05。
Stage II:选择性角色遗忘
- 在 Stage I 得到的模型上施加遗忘目标;作者指出,遗忘损失对某专家参数的梯度被门控权重 G(x, uf) 加权,因此更新天然集中于目标角色激活的专家。
- 作者称解耦表示可减少对非目标角色专家的干扰:Figure 7 显示保留集路由变化有限,Figure 8 显示保留集专家特征相似度高。
评测设计
- RoleBench-Unlearn:从 RoleBench 选 15 个角色,按风格辨识度与类别多样性挑选;每角色均匀采样 100 对指令-回复,共 1,500 条;保留集 13 角色 1,300 条,遗忘集 2 角色(Alvy Singer、Mater)200 条(附录 C)。
- 指标:ROUGE-L 与 LLM-as-a-Judge(GPT-4o-mini,0–10 分,五个维度:identity、emotion、knowledge、semantics、personality);ODS 把六项指标归一化后计算与理想点(保留=1、遗忘=0)的欧氏距离,越小越好。
- 训练设置:3 个专家、LoRA rank 8、α = 16,AdamW;微调 2 epoch、学习率 2e-4,遗忘学习率 2e-5;完整流程见附录 B 的 Algorithm 1。
论文做了哪些实验?
在两个骨干、八种遗忘算法上,ROLEMOE 的 ODS 均低于 LORAMOE,且更抗再诱导攻击。
实验设置
- 被测模型:LLaMA-3-8B-Instruct 与 Qwen2.5-7B-Instruct 两个骨干,各自实现 LORAMOE 与 ROLEMOE 两种结构。
- 数据集:RoleBench-Unlearn,15 角色共 1,500 条样本(保留集 13 角色 1,300 条,遗忘集 2 角色 200 条);通用能力用 MMLU 随机抽 500 题。
- 基线:结构基线 LORAMOE;遗忘算法 GA、GD、NPO、SIMNPO、RMU、WGA、SEUF,另与 Task Vectors 单独对比(附录 E.4)。
- 指标与评审:ROUGE-L;LLAJ 由 GPT-4o-mini 按 0–10 分打五个维度;ODS 综合保留与遗忘质量,越低越好。
- 统计检验:Tables 1、2、4、5、6 中粗体表示相对对应基线的 t 检验 p < 0.05;论文未报告重复次数。
主结果
据 Table 1(ODS,越低越好;R-L 为遗忘集 ROUGE-L,越低越好):
表格较宽,可左右滑动
骨干 方法 LORAMOE ODS ROLEMOE ODS ROLEMOE 遗忘集 R-L LLaMA-3-8B GA 99.94 74.95 0.00 LLaMA-3-8B GD 59.68 39.43 1.11 LLaMA-3-8B NPO 44.75 37.08 3.37 LLaMA-3-8B SEUF 77.26 54.23 11.42 Qwen2.5-7B GA 99.98 59.92 0.15 Qwen2.5-7B GD 40.83 38.52 0.75 Qwen2.5-7B NPO 61.12 40.90 5.72 Qwen2.5-7B SEUF 81.34 53.04 11.76 - 作者称,ROLEMOE 在两个骨干、所有受测遗忘算法上 ODS 均低于 LORAMOE,且保留集表现普遍更好(完整八算法结果见 Table 2)。
- 微调阶段 ROLEMOE 也更好:LLaMA 上保留集 ROUGE-L 从 22.43% 升至 24.83%,知识分从 7.82 升至 8.13(Table 1)。
- 例外:GA 在两种结构上遗忘集分数都接近 0,但保留集也接近崩塌(LORAMOE 保留集 R-L 仅 0.17/0.02),ODS 接近 100。
再诱导攻击鲁棒性
- 测了什么:在 Qwen2.5-7B 上对遗忘后模型施加角色特定诱导指令,检验人设是否复活(附录 E.3,Table 3)。
- 结果:GA 设置下 LORAMOE 遗忘集 ROUGE-L 从 0.02(Unlearned)升至 8.25(Attack);ROLEMOE 从 0.15 变为 0.09。RMU 设置下 LORAMOE 从 10.56 升至 16.05,ROLEMOE 从 4.89 变为 4.72。
- 作者解读:作者称 ROLEMOE 的遗忘更彻底,减少了不想要行为的复发。
评审可靠性与其他分析
- 评审一致性:随机抽 100 条 SimNPO+LLaMA 输出(保留/遗忘各 50),GPT-4o-mini、GPT-4o、Claude-3.5-Sonnet 与人工评分的 Pearson 相关系数分别为 0.891、0.932、0.927(Figure 13);人工评分由论文作者完成(NeurIPS checklist 第 14 条)。
- 通用能力:MMLU 上 ROLEMOE 均不低于 LORAMOE,如 Qwen2.5-7B 上 GD 设置 0.74 对 0.63(Table 5)。
- Task Vectors 对比:ODS 为 80.12(LLaMA)与 80.55(Qwen),高于 ROLEMOE 的 37.08–40.90(Table 4)。
- judge-free 分析:GD+LORAMOE 的 Distinct-1/2 降为 0;WGA+LORAMOE 的 Distinct-1 达 0.7742,远高于参考范围(Ground Truth 0.1944);ROLEMOE 更接近参考范围(Table 8)。
其他消融与分析
- 组件消融(Table 6):去掉 Wu、Lspec 或 Ldis 均使 ODS 升高,如 LLaMA+GD 下去掉 Wu 从 39.43 升至 58.31。
- 专家数量(Figure 10):N ∈ {3,5,7,9} 时 ROLEMOE 均优于 LORAMOE,作者称相对 ODS 降幅 1.8%–33.9%。
- 遗忘集规模(Figure 14):F ∈ {2,4,6} 时 ROLEMOE 均更低,F=4 时相对降幅最高 46.66%(LLaMA+RMU);作者称 F=6 时绝对差距缩小。
- 超参数(Figure 11):增大 λspec 持续降低 ODS;GD 与 NPO 对较大的 λdis 敏感,RMU 与 WGA 较稳健。
- 可解释性:t-SNE 下 ROLEMOE 的专家表示形成更分离的簇,LORAMOE 的专家重叠较多(Figure 12,Qwen2.5-7B)。
有什么可以进一步探索的点?
作者列出语言覆盖与指标两条局限,并计划扩展到属性级遗忘、多语言与更大 MoE 模型。
作者指出的局限与后续方向
- 语言与文化覆盖:实验仅基于英文 RoleBench 数据,未评估多语言、代码混合或文化多样场景;作者称扩展到更多语言、文化与人设类型是后续方向(附录 A)。
- 指标覆盖:评估主要依赖 ROUGE-L、LLAJ 与 ODS,作者称这些指标可能无法完整捕捉风格移除、安全性与残留角色泄漏的所有方面,未来可探索更丰富的自动指标(附录 A)。
- 后续方向:作者计划把 ROLEMOE 扩展到更细粒度的属性级遗忘、多语言角色扮演和更大的 MoE 模型(Section 7)。
- 双重用途:作者称类似技术若缺乏监管,也可能被滥用于移除有益的安全行为或防护机制(附录 A)。
实验覆盖范围
- 被测模型为 LLaMA-3-8B-Instruct 与 Qwen2.5-7B-Instruct 共 2 个骨干(Section 5.1)。
- 评测数据为 RoleBench-Unlearn:15 个角色、每角色 100 条样本,遗忘集默认 2 个角色,另有 F ∈ {4, 6} 的扩展设置(附录 C、E.2)。
- 遗忘算法覆盖 GA、GD、NPO、SIMNPO、RMU、WGA、SEUF 与 Task Vectors 共 8 种(Section 5.1、附录 E.4)。
- 评审为 GPT-4o-mini;与人工评分的一致性在 100 条样本上验证,人工评分由论文作者完成(Figure 13、NeurIPS checklist)。
- 论文未报告主实验的重复运行次数;再诱导攻击仅在 Qwen2.5-7B 上进行(附录 E.3)。
总结一下论文的主要内容
作者提出角色扮演遗忘任务、ROLEMOE 框架与 RoleBench-Unlearn,作者称其实现更精准的角色遗忘。
一篇关于 role-playing LLM 可控遗忘的论文,提出新任务、新框架与新基准。
- 问题:作者称角色扮演能力带来隐私、偏见与不安全输出风险,而已有遗忘方法只删事实级知识,无法处理人设级的风格与行为分布。
- 方法:ROLEMOE 在 LoRA-MoE 上引入角色-上下文门控、角色专门化损失与专家解耦损失,把角色映射到独立专家子空间,再将遗忘更新集中于目标角色专家。
- 基准:RoleBench-Unlearn 含 15 个角色、1,500 条样本,遗忘集 2 个角色,用 ROUGE-L、GPT-4o-mini 评审与 ODS 衡量。
- 主结果:在 LLaMA-3-8B 与 Qwen2.5-7B 上,ROLEMOE 在全部受测遗忘算法下 ODS 均低于 LORAMOE,如 LLaMA+NPO 为 37.08 对 44.75(Table 1)。
- 鲁棒性:再诱导攻击下 LORAMOE 遗忘集 ROUGE-L 从 0.02 升至 8.25(GA),ROLEMOE 保持低位(Table 3);MMLU 准确率不劣于基线(Table 5)。
- 作者结论:作者称 ROLEMOE 在结构可解释性、遗忘精度与能力保留之间取得平衡,并计划扩展到属性级遗忘、多语言场景与更大 MoE 模型。