大语言模型中的多语言遗忘：迁移、动态与可逆性

核心问题：多语 LLM 中，用一种语言执行的遗忘是否会迁移到其他语言，被“遗忘”的知识是否真的被擦除。

• 场景与重要性：数据保护法规要求从 LLM 中删除个人信息，而多语模型服务多语言用户；作者认为若遗忘只作用于单一语言表面，攻击者可能换语言套取已删除内容。
• 现有研究不足：作者指出遗忘研究以英语为中心，跨语言迁移只有零星证据；遗忘更像抑制而非擦除的论证也主要在单语设置下做出，多语下是否可恢复、是否语言无关、定位于哪一层均不清楚。
• 核心假设：若遗忘主要调制后层的语言特定解码层，底层知识可能保持完整，并可经跨语言提示或换语言查询重新出现；若改变共享跨语言表示空间，则遗忘保证更强。
• 论文贡献：作者把 TOFU 扩展到五种语言，系统刻画跨语言遗忘迁移；用跨语言提示、逐层余弦相似度与 PCA 分析机制；并构造推理时转向向量恢复被遗忘知识，作者报告在 Qwen 上恢复 50%、Gemma 上恢复 90%。
• 威胁模型（恢复实验，Section 5）：
  • 目标：增加被遗忘内容的泄漏，恢复被抑制知识。
  • 知识：知道被遗忘的领域，但无法访问原始答案。
  • 能力：对 unlearned 模型有推理时（white-box）访问，可在前向传播中操纵内部激活。
  • 受害系统：经微调注入知识后又执行遗忘的多语 LLM（Qwen2.5-7B、Gemma2-9B）。

LLM 遗忘方法

• Jang et al. (2023)、Zhang et al. (2024)、Yoon et al. (2025) 等——通过修改微调目标做参数更新式遗忘，包括梯度上升（GA）与偏好类目标（DPO、NPO）；论文指出多项研究认为这类方法机制上更像抑制、因而可逆，恢复通常靠额外“重学习”或提供答案前缀。
• Ren et al. (2025)——按意图区分遗忘方法：移除内部知识 vs 抑制行为表达；论文据此聚焦参数更新式方法。
• Li et al. (2024)、Huu-Tien et al. (2025)、Shen et al. (2026)——表示层面的遗忘（representation misdirection），微调中间层表示。

多语模型与跨语言迁移

• Pires et al. (2019)、K et al. (2020)——多语预训练产生共享表示，支持跨语言迁移，但迁移不均匀，同类型语言、共享文字时更强。
• Lim et al. (2025)、Wendler et al. (2024)——机制证据显示多语 LLM 可能在与主导预训练语言对齐的共享语义空间做中间处理，再映射到目标语言。

隐藏表示与激活转向

• Wendler et al. (2024)、Lim et al. (2025)、Jiang et al. (2025)——多语 transformer 呈三相结构：输入空间、中间层语言无关概念空间、语言特定解码空间。
• Rimsky et al. (2024)、Li et al. (2023)——推理时激活转向，用对比激活构造转向向量控制行为；Seyitoğlu et al. (2024) 用转向取回匿名化概念。论文的区别：把遗忘前后的表示差当作机制性抑制方向，用作分析与干预工具。

跨语言遗忘的初步证据

• Lu & Koehn (2025)、Hwang et al. (2025)、Choi et al. (2024)——展示了个别的跨语言遗忘迁移效应；作者称自己首次给出系统性规律。

基线与基准：遗忘目标基线为 GA（Jang et al., 2023）与 NPO（Zhang et al., 2024），主方法为 DPO；评测基准为 TOFU（Maini et al., 2024）及其 1% forget split；恢复实验的基线为等范数随机高斯向量。作者定位：在迁移规律、逐层定位与免重学习的推理时恢复三方面区别于上述工作。

整体思路：先把英语 TOFU 扩成多语基准并定义多语遗忘协议，再依次做迁移测量（4.1）、跨语言提示（4.2）、隐藏表示分析（4.3）和转向向量恢复（4.4）四组实验。

多语 TOFU 与记号

• 数据扩展：TOFU 含 200 位虚构作者、每人 20 条 QA；作者用 Gemini-flash2.5 把英语 QA 翻译成中文、德语、俄语、土耳其语，得 L={EN, CH, DE, RU, TU}，各语言共用同一 forget/retain 划分。
• 语言属性设计：英德同语族同文字，土耳其语同文字不同语族，俄语同语族不同文字，中文两者皆不同，用于分离语族与文字的影响（脚注 3）。
• 遗忘规模：用 1% forget split（|Aforget|/|A| = 0.01），对应只删除少数个体信息的小样本遗忘场景。

微调与遗忘目标

• 微调：标准自回归目标 J_FT(θ) = 𝔼_{(x,y)∼ DFT} −log p_θ(y|x)，对每种微调语言组合各训一个 checkpoint。
• 遗忘：J_UN 在遗忘语言集合 Lunl 上平均 forget 目标，并加 retain 集上的正则项，权重 λ 控制权衡；从 θFT 初始化继续训练。
• DPO 实例化：每个 forget 样本构造偏好对，偏好响应为从 100 条语言特定拒答模板池动态采样的 IDK 式拒答，非偏好响应为原始答案；另加对冻结参考模型的 KL 惩罚（λ=1.0），每个 forget 样本随机配 10 条 retain 样本（附录 B）。
• 其他目标：另测 GA 与 NPO 以覆盖常见遗忘目标（附录 D）。

评测协议

• NLI 语义分：用 xlm-roberta-large-xnli 判断生成答案与标准答案是否互蕴含，公式含对称蕴含项与矛盾、中性惩罚项；作者认为它能捕捉词面不同但语义等价的泄漏。
• 迁移度量：报告遗忘后 forget 集 NLI 分相对微调模型的变化，负值越大遗忘越强；主实验在 5 个随机 forget 作者划分上重复，报告均值 ± 95% 置信区间。

机制分析与恢复方法

• 跨语言提示：查询语言为 q 时指示模型改用微调语言 ℓ 回答，测性能增益 ∆ℓ←q（提示模板见附录 G）。
• 表示分析：取最后一个 token 的逐层隐藏状态，计算同一问题跨语言表示的余弦相似度，并对 forget 集表示做 PCA；另用质心距离与平均成对距离量化遗忘引起的位移（附录 H.3）。
• 转向向量：用英语辅助 forget 集（由 retain 作者随机重排得到，不用真实 forget 集）计算 fun 与 fft 的逐层归一化表示差，得每层方向 g(l)；推理时在连续 N+1 层上从 fun 的隐藏状态减去 α·‖h‖·g(l)。Qwen 上 α=0.5（英、中）或 0.8（其余），N=2；Gemma 上 N=6，α 按语言网格搜索。α 与注入层直接在 forget 集上调，作者称此为最坏情况泄漏的上界估计。

实验设置

• 被测模型：Qwen2.5-7B 与 Gemma2-9B；主文结果多为 Qwen，Gemma 在附录 F.2、J 复现。
• 基准：TOFU 1% forget split，扩展至 EN、CH、DE、RU、TU；主实验在 5 个随机 forget 作者划分上重复（仅重训 unlearned 模型），报告均值 ± 95% CI。
• 遗忘方法：主文用 DPO；GA、NPO 在附录 F.3 验证迁移规律。
• 指标：NLI 语义分（xlm-roberta-large-xnli），报告遗忘后相对微调模型的变化，负值表示遗忘更强。
• 评审验证：4 名标注者（非英语语言为母语者）每语言标注 50 条，NLI 与人工总体一致率 89.0%（Table 7）；GPT-5 评审一致率 94–96%，ROUGE-L 为 62–68%（Table 8）。
• 算力：4 张 NVIDIA H100。

主结果

Table 1（Qwen2.5-7B，DPO）为 5 种微调语言 × 5 种遗忘语言 × 5 种查询语言的完整矩阵，下表按微调语言块各取代表性单元（完整数值见 Table 1）：

表格较宽，可左右滑动

FT	Unlearn	Query	Base	∆NLI
EN	EN	EN	93	-90 ± 3
EN	DE	EN	93	-17 ± 7
CH	CH	CH	82	-77 ± 2
DE	EN	DE	90	-41 ± 8
RU	RU	RU	95	-90 ± 7
TU	EN	TU	99	-55 ± 8
TU	TU	TU	99	-95 ± 1

• 语族与文字都影响迁移：作者称控制文字后英语向俄语（同语族）的迁移强于向中文；共享拉丁文字但不同语族的土耳其语向英、德的迁移强于向中文；语族与文字都共享时（英德）最强。
• 迁移不对称：作者称预训练覆盖高的语言（英、中）作为遗忘源迁移更强，低覆盖语言（德、俄、土）作为源较弱。
• 弱语言遗忘仍伤强语言：土耳其语微调模型在英语查询下 forget 集仅 11%，但用英语遗忘仍使土耳其语查询的 NLI 分降 55（Table 1 橙色单元）；作者假设概念在语言无关空间中被准确表示，遗忘主要抑制后层生成。

跨语言提示（4.2）

• 测了什么：查询语言 q 下指示模型用微调语言 ℓ 回答，测增益 ∆ℓ←q（Table 2，Qwen2.5-7B）。
• 结果：增益普遍为正，如英语微调时中文查询 +29、德语查询 +61、俄语 +30、土耳其语 +27；德语微调时英语查询 +33。
• 与迁移的关系：Table 2 增益与 Table 1 迁移分相关，Pearson r = 0.50（p < 0.05）、Spearman ρ = 0.60（p < 0.01）；作者解读为语言间隐藏映射越强，遗忘一方对另一方伤害越大。

隐藏表示分析（4.3）

• 余弦相似度（Figure 1）：跨语言提示（Panel 3）缓解了默认设置（Panel 2）后层相似度的下降；fun 与 fft 的曲线在早中层贴近、仅在后层分化。作者称性能差距主要来自解码瓶颈，遗忘主要作用于后层；作者同时注明余弦相似度不直接度量知识检索，解读限于表示几何趋势。
• PCA（Figure 2、6）：fbase 与 fun 从最早层即可分离；中文问题上 fft 与 fun 在第 10 层已分开，最后一层三个变体各成一簇；英语的 fft 与 fun 常留在同一簇内，但同一问题的配对表示距离仍大。作者解读为遗忘把表示推离微调态但不回到 base 分布，知识被重组或抑制而非移除。
• 距离分解（附录 H.3，Figure 7）：fft 与 fun 的质心距离跨层近似恒定（全局位移稳定），平均成对距离在输出层附近上升；中文在约 8–18 层出现质心距离尖峰，为例外。

转向向量恢复（4.4）

• Qwen（Figure 3 左）：仅用英语辅助集提取的向量，在中后层注入后恢复英语 forget 集过半损失性能，并跨语言恢复（中文最明显）；随机高斯向量仅有较小且不一致的增益（Figure 3 右）。摘要给出恢复比例：Qwen 50%、Gemma 90%。
• Gemma（附录 J，Figure 8）：作者称转向干预在各语言上几乎恢复微调模型的全部能力，强于 Qwen。
• 中文作源语言（附录 K.1）：最佳恢复分英语 68.21%、中文 49.89%、德语 41.67%、俄语 38.21%、土耳其语 56.15%。
• 其他遗忘方法（附录 K.2，Gemma2-9B）：GA 下最佳恢复 41.58%–80.60%（中文最高），NPO 下 51.49%–68.95%（英语最高），作者称可恢复性不限于 DPO。

其他消融与分析

• 多语言联合微调（附录 F.1，Table 9）：多语微调+多语遗忘组合下主趋势一致，如五语微调时用 ENCHRU 遗忘，英语查询 -94 ± 2、中文 -99 ± 1。
• Gemma 迁移（附录 F.2，Table 10）：单次运行、缩减组合，文字/语族与覆盖度不对称趋势一致。
• GA/NPO 迁移（附录 F.3，Table 11–12）：定性规律一致，绝对幅度因方法而异。
• Retain 集（附录 F.4，Table 13）：跨语言 retain 变化普遍很小、无一致模式，与 forget 集形成对比。
• 数据污染检查（附录 A，Table 3）：base 模型 ROUGE-L Recall 为 Qwen 0.44、Gemma 0.37，与 TOFU 原论文基线相当；作者称不能完全排除污染。

作者指出的局限与后续方向

• 算法覆盖有限（Section 5）：作者不声称结论适用于所有遗忘方法，把跨更多算法的比较留给未来工作；引用 Lu & Koehn (2025) 称结论可能扩展到更多基于微调的遗忘算法。
• 任务与规模限制（Section 5）：TOFU 是简单事实型查询、不需复杂推理，结论最好按小规模事实检索场景解读，未必迁移到更复杂内容或更大遗忘比例。
• 知识来源限制（Section 5）：TOFU 知识经后训练注入，结论可能不能完整刻画预训练获得知识的多语遗忘行为；作者把这一区分的系统研究留给未来工作。
• 数据污染不能完全排除（附录 A）：预训练语料未公开，时间线与基线分数检查不能彻底排除污染。

实验覆盖范围

• 被测模型为 Qwen2.5-7B 与 Gemma2-9B 两个；Gemma 迁移实验为单次运行、缩减的语言组合（附录 F.2）。
• 语言覆盖 EN、CH、DE、RU、TU 五种；遗忘目标覆盖 DPO、GA、NPO 三种，GA/NPO 仅限五种单语言微调设置且无重复划分（附录 F.3）。
• 遗忘规模为 TOFU 1% forget split；主实验重复 5 个随机 forget 划分。
• 评测为 NLI 自动评分，人工验证每语言 50 条、共 4 名标注者；论文未报告标注者间一致性。
• 恢复实验的 α 与注入层在 forget 集上直接调优，作者定位为最坏情况泄漏的上界估计（脚注 12）。

一篇关于多语 LLM 遗忘的分析论文，研究一种语言上执行的遗忘是否会迁移到其他语言、被遗忘知识是否真正被擦除。

• 问题：遗忘研究以英语为中心；多语部署下，单语言遗忘评估可能高估鲁棒性，攻击者或换语言套取已删除内容。
• 方法：把 TOFU 扩到 EN、CH、DE、RU、TU 五种语言（1% forget split），系统排列微调、遗忘、查询语言；用 DPO（另测 GA、NPO）遗忘，NLI 语义分评测；再做跨语言提示、逐层余弦相似度与 PCA 分析，并用辅助 forget 集提取的转向向量在推理时反向注入。
• 迁移结果（Table 1，Qwen2.5-7B）：遗忘跨语言迁移，同语族或同文字的语言间更强，预训练覆盖高的语言是更强的遗忘源；土耳其语微调模型上用英语遗忘使土耳其语查询 NLI 分降 55 ± 8。
• 机制结果：跨语言提示增益与迁移强度相关（Pearson r = 0.50）；遗忘前后表示在早中层贴近、仅后层分化，PCA 显示 fun 不回到 fbase 分布，作者据此认为遗忘是语言无关的抑制而非擦除。
• 恢复结果：单一转向向量在 Qwen 上恢复 50%、Gemma 上恢复 90% 的已遗忘知识（摘要）；中文作源语言、GA/NPO 下同样可恢复（附录 K）。
• 作者结论：多语评估应成为遗忘评估的核心部分；遗忘鲁棒性应在激活干预下衡量；结论限于小规模事实型遗忘与后训练注入的知识，完全移除知识很难，需要仔细验证。