大语言模型中的层定向多语言知识擦除
Layer-Targeted Multilingual Knowledge Erasure in Large Language Models
AI 导读
论文将大语言模型多语言遗忘的失败归因于干预层深度，并区分出两种失败模式：浅层干预能擦除目标知识，却会让其他语言的能力退化；深层干预能保留能力，却连源语言的目标知识都无法擦除。为此作者提出 MUTE 框架，用 Centered Kernel Alignment（CKA）和 Linguistic Regions Development Score（LRDS）定位跨语言表示收敛的中间层，并把遗忘更新限制在这些层上，从而只需在少量源语言上优化。实验在三种 LLM 架构和三种遗忘算法上验证了该方法，Logit Lens 探测显示是真正的知识移除，而非输出层面的抑制。