Local Support Learning：无需旧数据缓解 LLM 灾难性遗忘

微调大预训练模型时，梯度更新会改写每个权重矩阵在全部输入上的映射，从而遗忘先前能力。

• 场景：先大规模预训练，再经指令跟随、RLHF、领域专门化等后训练。作者认为遗忘会覆盖预训练与先前微调得到的能力。
• 现有不足：回放、数据相关正则、与旧数据正交等早期方法，在预训练为万亿 token 且数据常不可得时难以实行。近期工作尽量少改预训练权重，但变化如何定义仍开放；只与先前微调子空间正交不能保住预训练能力，用权重 top-k 奇异向量近似预训练正交补，作者也认为不够（附录 C）。
• 观察：保持目标是更新只作用于当前阶段分布的支撑。作者称 Adam、Muon 仍产生作用在全部输入上的矩阵更新；旧输入与当前样本点积非零时，其 logits 被改写。
• 做法：提出 Local Support Learning（LSL）。常规适配器照常降损失，门只在当前训练分布的激活上启用适配器，因而不访问旧数据。阶段内数据 IID，阶段间流式学习，每阶段记忆必须有界，否则可用回放缓冲绕过问题。

论文按引言、第 2 节和附录 A 讨论相关工作。

后训练与遗忘的提出

• 大规模预训练后再做指令跟随、RLHF、领域与多语言适配（Wei et al., 2022; Ouyang et al., 2022; Rozière et al., 2024; Üstün et al., 2024）。作者引用 Biderman et al. (2024)：后训练可能覆盖预训练能力；LoRA 比全量微调忘得少，但仍遗忘，并降低学习容量。
• McCloskey & Cohen (1989) 提出灾难性遗忘。早期用回放缓冲、数据相关正则，或在与旧梯度/旧数据正交的子空间里优化（Kirkpatrick et al., 2017; Farajtabar et al., 2019; Saha et al., 2021）。作者认为代表预训练的回放不可行；Saha et al. (2021) 在小规模有效，完整预训练语料下不可行。

大模型上的保持方法

• LoRA（Hu et al., 2021）把更新放在低秩子空间。OP-LoRA（Xiong & Xie, 2025）与 Nayak et al. (2025) 把更新约束到与预训练权重 top-k 奇异向量正交的方向。作者认为 k 是启发式的，其余向量仍可能重要，附录 C 称该近似不够。
• O-LoRA（Wang et al., 2023）、InfLoRA（Liang & Li, 2024）让适配器彼此正交，只减轻微调阶段之间的遗忘。LwF（Li & Hoiem, 2017）在微调数据上蒸馏，惩罚相对基座输出的功能偏移。
• 作者认为这些方法的共同点，是把梯度更新作用到全部输入。

附录 A 的其他路线

• 回放类方法只能保护回放样本中的能力，且微调时近似预训练分布不现实。on-policy RL（Shenfeld et al., 2025; 2026; Chen et al., 2026）限于 RL，依赖上下文学习并需每步完整 rollout；作者认为与 LSL 互补。
• GRACE（Hartvigsen et al., 2023）用带延迟半径的激活键，WISE（Wang et al., 2024）按激活分数路由。作者称二者编辑单层上的单条事实；LSL 在完整微调数据上训练整个模型。

基线与基准

• 实验基线为 LoRA、OP-LoRA、LwF。作者排除不针对预训练保持的 O-LoRA，以及预训练设定下不实用的回放。新任务用 SecEval、chrF（英→Igbo）、ChemBench；预训练能力用 GSM8K、HumanEval、IFEval。

作者把本文定位为：不访问旧数据，用支撑估计把更新限制在产生该更新的输入区域，而不是只减少权重空间中的变化。

Local Support Learning（LSL） 在每个新阶段配对一个照常降损失的权重适配器，和一个估计当前数据支撑的门。推理时只把适配器加到落入该支撑的 token 激活上。

问题设定与全局更新

• 学习分 P 个阶段。形式化评测是全部阶段全部任务的平均表现。阶段内 IID 访问该阶段数据；阶段间必须流式进行，每阶段记忆有界。无此约束时，存下全部旧数据反复训练即可，但在预训练规模上不实用。
• 玩具设定（Fig. 2）：二维输入、六类，线性分类器，交叉熵。预训练四类后再微调另两类。继续全量训练会变形第一阶段决策边界。
• 对预训练样本，logits 变化与当前训练样本和该样本的点积成正比；点积非零就产生干涉。作者称 Adam 缩放梯度、Muon 正交化梯度之后，得到的仍是作用在全部输入上的矩阵更新。
• 标准微调相当于门始终打开。作者不再估计旧数据子空间，而估计当前数据所在区域，并把更新限制在该区域内。

理论动机

• 附录 E 在最坏测试分布下，把门的误差分成亏缺与过量。训练目标直接处理亏缺，对过量看不见。过量是训练分布之外、门却错误打开的区域，作者用来量化遗忘。
• 作者比较几类假设族后认为，密度估计可以恢复最优门，并分析了代价。训练点周围固定半径的球并，把过量限制在支撑外的壳层，但复杂度随 token 数增长。LSL 改用只随阶段数 P 增长的参数化门。
• 玩具实验用球并作为支撑。作者称模型完全适应微调分布，且与预训练分布零干涉，决策边界只在微调支撑附近改变（Fig. 2 右）。

GMM 门

• 每个权重矩阵单独一个门。Φpos 用 EM 拟合当前阶段输入，Φneg 拟合少量通用预训练样本。打开区域为 M={x∣Φ_pos(x)−Φ_neg(x)>0}，即似然更高的 GMM 胜出，从而不必再调全局阈值。
• 参考集不必与模型原来的预训练数据有关。作者称经验上不必超过 1M token，并称这约占 Qwen 预训练集的 0.0000067%。直觉是门不必盖住全部预训练支撑，只需估计分布宽度（Fig. 1 右）；高维里 Φneg 不必每个方向都更宽。
• 作者称常规 MLP 不适合这个门（Fig. 1）。逐 token 的 GMM 没有时间连续性，因此用指数滑动平均平滑，平滑值大于 0.5 才路由到该阶段适配器。作者称保留的主要来源是 GMM，平滑只是补充。

训练、推理与实现

1. 算法 1：先在参考数据上拟合 Φneg；每一阶段用梯度下降拟合适配器，再在挂上该适配器的模型上拟合 Φpos，然后装到基座上。先前阶段的适配器与 GMM 在当前训练时保持启用。
2. 训练数据都来自新任务，门保持打开，以免在适配器学到新表示之前初始化 Φpos。作者称这带来训练–推理不一致，但经验上不影响表现。适配器拟合与标准 LoRA 相同。
3. 算法 2 按 token、按模块：先算预训练权重输出，再对每个已见阶段计算门、做平滑，并决定是否加上该适配器。预填充可像 MLP 一样并行。
4. 附录 B：朴素持久内存随 P、层数、成分数和隐藏维的平方增长。加速把门输入用 Johnson–Lindenstrauss 压到更低维，并用对角协方差。附录 D 中投影维为 256。相同输入的矩阵可共享门，作者称在 Qwen/LLaMA 结构中门数量减少 43%。

实验设置

• 模型：主实验为 Qwen2.5-7B-Instruct。规模实验另有 Qwen2.5-3B-Instruct 与 1.5B-Instruct。除特别说明外，结果为 3 个种子平均（附录 D）。
• 任务与指标：网络安全用 SecEval 多选，英→Igbo 用 chrF，化学用 ChemBench 多选。Fig. 4 的纵轴是 GSM8K、HumanEval、IFEval 的平均分。Fig. 7 的保留率是微调前后表现之比。
• 基线与选择：LoRA、OP-LoRA、LwF。超参只按新任务验证表现选取，保留基准不参与选择。OP-LoRA 的 k 在 16、128、512 中选；LwF 的 KL 系数在 0.1、0.3、1.0、3.0、10.0 中选。
• LSL 配置：成分数在 16 与 32 中选，平滑系数在 0.1、0.3、1.0 中选。选定后，化学与网络安全的 Φpos 为 32，Igbo 为 16；Φneg 均为 32。学习率均为 1e-4。化学与 Igbo：batch size 32、秩 128、3 个 epoch；网络安全：batch size 16、秩 512、1 个 epoch（表 3）。
• 多阶段：顺序为 Igbo、化学、网络安全。学习率 1e-4，batch size 32，秩 128，Φpos 16 个成分，Φneg 32 个，平滑系数 0.1。每项评测样本上限 300。
• 未写明项：论文未写明各公开基准的全量样本量，也未写明 HumanEval 的 pass@k。效率实验在 Nvidia B200 上完成。

主结果

条件	报告结果	出处
无 GMM（Plain LoRA）	预训练分数 55.3，为基座的 76.6%	Fig. 11
LSL，无时间平滑	预训练分数 69.8，为基座的 96.6%	Fig. 11
LSL，有时间平滑	预训练分数 71.1，为基座的 98.8%	Fig. 11
多阶段 LoRA，任务 1 之后	预训练任务分数下降 44%	Fig. 5
多阶段 LoRA，任务 1 后再经两阶段	翻译分数下降 8%	Fig. 5
多阶段 LoRA，任务 2 后再经一阶段	化学分数下降 5%	Fig. 5
多阶段 LoRA，任务 1 后 zero-shot	网络安全分数下降 11%	Fig. 5

• 作者称 Fig. 4 中 LSL 在化学、英→Igbo、网络安全上都学到新任务，并保持接近最优的预训练保留；LoRA 能适应但三项都遗忘；OP-LoRA 与 LoRA 接近；LwF 好于基于权重的方法，仍落后于 LSL。散点坐标在文本中没有标出。Fig. 11 未写明下游任务，也未另行写明模型。
• 作者把基线遗忘归因于梯度更新作用在全部输入上。多阶段中作者称 LSL 在任务阶段结束后仍保住该任务增益，并避免网络安全在任务 1 之后的 zero-shot 下降；正文没有给出 LSL 在 Fig. 5 上的具体分数。
• 选择协议只优化新任务验证表现。作者称这样比较的是各方法在完整学习容量下的学习与遗忘取舍，该取舍在 Fig. 6 最明显。

超参与规模

• 测了什么：Fig. 6 扫描学习率、适配器秩和 batch size，图中标出 lr=1e-5 与 1e-4、rank=8/32/128、bs=8/16/32。Fig. 7 比较 1.5B、3B、7B 上微调前后预训练任务表现之比。
• 结果：正文没有给出这两张图各点的精确百分比。作者称 LSL 在全部扫描中以完整学习容量学习，且不牺牲预训练能力；常规微调则在学习与遗忘之间取舍。
• 作者解读：作者称 LSL 在所测规模都有效，且随规模提高；LoRA 也随规模提高，但更慢，并在每个规模都低于 LSL。

门控消融

• 局部性：Fig. 9 右用球并（UoS）和 MLP 替换 GMM。MLP 为两层隐层，维数 256 与 128（附录 D）。作者称 GMM 与 UoS 接近最优保留并满容量学习，非局部 MLP 的保留变差。UoS 约 5.67GB，GMM 共 13.8MB，基座权重约 14GB（bfloat16）。
• OOD 分类：Fig. 9 左是中间层上 MLP 减 GMM 的准确率差：化学正类 +3.8，Fineweb 负类 −0.0，GSM8K −20.4，HumanEval −14.4，IFEval −7.2。作者称 MLP 在分布内略好，在三项 OOD 预训练任务上更差。绝对准确率未给出。
• 单路由器：Fig. 10 用嵌入层后的一个门控制全部适配器。作者称它只恢复 LSL 新任务增益的 50–77%，并在网络安全上同时变差保留。作者将其主要趋势归于表层特征识别到的新任务 token 更少，且一次错误会传到每个适配器。

其他消融与分析

• Fig. 11：成分数少至 2 仍接近最优保留；正文未列出每个 K 的精确分数。平滑主要进一步降低预训练任务命中率。
• Sec. 4：门在 OOD 预训练任务 token 上约打开 16%，加平滑后约 5%。
• Fig. 8（B200，Qwen2.5-7B-Instruct）：推理 LoRA 411 ms、LSL 497 ms；内存 LoRA 77.0 MB、GMM 13.8 MB、LSL 90.8 MB；1M token 训练 LoRA 5:22、FitGMMs 8:23、LSL 13:45。作者称每阶段额外约 6.9 MB，并称加入 GMM 拟合使总训练时间变为 ×1.64。图中 13:45 等于 5:22 与 8:23 之和，与 13:45/5:22 不是同一个倍数。引言称内存不超过一个 LoRA 适配器，与 Fig. 8 的 90.8 MB 对 77.0 MB 并不相同。
• 表 1（化学数据）：ρk 在 k=512 时为 1.70%，k=128 为 0.44%，k=64 为 0.27%，k=16 为 0.12%，k=4 为 0.06%，k=1 为 0.02%。作者称至少 98.3% 的更新能量已在正交子空间，并以此来解释 OP-LoRA 接近 LoRA。
• 附录 H：化学微调模型上，分布内 LSL 与 LoRA 的逐 token 输出变化相近；预训练基准上 LSL 变化更小，作者称有时相差一个数量级。正文未给 KL 数值。
• 附录 I：全局半径的 UoS 表现不好。标定约束为 TPR 阈值 0.17、FPR 阈值 0.03，作者称该组给出最优结果。

作者指出的局限与后续方向

• 适配器不能并入基座权重，推理代价随阶段数 P 线性增长；该计算可并行，可用算力换推理时间。P 计的是阶段而不是任务，一个阶段内可以联合学习多个任务（第 6 节）。
• 理论动机针对单个权重矩阵；推广到完整多层网络有实验支持，但没有形式化结果（第 6 节）。
• LSL 依赖基座表示质量，因为门假设每一阶段的激活能被 GMM 刻画；规模实验中更大模型保留更好（第 6 节，Fig. 7）。
• 后续包括更大模型、其他模态、强化学习目标，以及数百个阶段。作者认为后者可通向目前因遗忘不可预测而在实践中避免的 test-time training，并可能把新知识存进权重而非上下文（第 6 节）。
• 作者还列出可继续探索的方向：其他局部门函数，以及更好的加速（第 6 节）。

实验覆盖范围

• 被测模型为 Qwen2.5-1.5B-Instruct、3B-Instruct、7B-Instruct；主实验与效率实验在 7B，结果为 3 个种子平均（第 5.1 节，附录 D，Fig. 8）。
• 新任务为化学指令、英语→Igbo、网络安全指令；预训练保持用 GSM8K、HumanEval、IFEval。多阶段顺序为 Igbo、化学、网络安全，每项评测样本上限 300（第 5.1 节，附录 D）。
• 对比基线为 LoRA、OP-LoRA、LwF。作者写明排除不针对预训练保持的 O-LoRA，以及预训练设定下不实用的回放缓冲（第 5.1 节，附录 A）。
• 超参扫描包括学习率、batch size、适配器秩，以及 GMM 成分数与平滑系数；选择只看新任务验证表现（第 5.1 节，附录 D，Fig. 6、Fig. 11）。
• 论文未报告 Fig. 4 与 Fig. 7 各点的精确坐标，未报告各公开基准的全量样本量与 HumanEval 的 pass@k，也未报告 Fig. 5 中 LSL 的具体分数。

LSL 是不访问旧数据、在后训练中保持先前能力的框架。

• 问题：梯度更新作用在权重矩阵的全部输入上；旧输入与更新不正交时，先前映射被改写。作者把保持目标定成：更新只留在当前阶段分布的支撑内。
• 方法：每个新阶段训练常规适配器，并用双 GMM 门决定是否启用。Φpos 拟合当前激活，Φneg 拟合少量通用预训练样本。训练时门打开；推理时按阶段加上被打开的适配器，并用滑动平均平滑决策。
• 结果：作者称在 Qwen2.5-7B-Instruct 上，LSL 能学习化学、英→Igbo 与网络安全，同时保住数学、代码和指令跟随，而 LoRA、OP-LoRA、LwF 不能同样兼顾。Fig. 11 中无 GMM 时预训练分数为基座的 76.6%，加平滑的 LSL 为 98.8%。Fig. 5 中 LoRA 的预训练分数在第一阶段后下降 44%，作者称 LSL 仍保留各阶段增益。
• 其余：作者称学习率、秩和 batch size 不再迫使学习与遗忘取舍（Fig. 6）。1.5B 到 7B 的保留率随规模提高，精确值未标注（Fig. 7）。GMM 额外内存 13.8MB（Fig. 8）。单路由器只恢复新任务增益的 50–77%（Fig. 10）。
• 作者结论：局部支撑更新可在多个后训练阶段保留预训练与已微调能力，内存不随 token 数增长。作者同时指出推理代价随阶段数增长、理论限于单矩阵，且依赖基座表示能否被 GMM 拟合。