Local Support Learning：无需旧数据缓解 LLM 灾难性遗忘

研究者提出 Local Support Learning（LSL），一种无需访问旧数据即可在梯度训练中保留模型原有能力的通用框架。LSL 将标准权重适配器与基于高斯混合模型（GMM）的门控函数配对，使更新仅作用于当前训练分布的输入激活，从而在多个训练阶段中同时保留预训练与微调能力。该方法在最高 70 亿参数的 LLM 上缓解了灾难性遗忘，且内存与计算高效、对超参数选择稳健，并展现出扩展潜力。