面向大语言模型遗忘的逐参数任务算术
Per-parameter Task Arithmetic for Unlearning in Large Language Models
AI 导读
研究者提出逐参数任务算术（PerTA），通过按参数重要性缩放任务向量，缓解大语言模型遗忘中的过度遗忘。该方法为每个参数估计其相对于遗忘与保留的重要性，并用梯度（PerTA-grad）或对角 Fisher 信息近似（PerTA-fisher）计算缩放权重。实验显示，PerTA 在遗忘效果和模型整体效用上稳定优于标准任务向量，在许多情况下也超过常用的基于训练的遗忘方法，同时保留任务算术的效率。