梯度上升真的必要吗？机器遗忘的“先记忆后遗忘”方法

研究提出用模型外推替代梯度上升（GA）实现机器遗忘，以避免反转训练导致的灾难性崩塌和通用任务性能下降。方法以原模型为参考，继续训练其记忆要遗忘的数据并保持其余保留数据预测一致，得到记忆模型，再向参考模型外推得到遗忘模型。该流程改用梯度下降训练记忆模型，作者称其简单高效、可稳定收敛并提升遗忘表现。