大语言模型遗忘(Unlearning)综述
A Survey on Unlearning in Large Language Models
AI 导读
研究者系统综述了 2021 年以来发表的 180 余篇大语言模型遗忘(unlearning)论文,提出按干预在 LLM 流水线中所处阶段分类的新框架,并区分参数修改与参数选择两类策略。评测部分从任务格式、内容与实验范式角度比较 18 个现有基准,将知识记忆度量分为 10 类并分析各自优势与适用性,同时综述模型效用、鲁棒性与效率指标。综述指出遗忘技术可在不损害整体性能的前提下选择性删除模型记住的敏感信息以符合法律标准,并讨论了当前挑战与未来方向。