机器遗忘审计:模型是否真正遗忘的系统性研究
Auditing Machine Unlearning: A Systematic Research on Whether Models Truly Forget
AI 导读
研究者提出一个机器遗忘审计框架,无需从头重训基线、训练大量影子模型或侵入式干预原始训练过程,即可检验遗忘算法是否真正消除指定数据的影响。作者称这是首个实用且通用的遗忘审计方法,灵感来自 proof of ignorance 概念。框架先以验证实验确认其可靠性与完备性,再在六个数据集和十种代表性遗忘方法上实验,能可靠区分成功与失败的遗忘。结果显示,基于重训和微调的方法即使目标数据仍留在原始数据集中也能实现有效遗忘;基于去优化的方法无法真正遗忘,反而降低模型性能;基于 Fisher/Hessian 的方法即使提供形式化认证也未能遗忘所请求数据。该框架对伪造遗忘尝试保持鲁棒,并能较好泛化到大语言模型。