擦除幻觉：压力测试大语言模型遗忘评估的泛化性
The Erasure Illusion: Stress-Testing the Generalization of LLM Forgetting Evaluation
AI 导读
论文提出 Proximal Surrogate Generation（PSG）压力测试框架，并发现当前大语言模型遗忘评估指标普遍高估遗忘效果。作者指出，现有遗忘评估通常只监测模型在遗忘数据集上的性能下降，而版权或安全场景还关心模型从这些数据泛化出的行为；实验显示模型可以通过标准遗忘评估、看似已遗忘目标知识，同时在语义相邻内容上保留较强能力。PSG 自动生成由遗忘数据集语义派生、但在嵌入空间中足够不同的替代数据集，对比两者上的指标得分即可检验指标本身的可靠性。在 Llama-3-8B、Qwen2.5-7B 和 Zephyr-7B-β 三个模型族、三个数据集和七种标准指标上的评估发现普遍不一致，指标常常未能发现压力测试数据暴露的残留知识。