可区分删除：在大语言模型遗忘中统一知识擦除与拒答
Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning
AI 导读
研究者提出可区分删除（D²）范式，将训练期知识擦除与推理期拒答统一用于大语言模型遗忘，论文的实验显示其 EUA 方法显著优于已有方法。论文指出，现有知识删除（KD）以压制特定 token 序列代替完整知识移除，导致删除有偏差；可区分拒答（DR）因底层知识仍在，有害知识可能重新出现。D² 在潜表示层面限制响应分布而非特定 token，擦除目标知识并将其与保留知识区分，使拒答机制能安全、连贯地处理已遗忘输入；配套的能量指标量化知识存在程度及已遗忘与保留内容的分离度，EUA 据此在训练时执行能量边界遗忘、在推理时应用基于能量的拒答机制。代码开源于 https://github.com/Puning97/EUA-for-LLM-Unlearning。