Decouple to Forget:面向大语言模型敏感信息遗忘的语义中介方法
Decouple to Forget: Semantic Mediation for Sensitive Unlearning in Large Language Models
AI 导读
Decouple to Forget(D2F)是一种大语言模型定向遗忘方法,将敏感事实与非敏感内容分离,只删除敏感部分以减少能力损失。它从待遗忘样本提取事实级中介表示,生成保留非敏感内容、剔除敏感事实的反事实答案,并以基于偏好的对比优化降低信息泄露。多个基准数据集上,D2F 在遗忘与保留间的平衡优于强基线方法。