Open-MMUnlearning 发布:统一多模态大模型遗忘方法与评测框架
Open-MMUnlearning: Unifying Methods and Evaluation for MLLM Unlearning
AI 导读
研究者提出 Open-MMUnlearning,一个开源可扩展框架,通过共享接口和结构化配置整合目标模型准备、多模态数据处理、遗忘与评测。框架覆盖隐私、安全、版权三类共五个基准,支持四个模型家族的八个 MLLM 和十二种遗忘方法,评测套件同时考察遗忘效果、保留效用以及对模型干预、对抗输入和成员推断攻击的鲁棒性。在统一评测协议下比较十种代表性遗忘方法,GD 与 MIP-Editor 总分并列最高,GD 的遗忘质量最好,MIP-Editor 保留的模型效用更多。作者还提出指标元评测协议,用受控知识暴露的模型检验忠实性,并在量化和再学习条件下检验鲁棒性;在评估的十三个指标中,BLEU 的综合可靠性得分最高,KS-Test 的忠实性 AUC 最高但鲁棒性较弱。