ViKeR：面向多模态大语言模型遗忘的视觉引导关键 Token 正则化
Visual-Guided Key-Token Regularization for Multimodal Large Language Model Unlearning
AI 导读
研究者提出视觉引导关键 Token 正则化方法 ViKeR，用于多模态大语言模型的遗忘。该方法利用无关视觉输入预测遗忘后的理想 token 级分布来正则化遗忘过程，以信息熵定义关键 token，并通过 token 级梯度重加权放大其更新。在 MLLMU 和 CLEAR 基准上的实验显示，该方法能有效遗忘目标信息，同时缓解遗忘并保持回复连贯性。