Open-MMUnlearning 发布:统一多模态大模型遗忘方法与评测框架
提出统一框架评测多模态大模型的遗忘方法
- arXiv
- 2610.10358
- 发表
- 场景
- 模型与 API
- 被测模型
- LLaVA-1.5-7B
提出统一框架评测多模态大模型的遗忘方法
提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向
OrthoPurify 是部署前的 LVLM 后门净化方法,用一次正交投影去掉被劫持的权重更新方向。
提出 FAB 攻击,向声学基础模型植入可由环境声触发的后门
摘要论文提出了针对声学基模的 FAB 后门攻击,在弱威胁模型下实现了任务无关、物理可触发的后门植入。
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
提出任务感知的跨域蒸馏与剪枝方法以压缩音频深度伪造检测器
提出 LineupRL,用描述到序列识别作可验证奖励训练时序描述模型
LineupRL 是给开放式时间序列描述用的 RLVR:不模仿合成参考,而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
提出 Intent-Privilege OPSD,蒸馏证据化意图以对齐视觉语言模型的安全与有用
Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险,把安全与有用性放进同一个训练目标,并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。
摘要梯度上升类方法更接近简单评测下的重训参照,复杂方法会被知情攻击认出,多说话人更差。
提出 IDUnlearn-Bench,评测 VLM 个体级遗忘后的身份残留
IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人,而不只是答不出某条监督事实。
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
提出 TAME,在强化学习中抑制模板激活以缓解思维链混淆
提出 QPriv-VL,用问题引导剪枝降低分布式视觉问答的隐私泄露
QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御,而不是只做集中式推理加速。
提出 SteerDuplex,用监督微调与两阶段强化学习提升全双工语音对话可控性
SteerDuplex 是基于 Moshi 的全双工语音模型,目标是在保留轮替、打断和一般任务能力的同时,按用户指令改变内容与发声。
提出 FreqDoor,在频域混合振幅并对生成式 VLM 做训练时视觉后门
FreqDoor 是针对生成式 VLM 的仅视觉、训练时后门:在频域混合触发源振幅、保留干净图像相位,使触发在空间上分散。
提出 BPP、GDBRO 与 RFCBES,在持续学习中净化并选择性恢复后门样本
面向 CLUBA 的鲁棒动态扩展防御:每个增量任务都可能含少量后门样本,模型只能看到当前任务数据,却要同时少遗忘、学得会、还不记住触发。
提出 GhostWord 词级触发后门,对自动语音识别做数据投毒
提出 RACER,用区域感知一致性对抗微调去除多模态大模型后门
提出 VA-Judger,用人类偏好训练联合音视频奖励模型
VA-Judger 是面向联合音视频生成的思维链全模态奖励模型,用来替代由分维度专家指标拼成的强化学习奖励。
提出 SPARED,用对抗编辑数据训练基于推理的 AI 生成图像检测器
SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程,报告模型是 Qwen3.5-9B 上的第三轮防御器。