Open-MMUnlearning 发布:统一多模态大模型遗忘方法与评测框架
提出统一框架评测多模态大模型的遗忘方法
- arXiv
- 2610.10358
- 发表
- 场景
- 模型与 API
- 被测模型
- LLaVA-1.5-7B
另有 242 篇论文还没打上分类标签,暂不在筛选结果里。
提出统一框架评测多模态大模型的遗忘方法
提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向
OrthoPurify 是部署前的 LVLM 后门净化方法,用一次正交投影去掉被劫持的权重更新方向。
提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败
TAPDreamer 用公开编码器做固定补丁。
评测文本守卫与激活探针能否拦住机器人隐含伤害指令
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
固定有害指令,单轴归因图像到文本越狱的图像属性
摘要固定文本的图像越狱拆解,只在 Qwen 上给出一条有界相关性归因。
提出 IAU-FOA,构造可迁移图像扰动以诱导多模态模型输出目标语义
提出 Perturbot 扰动训练,打破 VLA 的模态捷径
Perturbot 是一套不改推理的 VLA 训练期数据干预,用来削弱模态捷径,并用离线分数区分“任务变好”和“靠捷径变好”。
检验低监控读数能否证明代码生成中的奖励作弊已受控
本文是一篇针对强化学习可验证奖励后训练(RLVR)中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是:在训练目标中引入监控器以抑制代码生成中的作弊行为时,接近零的监控器读数是否足以确立模型行为已真正受控。
提出 LineupRL,用描述到序列识别作可验证奖励训练时序描述模型
LineupRL 是给开放式时间序列描述用的 RLVR:不模仿合成参考,而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
提出 MOMAT 多图集检索与轻量判定,防御量化模型越狱
用持续更新的探针做微调,降低有害性并保持线性可监测性
Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。
提出 MIST 压力测试,检验无关图像是否扰动 VLM 评判者标签
作者用MIST问:VLM 代替人类标注时,可替代性裁决会不会被指南要求忽略的图像改写。
提出 Intent-Privilege OPSD,蒸馏证据化意图以对齐视觉语言模型的安全与有用
Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险,把安全与有用性放进同一个训练目标,并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。
构建 TriggerBench 并训练 ThinkingGuard,检测图文隐式风险
这篇工作研究多模态隐式风险检测:图文各自良性,风险只在关键元素与触发元素交互时出现。
提出 IDUnlearn-Bench,评测 VLM 个体级遗忘后的身份残留
IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人,而不只是答不出某条监督事实。
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
组织 ArGuard 共享任务评测阿拉伯语表情包与提示词有害检测
提出 ODPure,在输入阶段用腐蚀重建与共识净化目标检测后门