Open-MMUnlearning 发布:统一多模态大模型遗忘方法与评测框架
提出统一框架评测多模态大模型的遗忘方法
- arXiv
- 2610.10358
- 发表
- 场景
- 模型与 API
- 被测模型
- LLaVA-1.5-7B
另有 194 篇论文还没打上分类标签,暂不在筛选结果里。
提出统一框架评测多模态大模型的遗忘方法
提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向
OrthoPurify 是部署前的 LVLM 后门净化方法,用一次正交投影去掉被劫持的权重更新方向。
提出 Secure-CUA,用动作事务约束计算机使用智能体的不可信影响
Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响,同时保留合法任务所需的不可信信息。
实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击
DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。
提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问
AMU 用列级推导门控共享记忆,拦截经缓存流出的无权敏感列,并标出同名 KPI 的定义冲突。
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
提出审计感知遗忘框架 AVCE,从文本与视觉通路擦除扩散模型概念
AVCE 是面向扩散模型的概念擦除方法,要让擦除经得起绕过文本条件的潜空间审计,而不只是挡住对抗提示词。
提出 MemAdapter,在检索后约束记忆对智能体推理的影响
MemAdapter 是给长期记忆智能体用的检索后调节框架,用来处理记忆诱发谄媚。
提出 Perturbot 扰动训练,打破 VLA 的模态捷径
Perturbot 是一套不改推理的 VLA 训练期数据干预,用来削弱模态捷径,并用离线分数区分“任务变好”和“靠捷径变好”。
提出 VAL 框架,并用确认门与参数沙箱约束智能体高风险工具调用
提出 FADE,对文生视频模型做帧感知多概念擦除
FADE 是面向文生视频扩散 Transformer 的多概念遗忘方法,用来抑制指定物体、画风、裸体、暴力、仇恨和名人身份,并尽量保持其他生成。作者要处理两件事。与帧无关的抑制会让概念在少数帧重现,片段均值会掩盖这一失败。
组合偏好奖励与评分标准奖励后训练文生图模型以抑制奖励作弊
作者给出一套开放域文生图后训练配方:把人类偏好奖励和 prompt 条件的 rubric 奖励合在一起,而不是换一个新优化器。问题是单一奖励盖不住用户意图。偏好模型能看整体观感,但对“是否实现每个要求”这类稀疏属性不敏感。
提出 Kubernetes 运维智能体的七层纵深防御框架与参考架构
把 Kubernetes 上的运维智能体当作不可信租户,在假定提示注入已完全控制其工具选择的前提下,用基础设施重建数据面与控制面的边界。要解决的是:智能体读日志、注解、工单或 MCP 工具描述时,这些内容可以变成它带着自身凭据执行的命令。模型对齐和分类器只降低概率。
提出 LineupRL,用描述到序列识别作可验证奖励训练时序描述模型
LineupRL 是给开放式时间序列描述用的 RLVR:不模仿合成参考,而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
提出 ZoneClaw,用记忆分区防御计算机使用 Agent 的持久记忆攻击
提出 Intent-Privilege OPSD,蒸馏证据化意图以对齐视觉语言模型的安全与有用
Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险,把安全与有用性放进同一个训练目标,并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。
提出免训练框架 SED,将有害智能体轨迹蒸馏为可检索安全策略
提出 Pictionary,将不可信文本渲染成图像以防御提示注入
提出 IDU,在无保留样本时蒸馏单步生成器并抑制遗忘子集
IDU 面向无条件 flow 与 score-based 教师,在蒸馏成单步生成器的同时做数据遗忘。
摘要梯度上升类方法更接近简单评测下的重训参照,复杂方法会被知情攻击认出,多说话人更差。