AVCE:面向扩散模型可验证概念擦除的审计感知遗忘框架
提出审计感知遗忘框架 AVCE,从文本与视觉通路擦除扩散模型概念
- arXiv
- 2610.05401
- 发表
- 场景
- 模型与 API
- 被测模型
- Stable Diffusion XL (SDXL)、Stable Diffusion v1.5 (SD v1.5)、Flux 1.0
摘要AVCE 在审计锚点上改两条注意力通路。
AVCE 是面向扩散模型的概念擦除方法,要让擦除经得起绕过文本条件的潜空间审计,而不只是挡住对抗提示词。
提出审计感知遗忘框架 AVCE,从文本与视觉通路擦除扩散模型概念
AVCE 是面向扩散模型的概念擦除方法,要让擦除经得起绕过文本条件的潜空间审计,而不只是挡住对抗提示词。
提出 FADE,对文生视频模型做帧感知多概念擦除
FADE 是面向文生视频扩散 Transformer 的多概念遗忘方法,用来抑制指定物体、画风、裸体、暴力、仇恨和名人身份,并尽量保持其他生成。作者要处理两件事。与帧无关的抑制会让概念在少数帧重现,片段均值会掩盖这一失败。
组合偏好奖励与评分标准奖励后训练文生图模型以抑制奖励作弊
作者给出一套开放域文生图后训练配方:把人类偏好奖励和 prompt 条件的 rubric 奖励合在一起,而不是换一个新优化器。问题是单一奖励盖不住用户意图。偏好模型能看整体观感,但对“是否实现每个要求”这类稀疏属性不敏感。
提出 PACT,遗忘推理模型在压力下的欺骗行为并保留上下文理解
摘要论文将大模型欺骗形式化为上下文条件行为,提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习:学生最大化可验证任务奖励,但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为,序列级软 KL 只惩罚平均散度,学生可以用别处的高概率文本掩盖某一步的逻辑错误,同时仍得到正确最终答案。GRPO 则只优化最终答案。
提出 ACTR,只更新安全思考神经元以对齐推理与回答的安全类别
提出 IDU,在无保留样本时蒸馏单步生成器并抑制遗忘子集
IDU 面向无条件 flow 与 score-based 教师,在蒸馏成单步生成器的同时做数据遗忘。
提出 EOPSA,用 TRR 截断与安全类过滤做在策略自蒸馏安全对齐
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
提出 TAME,在强化学习中抑制模板激活以缓解思维链混淆
提出 RAPID,离线把抗蒸馏扰动写入文生图解码器
提出 SafeReAct,用 LoRA 重激活后训练模型被掩盖的安全机制
这篇工作针对后训练 LLM 的安全下降,提出表示对齐方法SafeReAct。
提出 Staged Decoding 与指令跟随训练,减少推理轨迹隐私泄露
本文把大推理模型的隐私问题做成轨迹可控性:隐私指令是指令,轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。