FADE: Frame-Aware Multi-Concept Erasure Framework for Video Diffusion Models

如何让单个文生视频模型同时忘掉多个指定概念，并压低被擦概念在少数帧重新出现的程度。

• 场景：作者称开源 T2V 已被广泛部署，同一能力会复现受版权材料、暴力内容、视频虚假信息或色情影像。机器遗忘要去掉指定概念的知识，同时保留其余生成能力。
• 不足：作者称既有抑制与帧无关，概念可在片段中段少数帧重现并闪烁，片段级均值会把失败平均掉。这些方法通常一次只评一个概念或类别；把一个共享适配器训在全部目标上会损害生成（Section 4.8）。
• 观察：作者把峰值帧与片段均值的概念存在之差定义为帧重激活差距。作者称去掉 FADE 的帧条件后，片段均值几乎不变，但该差距变为三倍（数字见 Table 8）。
• 方法：作者提出 Frame-Aware Diffusion Erasure（FADE）：联合闭式 key/value 编辑，加上按帧索引与去噪时间步门控的逐概念低秩适配器，再用提示相似度软路由组合。作者称据其所知，这是首个从单个 T2V 模型擦除多个概念的框架。
• 威胁模型：
  • 目标：单个模型须在单独提示下忘记每个 ci，忘记同一提示里共现的全部目标，并保持保留集 P 与中性提示上的生成不变（Section 3.1）。
  • 知识：主方法编辑自有骨干，不是访问外部系统。Section 4.7 的四个越狱套件里，作者称三个使用模型梯度；ASR 计在生成视频上，因而包含路由。
  • 未测攻击：作者称没有针对 FADE 的攻击，例如把路由门保持在阈值以下，或把概念移向门控较弱的帧与时间步（Section 5）。
  • 系统：文本条件视频扩散 Transformer。主结果为 Wan2.1-T2V-1.3B，另测 Wan2.1-T2V-14B、CogVideoX-2B、HunyuanVideo-1.5-480P-T2V。

文中相关工作分成图像擦除、视频擦除和适配器组合，实验另设八个基线。

图像：微调与闭式编辑

• 微调类：ESD、CA、FMN、SalUn、AGE、EraseDiff、Sculpting Memory、Fine-Grained Erasure 更新权重以抑制目标；ANT 在微调时转向去噪轨迹，以绕开不想要的概念。
• 闭式编辑：UCE、RECE、ScaPre 直接求解新的投影权重。论文称这类方法可扩到多个概念。
• MACE：闭式交叉注意力修正加上逐概念 LoRA，再融成一个模型。论文称它是 FADE 最接近的 T2I 前身；区别是 FADE 保持专家分离，按帧与时间步门控，并在推理时组合。

图像：适配器、推理时方法与剪枝

• 适配器：SPM、GLoCE、EraseAnything 挂接低秩或门控模块。论文称 EraseAnything 是首个面向 Flux 这类 rectified-flow transformer 的方法。
• 推理时引导：SLD、AMG、GIE、Concept Replacer 不更新权重，只引导生成。
• 剪枝：ConceptPrune、EFCS、FIA 去掉概念相关单元。论文称 FADE 沿用 UCE 式闭式编辑和 ESD 式负引导，并在 Section 4.2 评测三者直接迁到视频骨干的结果。

视频概念擦除

• 不改权重：SAFREE 把有毒 token 嵌入投离不安全子空间，并过滤去噪；VideoEraser 调整选定提示嵌入，并加入对抗稳健的噪声引导。
• 微调：Liu and Tan [2024] 把文本编码器遗忘迁到 T2V；T2VUnlearning 结合负引导速度预测、提示增强、掩码定位和概念保持正则。
• 免训练改权重：Refusal 从成对安全/不安全提示用对比低秩分解提取概念方向并折入权重；ICE 做一次性谱编辑。论文称这些方法对每一帧用同一抑制，且一次只评一个目标概念或类别。引言还分别写到 VideoEraser 的帧间不一致、SAFREE 的近静态输出、Refusal 的模糊，以及 T2VUnlearning 的良性生成变差。

适配器组合与基线

• 组合方式：稀疏门控 MoE 把输入路由到部分专家；LoRA 可用学习到的门或无梯度权重组合。论文称 C-MoE 改为每个提示算一次的固定相似度，并用彼此的概念做负例，使相加后仍有选择性。
• 基线与基准：T2V 基线为 SAFREE、T2VUnlearning、Refusal、VideoEraser；UCE、ESD-x、ESD-u、MACE 直接用于同一 Wan2.1。环境包括 Imagenette、中性 MSR-VTT、VBench、I2P、改编自 MACE 的名人评测，以及四个越狱套件。

作者把本文放在上述视频方法之外：加上帧与时间步相关的抑制，以及推理时的多概念组合。

FADE 分三步：Concept Redirect（CR）做联合闭式编辑，Frame-Aware Erasure（FAE）去掉逐帧残留，C-MoE 在推理时按提示组合逐概念专家。

问题设定与诊断

• 编辑位置：fθ 是带冻结文本编码器 E 和文本嵌入 MLP Φ 的视频 DiT。每块改动消费文本条件的 key/value 投影，以及第一个 FFN 线性层。
• 任务：擦除集为 Ce，保留集为 P。单模型须单独遗忘、共现遗忘，并保持 P 与中性提示不变。作者称先前 T2V 方法只对 N=1 处理单独遗忘与保留。
• 诊断量：逐帧评判给出 sV[f]。重激活差距为 Gap_react(V)=max-frame-acc(V)−mean-frame-acc(V)，即峰值帧概念存在减去片段均值，用来暴露少数帧重现。

Concept Redirect

• 闭式求解：对每个块的 K/V，联合岭回归把每个擦除概念重定向到引导锚点，并在 P 上保持原投影。概念引用取 MLP 后的最后一个内容 token。附录 C 给闭式解，附录 F 论证为何改 K/V。作者称单独求解约一分钟。
• 运动释义：视频里概念还会以运动变体出现。裸概念与 K=4 个运动释义的嵌入取平均，只改变线性系统系数。释义由 GPT-4 生成并人工过滤。
• 时间步衰减：作者称每步都用编辑后投影会过度锐化纹理。TPD 在结构阶段保持全强度，在纹理细化阶段按归一化时间步的半余弦日程降低强度。日程在附录 B。
• 与后级的关系：作者称单独 CR 仍使目标在生成视频中大体可见（Fig. 7 的 w/o FAE 行），但把骨干推向擦除目标。

Frame-Aware Erasure

• 模块：每个概念在选定块的 FFN 第一线性层挂 FA-LoRA。静态分支承担主要编辑；帧感知分支由 FrameGate 按归一化帧索引与时间步门控。FrameGate 是该概念各块共享的小 MLP，正余弦编码经一层 GELU 再 sigmoid。默认挂全部块。
• 损失：训练目标为 L=L_neg+α L_max-leak+β L_motion+γ L_tsm。四项分别是以冻结 CR 为教师的 ESD 式负引导、只惩罚泄漏最重的若干帧、在中性提示上锚定到冻结 CR，以及 FrameGate 帧间差的闪烁惩罚。
• 硬负例：训练概念 c 时，中性集含通用运动提示池，以及其他擦除概念的不安全提示。作者称这使每个专家在其他概念提示上接近恒等，从而可以相加。
• 试点选择：附录 G 称，对全部帧取均值关不上 Gapreact，k=1 不稳定，故用最差 3 帧；这些试点未在正文量化。附录 F 称 Wan2.1 没有文本 FFN，文本只从交叉注意力 K/V 进入，故 CR 不改 FFN；该观察来自未量化试点。

C-MoE 路由

• 门控：每个提示算一次，无额外参数。用软路由而不是 top-1，因为组合提示需要多个专家。门是概念参考 token 与提示 token 的最大相似度，再经概念别阈值与温度的 sigmoid。
• 标定与跳过：阈值在留出的不安全/中性划分上自动标定，划分含其他概念提示。低于 gmin 的专家被跳过，多数干净提示不触发 FA-LoRA，模型退化为仅 CR。分布分不开时关闭专家。
• 作者给出的边界：门取 token 对最大值后，共现 token 和上下文嵌入仍可移动分数；共享修饰 token 可造成误激活（Section 5）。附录 I 给出由 Lmotion 残差控制的一阶串扰界，并称它不是保证，且不覆盖同时含两个概念的提示。

实现要点

• 帧数：FAE 在 Tlat=5（17 个原始帧）上训练，在 Tlat=21（81 个原始帧）上生成。FrameGate 吃归一化输入，故不改专家即可换帧数。
• 超参：静态秩 4、帧感知秩 2，挂到全部 30 块；FrameGate 隐层宽 32。每概念 500 步 AdamW，学习率 1e-4，权重衰减 1e-4，bf16，时间步从 5 到 50 采样。损失系数为 η=1.0、α=0.5、β=0.5、γ=0.1，top-k=3。CR 的 λ=0.5、se=1.0、sp=0.1；TPD 的 αmax=1.0、αmin=0.2、t⋆=0.4。gmin=0.05。
• 保留集与采样：物体擦除时 P 为留出的九个 Imagenette 类；风格与裸体再加十个中性运动短语（附录 B）。采样为 UniPC，50 步，shift 5，guidance scale 5，832×480。专家独立训练，可按概念并行。

实验设置

• 骨干与概念：除非另述，骨干为 Wan2.1-T2V-1.3B，单模型同时擦除 16 个概念：十个 Imagenette 类、五位画家和裸体。另测 Wan2.1-T2V-14B、CogVideoX-2B、HunyuanVideo-1.5-480P-T2V。各骨干共享 FAE 超参，只自动重标定路由阈值。
• 基线：SAFREE、T2VUnlearning、Refusal、VideoEraser，以及直接用于 Wan2.1 的 UCE、ESD-x、ESD-u、MACE。作者称各方法共享骨干、提示、种子、采样器与评判器。
• 协议规模：物体为每类 5 条提示 × 5 个种子；tench 被排除。风格为 Picasso、Van Gogh、Monet、Da Vinci、Dalí。I2P 写明 4,703 条提示、每条 5 个种子，并用 NudeNet 查每一帧；暴力与仇恨另用 Q16，论文未单独给出这两类条数。名人实验同时擦 30 个身份、保留 10 个；论文未报告每身份提示数与种子数。
• 指标：mean-frame-acc（文中 acc，越低越好）、max-frame-acc、Gapreact、中性 MSR-VTT 上的 FVD、VBench 的主体一致性、运动平滑、美学质量、成像质量、时间闪烁，以及标记帧比例、Acce、Accs、ASR。
• 评判：物体主表为限于十类的 ResNet-50。复评用 Qwen3.6-27B（温度 0，结构化回答概念是否出现）和盲测人工 0–4 分，再缩放到 0–100。风格为逐帧 CLIP 与留出作品的图像相似度。名人用 GIPHY Celebrity Detector 的 top-1。论文未写明 NudeNet 与 Q16 的阈值，也未报告人工人数与一致性。
• 采样：UniPC 50 步，shift 5，guidance scale 5，832×480，一张 NVIDIA L20。训练提示与运动释义由 GPT-4 生成并人工过滤。

主结果

下表为 Wan2.1-T2V-1.3B、16 概念同时擦除。平均 acc 与 FVD 据 Table 1（Imagenette 九类，排除 tench，ResNet-50，FVD 在中性 MSR-VTT）。VBench 均值据 Table 3a，同为中性 MSR-VTT；该表未给出的方法记为未报告。

Swipe horizontally to read the table

方法	平均acc↓	FVD↓	VBench均值↑
Wan2.1（未编辑）	77.8	147.3	84.97
SAFREE	52.6	213.1	未报告
T2VUnlearning	65.7	215.8	未报告
Refusal	60.1	184.9	79.89
VideoEraser	15.5	203.4	82.19
FADE	4.9	158.8	84.22

• 作者解读：正文称相对下降 93.7%，九类上均为最强；FVD 上升 7.8%，四个 T2V 基线的 FVD 升幅为 25.5–46.5%。作者称 VBench 各维相差不超过 1 分，均值与未编辑模型相差在 0.9% 以内，Refusal 与 VideoEraser 的均值分别低 5.1 与 2.8 分。
• 三种评判：Table 2b 中 FADE 为 4.9、4.8、5，VideoEraser 为 15.5、14.7、15，Refusal 为 60.1、56.7、57，未编辑为 77.8、73.6、74（依次为 ResNet-50、VLM、人工）。作者称排序不变。
• T2I 迁移：Table 2a 中 UCE、ESD-x、ESD-u、MACE 的平均 acc 为 71.6、66.4、63.5、54.0，FVD 为 181.2、220.7、253.9、210.1。正文称没有一种去掉超过三分之一的概念存在，FVD 上升 23–72%，并称这些编辑不能按原样迁到视频 DiT。

风格、不安全内容与身份

• 风格：Table 3b 的逐帧 CLIP 风格相似度中，正文称未编辑平均 90.6、FADE 35.4、VideoEraser 74.6、Refusal 81.2。FADE 的 FVD 为 237.8，Refusal 为 289.6，VideoEraser 为 293.4，未编辑为 204.3。表题未写明该 FVD 的提示池。Da Vinci 一行 VideoEraser 为 88，高于 Refusal 的 82；FADE 为 40。
• I2P：Table 4a 的标记帧比例，FADE 为裸体 19%、暴力 16%、仇恨 17%，平均 17.3%；未编辑平均 75.0%，VideoEraser 为 38.3%，Refusal 为 49.0%。正文称 FADE 在每个类别都低于 VideoEraser 的一半。
• 30 个身份：Table 4b 中 FADE 的 Acce 为 6.4、Accs 为 86.1、FVD 为 162.8；未编辑为 88.6、90.8、147.3；VideoEraser 为 19.8、74.5、209.4。正文称 VideoEraser 的保留准确率比未编辑低 16.3 个点。作者称这是文中最大概念集，N=30。

组合、跨骨干与越狱

• 组合与规模：Table 5a 中，每条提示提到两个已擦 Imagenette 类，FADE 平均 acc 为 4.0，VideoEraser 为 12.9，FVD 分别为 189.0 与 237.5。作者称逐目标数值接近单目标，但提示不同，因此不是受控的干扰测量。Table 5b 中 N 从 1 到 10，平均 acc 从 3.1 到 4.9，FVD 从 151.2 到 158.8；作者称未见突变迹象。
• 四个骨干：Table 6 在五个共有 Imagenette 类上，FADE 的平均 acc 为 5.1、7.2、6.3、9.2（依次为 Wan2.1-1.3B、14B、CogVideoX-2B、HunyuanVideo-1.5-480P），Reduction 列为 94.0%、92.1%、92.3%、87.3%，FVD 增幅为 +7.8%、+13.6%、+8.4%、+17.2%。裸体标记率为 19、15、22；HunyuanVideo 一列为 “–”。作者称 HunyuanVideo 的残差最高。
• 越狱：Table 7 的裸体 ASR，FADE 为 Ring-A-Bell（K16）21.63、P4D（N）32.14、UnlearnDiffAtk 7.42、MMA-Diffusion 14.57，四列均为表内最低。未编辑为 93.26、76.43、52.18、61.34；VideoEraser 为 31.47、41.86、12.35、23.48。作者称 VideoEraser 的 ASR 为 FADE 的 1.3–1.7 倍，并称未评估针对 router 或 FrameGate 的自适应攻击。

其他消融与分析

• 组件（Table 8）：完整 FADE 为 acc 4.9、Gapreact 2.7、FVD 158.8。去掉 FrameGate 后为 4.2、8.5、182.6；作者称均值只略变、差距变为三倍。一个 LoRA 且无 C-MoE 时 acc 1.8、Gapreact 0.9，但 FVD 729.1，作者称之为灾难性遗忘。去掉 CR 后为 17.1、8.2、225.0。
• FrameGate 变体（Table 12，十个 Imagenette 专家）：默认 290 参数、acc 4.9、FVD 158.8；仅帧 7.5/220.3；仅时间步 6.1/204.2；4 层 MLP 6.3/196.7；时间卷积 acc 4.5，但 FVD 254.0。
• 专家几何（Section 4.5、J.4）：跨专家相干 0.83，共享成分约 78% 更新能量；去掉共享成分后，最小主角中位数 70.2°，最差对 51.0°，秩匹配随机子空间 88.8°。Van Gogh–Monet 为 57.8°，Picasso–Dalí 为 51.8°。
• 代价（Table 13）：CR 在 N=1/5/12 时为 63.9/65.9/67.0 秒；每专家训练 3 小时 50 分至 3 小时 58 分，0.56M 参数、1.15 MB。无激活专家每步 7.29 秒，两个激活专家 7.62 秒（+4.5%）。Section 5 另写 16 概念 62 GPU-hours。
• tench：Wan2.1 把它画成鸭子，路由标定关闭该专家；Table 9 中 τc=1.000，作者称它是分布分不开的唯一概念（Section 4.2、附录 B）。

作者指出的局限与后续方向

• 自适应攻击：Table 7 用的是既有越狱套件，其中三个使用模型梯度，但没有针对 FADE 本身的攻击，例如把路由门保持在阈值以下，或把概念移向门控较弱的帧与时间步（Section 5）。附录 L 称擦除不构成保证，Table 7 的 ASR 非零，应与输出过滤并用而不是替代它。
• 规模：最大概念集为 30 个身份。作者认为专家分离和路由可分性可能随 N 增大而下降（Section 5）。
• 粒度与相反更新：同一艺术家的两个时期这类很细的区分，以及在重叠输入上更新方向相反的专家，不在实验内（Section 5，指向 Section I）。
• 修饰 token：English、van 这类修饰 token 可能抬高无关门，并带来一定保真代价（Section 5）。
• 成本与增量：训练随 N 线性，16 概念为 62 GPU-hours。部署后新增概念需要重解 CR，且新概念不在已有专家的硬负例中；该增量设定未评估。骨干不能生成某概念时（tench），标定会关闭其专家；作者认为按教师中该概念的显著性来门控擦除损失会更合理（Section 5）。
• 评测范围：自动评判打的是帧，人工评的是片段；运动语义的视频原生评判尚未建立。未评估超过 81 帧的片段和自回归生成器，作者称后者需要不同设计（Section 5）。

实验覆盖范围

• 骨干：报告结果的骨干为 Wan2.1-T2V-1.3B、Wan2.1-T2V-14B、CogVideoX-2B、HunyuanVideo-1.5-480P-T2V，共 4 个（Section 4.1、4.6，Table 6）。
• 概念与协议：主设定一次擦除 16 个概念；另有同时擦除 30 个身份、保留 10 个身份的实验。物体协议为每类 5 提示 × 5 种子；I2P 为 4,703 提示 × 5 种子（Section 4.1–4.4）。
• 评判：物体包括 ResNet-50、Qwen3.6-27B 与盲测人工；裸体用 NudeNet，暴力与仇恨用 Q16，风格用 CLIP，名人用 GIPHY（Section 4.2–4.4，Table 2–4）。
• 对抗与消融：对抗实验为 Ring-A-Bell、P4D、UnlearnDiffAtk、MMA-Diffusion，ASR 计在生成视频上（Section 4.7，Table 7）。组件消融见 Table 8，门控变体见 Table 12。
• 论文未报告的项目：人工标注人数与一致性（Section J.3）、NudeNet 与 Q16 的阈值、名人实验的每身份提示数与种子数，以及 Table 6 中 HunyuanVideo-1.5 的裸体列（表内为 “–”）。

FADE 是面向文生视频扩散 Transformer 的多概念遗忘方法，用来抑制指定物体、画风、裸体、暴力、仇恨和名人身份，并尽量保持其他生成。

作者要处理两件事。与帧无关的抑制会让概念在少数帧重现，片段均值会掩盖这一失败。部署又需要一个模型同时忘掉多个概念，而一个共享适配器训在全部目标上会损害生成。

方法有三步。CR 对文本条件的 key/value 做联合闭式编辑，并用运动释义嵌入和随时间步衰减的强度适应视频。FAE 为每个概念训练低秩适配器，帧感知分支由帧索引与时间步门控，损失惩罚泄漏最重的帧，并以其他概念提示为硬负例。C-MoE 按提示与概念 token 的最大相似度软组合专家；干净提示通常退化为只有 CR。作者称据其所知，这是首个从单个 T2V 模型擦除多个概念的框架。

• 物体：Wan2.1-T2V-1.3B、16 概念、Imagenette 九类、ResNet-50 下，FADE 平均 mean-frame-acc 为 4.9%，VideoEraser 为 15.5%，未编辑为 77.8%（Table 1）。中性 MSR-VTT 上 VBench 均值为 84.22，未编辑为 84.97（Table 3a）。
• 其他目标：I2P 上 FADE 的裸体标记帧为 19%，暴力 16%、仇恨 17%（Table 4a）。30 个身份同时擦除时 Acce 为 6.4，保留身份 Accs 为 86.1（Table 4b）。
• 越狱与消融：四个套件中 FADE 的 ASR 均为表内最低，Ring-A-Bell（K16）为 21.63%（Table 7）。去掉 FrameGate 后平均 acc 为 4.2，Gapreact 从 2.7 到 8.5（Table 8）。

作者在结论中称，FADE 在物体擦除和 FVD 上优于八个基线，并在评判器、组合提示、30 个身份和四个骨干上保持领先。作者同时称擦除不构成保证，针对路由或 FrameGate 的自适应攻击未测，应与输出过滤并用（Section 5、附录 L）。