EraseSAE：用稀疏自编码器在文生视频扩散模型中实现精准概念擦除

T2V扩散模型要做手术式概念擦除，但现有干预粒度粗，而且没有时空局部性。

• 场景：作者认为DiT-based文生视频模型数据筛选松散，会生成露骨内容或公众人物deepfake。过滤后重训代价过高，概念擦除用来去掉指定语义并保留其余生成能力。
• 不足：作者认为免训练方法（负提示、文本嵌入操作、条件引导）只做表面抑制，内部表示仍在，易被对抗攻击绕过。训练式的全局微调、闭式编辑和神经元剪枝作用在多义单元上，会遗忘无关概念、在其他通路留下痕迹，或误伤共编码的良性概念；概念只占局部时空时，擦除仍是全局的（Fig. 2）。
• 假设：作者认为应干预单义（monosemantic）特征。SAE把稠密激活拆成稀疏单义组合，从而隔离目标、覆盖分布式通路，并随位置和帧把抑制限制在概念出现处。作者同时指出，线性SAE不顾邻域依赖，且扩散特征随时间步从粗结构变到细细节，单时间步归因不够。
• 做法：作者提出EraseSAE，用分解–归因–擦除在单义空间里擦除目标概念，并称这是首个把SAE用于T2V扩散模型概念擦除的框架。
• 威胁模型：
  • 目标：去掉指定概念（实验里是裸露和名人身份），保留无关画面与其他身份。
  • 系统：预训练DiT-based T2V模型；另在Flux.1 [dev]上测裸露。
  • 能力：扩散模型冻结。防御方训练PConvSAE、离线锁定概念核，推理时用掩码调制classifier-free guidance。正文没有white-box或black-box的说法。
  • 对抗与判定：用Ring-A-Bell改写提示。裸露由NudeNet逐帧给暴露率，名人由Giphy给检测准确率。

擦除文献按是否改权重展开；SAE从语言模型走到图像，作者称尚未进入T2V。

免训练擦除

• SLD（2023）：在去噪中加入安全引导，使采样离开不安全内容。
• SAFREE（2025）：把文本嵌入向有毒概念方向做正交投影。文中还指向其他只改推理、不改权重的做法。
• 作者的批评：这类方法只在表面抑制，内部表示仍可被对抗攻击利用。

训练式擦除

• ESD（2023）用负提示引导微调交叉注意力；CA（2023）把输出锚定到参考分布来消融概念。
• UCE（2024）用闭式投影做多概念编辑，MACE（2024）用闭式映射扩到大规模概念集；AdvUnlearn（2024）与Receler（2024）在微调中加对抗训练；EraseAnything（2025）用双层优化扩到flow-matching。
• 作者的批评：这些方法粒度粗，擦除是全局的，缺少保住无关内容的局部性。

T2V擦除

• VideoEraser（2025）把提示嵌入投离不安全方向；T2VUnlearning（2025）用负引导微调速度预测。
• 作者的批评：视频的时空纠缠会放大从T2I继承的限制；作者称尚无方法能在不损害整体生成质量时做细粒度局部擦除。

稀疏自编码器

• SAE（Olshausen与Field，1997）把稠密激活分解为单义特征的稀疏线性组合。Cunningham等（2024）用它解释语言模型；后续工作扩到前沿模型（Templeton，2024）和特征级转向（Shi等，2025）。
• SAUCE（2025）在自回归视觉语言模型里抑制不想要的特征；SAeUron（2025）把SAE放进图像扩散模型做概念擦除。
• 作者的说法：此前没有工作研究T2V扩散模型中的SAE。常规MLP-SAE把隐藏状态展平，破坏时空局部性，又缺少区域间语义隔离，因而发生概念泄漏。

基线与数据：视频实验基线为Neg Prompt、SAFREE、VideoEraser、T2VUnlearning（Table 1、Table 2）。I2P上还有UCE、MACE、EAP（2024）、EraseAnything（Table 3）。数据包括自建Gen（500条裸露提示）、Ring-A-Bell、I2P，以及五位名人各400条提示；保真度用SSIM和VBench的Object Class、Subject Consistency。

作者把EraseSAE放在单义特征上，称其同时具备训练式方法的稳健擦除和免训练方法想要的局部精度。作者称PConvSAE用卷积和分区回应上述MLP-SAE的两点限制，并称该框架是首个把SAE用于T2V概念擦除的工作。

EraseSAE分三步：训练PConvSAE拆开一层时空激活，离线对比锁定概念核，再按时间步掩码做空间调制的classifier-free guidance（Fig. 1，第3节）。扩散模型保持冻结。作者称这同时拿到训练式方法的稳健、永久擦除，以及免训练方法追求的局部精度；按第3.4节，擦除本身发生在推理期。

分解：PConvSAE

• 先做层级探测，选既含目标语义、又少动全局结构的干预层。层号正文未给。激活减去运行均值，时间维折进batch，形状为(B×T)×D×H×W，再用2D卷积，避免展平。
• 潜变量分成Context支路fctx（布局、光照、时间动态）和Concept支路fcpt（与目标概念绑定的局部特征）。Concept通道划成C个互斥子空间，每个概念Ncpt个核。两支路编码器不共享参数。C与Ncpt正文未给。
• 稀疏用Spatial-Aware Local Activation：通道得分取空间峰值，Top-K通道做ReLU，其余整幅置零；两支路稀疏预算分开。K正文未给。重建是两支路解码卷积相加再加偏置。作者称去掉Concept贡献、留下Context，就得到去掉目标概念的场景。
• 监督掩码来自模型自己对目标概念文本的交叉注意力：跨层平均、归一化、动态分位数二值化，得到Mtgt和背景补集，不用外部标注。五项损失相加：Lctx让Context重建背景并压低目标区；Lcpt让两支路之和重建目标区；Lleak用L1把概念核限制在指定范围；Ltemp惩罚Context相邻帧突变；Laux让闲置核拟合残差，以缓解dead latent。各λ正文未给。训练用Adam，初始学习率1×10^{-4}，30个epoch，8张NVIDIA A100。作者称其余细节在补充材料。

归因：一次离线对数比

• 每个概念只归因一次。正样本来自含ci的提示，在目标区域掩码内对核做空间平均，得到μci。
• 硬负基线取背景均值与其他概念激活的逐元素最大。作者称核必须同时超过背景和最强的其他概念，才算该概念专用（one-versus-max）。
• 分数为S_{attr}=\mu_{c_i}\odot\max(0,\log\frac{\mu_{c_i}+\epsilon}{\mu_{base}+\epsilon})\odot M_{stable}。对数比表示相对硬负基线的特异性，再乘自身激活；Mstable去掉短暂点火。一致性是正样本中该核在目标区点火的比例，低于τ的核丢弃。τ正文未给。
• 分数最高的top-K与该概念预分配的通道分区求交，得到锁定集Ktgt。推理时不再搜索特征。

擦除：动态掩码与调制CFG

• 概念的空间范围随去噪时间步移动，单步静态掩码会对不齐。在关键区间内，每个时间步把隐藏状态送入冻结的PConvSAE。区间端点正文未给。
• 前景掩码来自Context激活热图的补集，概念掩码来自锁定核。二者min-max归一化后相乘，再经动态阈值二值化，得到Mt。作者称前景项避免误伤背景，概念项把范围限制在语义活跃处。
• 空间调制CFG为\hat{\epsilon}_\theta(x_t)=\epsilon_\theta(x_t,c_{pos})-s\cdot(\epsilon_\theta(x_t,c_{pos})-\epsilon_\theta(x_t,c_{neg}))\odot M_t。掩码接近1时，从含目标概念的正提示预测中减去指向安全替代语义的负提示方向；接近0时保留正提示预测。s为引导尺度，正文未给。
• 引言写的是在掩码内修改PConvSAE特征。第3.4节和Fig. 1的推理步骤是上述调制。Table 6把直接减特征、掩码内清零列为对照，正文采用的是调制CFG。

实验设置

• 模型：CogVideoX-5B、HunyuanVideo；T2I补充为Flux.1 [dev]。
• 裸露：Gen共500条提示，400条训练、100条测试。对抗提示为Ring-A-Bell的K16、K38、K77。T2I用I2P。裸露视频统一为32帧、8 fps。Table 1的Gen列未写明是否只统计测试的100条。
• 名人：Donald Trump、Barack Obama、Elon Musk、Queen Elizabeth、Taylor Swift，每人400条，训练与测试对半。Table 2未写明数字是否只来自测试半。名人实验未另给帧数。
• 指标：NudeNet逐帧检测得到Nudity Rate；SSIM相对未修改参考视频；VBench的Object Class与Subject Consistency。Erase是Giphy给出的残留检测准确率。Preserve是只擦一人时，其余四人的平均检测准确率。另报推理时间（s/frame）。
• 基线：视频侧为Neg Prompt、SAFREE、VideoEraser、T2VUnlearning。I2P为UCE、MACE、EAP、EraseAnything。消融都在HunyuanVideo的裸露任务上。
• 训练：Adam，初始学习率1×10^{-4}，30个epoch，8张A100。正文未报告重复次数、检测器阈值，以及NudeNet或Giphy与人工是否一致。

主结果

表格较宽，可左右滑动

设置	Original	对照中最低擦除值	EraseSAE	EraseSAE的SSIM	出处
CogVideoX-5B，Gen Nudity Rate	28.25	2.88（T2VUnlearning）	2.62	74.99	Table 1
HunyuanVideo，Gen Nudity Rate	68.13	10.89（T2VUnlearning）	7.13	65.69	Table 1
CogVideoX-5B，名人平均Erase	63.40	25.00（VideoEraser）	8.00	63.38	Table 2
HunyuanVideo，名人平均Erase	67.10	47.20（Neg Prompt与SAFREE）	19.20	77.47	Table 2
Flux.1 [dev]，I2P显式内容总数	605	173（UCE）	160	未报告	Table 3

• 作者解读：作者称两个视频模型的Gen暴露率都低于表内其他方法，并认为原因是单义核更纯。贡献列表写相对最强基线，擦除准确率高34.5%、SSIM高8.3%，但没写模型，也没写如何由表格算出。正文称SSIM比次优高27.97点（CogVideoX-5B）和5.02点（HunyuanVideo）；表中次优分别是Neg Prompt的47.02和T2VUnlearning的60.67。
• 保真与时间：作者称Object Class、Subject Consistency与未改模型相当，推理开销可以忽略。CogVideoX-5B为3.66 s/frame，Original为3.61。HunyuanVideo为6.97，Neg Prompt为6.95；作者称多出的计算来自额外的负条件前向。同表SAFREE与T2VUnlearning在HunyuanVideo上为3.59与3.60。
• 名人例外：Preserve为58.60（CogVideoX-5B）和61.50（HunyuanVideo）。前者低于Neg Prompt的59.80，后者高于其60.20。作者指出VideoEraser在CogVideoX、Donald Trump上Erase为3.00，低于EraseSAE的12.00，Preserve为52.10。HunyuanVideo的Trump一行，SAFREE为9.50，低于EraseSAE的26.50；作者未解释该格。VideoEraser在HunyuanVideo上未报告。

对抗提示与图像模型

• Ring-A-Bell：Table 1里EraseSAE在两模型、三档上的Nudity Rate都是该列最低。CogVideoX-5B为2.63、5.26、4.74；HunyuanVideo为4.47、6.84、5.13。T2VUnlearning同位置为5.30、7.60、8.65与5.13、7.82、9.95。作者把这归因于锁定的是概念核，而不是表面句式。
• 高于Original的基线：CogVideoX-5B的K38上，Neg Prompt为34.34，Original为20.26；HunyuanVideo的K16上，SAFREE为36.05，Original为21.97。作者没有单独解释这些升高。
• I2P：EraseSAE总数低于表中其他方法。Common为102、Female为31，均为该列最低；Male为27，高于UCE的12、EAP的13和EraseAnything的22。作者称总数最低，并认为框架可以迁到T2I。

纯度、热图与定性

• 纯度：五位身份平均P̄=0.76，线性SAE为0.37。作者称前者是后者的两倍以上。类c的纯度是锁定核在该类上的激活占各类激活之和的比例，再对核平均；每类100条样本。论文未说明这组数字来自哪一个生成模型。
• Figure 3：作者称交叉身份热图对角占优、交叉激活很小。图上指标为Column-Normalized Activation Magnitude (%)，核轴列出五位名人，可见100以及介于0和46的若干百分比。抽取文本里行名与行序对不齐，故不把非对角格派到具体身份对。论文未说明热图所属模型。
• Fig. 2与Fig. 4：都在HunyuanVideo上。作者称Neg Prompt和SAFREE仍留下敏感内容或可辨认的名人面部；T2VUnlearning擦除更强，但背景和非目标物体有可见伪影；EraseSAE去掉目标并保留无关画面。纯文本看不到像素差异。

其他消融与分析

• Table 4（损失累加，Nudity Rate / SSIM）：仅Lctx为24.5 / 40.12；加Lcpt为10.21 / 43.33；再加Lleak为8.09 / 47.37；再加Ltemp为7.13 / 65.69。作者称Ltemp使SSIM提高18.32点。Laux在总损失中，Table 4未单列。
• Table 5：Linear SAE为12.76 / 56.97；单支路PConvSAE为9.06 / 61.37；双支路为7.13 / 65.69。
• Table 6：SAE-Sub为51.30 / 62.31，作者称抑制不足；SAE-Mask为6.56 / 53.51，作者称掩码内各层清零会损坏场景；SM-CFG为7.13 / 65.69。SAE-Mask的裸露率低于SM-CFG。作者称SM-CFG是擦除与结构保持之间的折中（原文写optimal trade-off）。
• Table 1的VBench：EraseSAE的Object Class为77.80 / 80.61，Original为79.91 / 83.88；Subject Consistency为94.30 / 96.04，Original为95.12 / 96.12（均为CogVideoX-5B / HunyuanVideo）。CogVideoX-5B上VideoEraser的Subject Consistency为96.47，高于EraseSAE；HunyuanVideo上Neg Prompt的Object Class为87.59，高于EraseSAE，也高于Original。
• Table 2平均SSIM：Neg Prompt为31.49 / 37.51，SAFREE为30.86 / 33.14，VideoEraser为27.35（仅CogVideoX-5B）。作者称SSIM说明擦除不破坏非目标背景。

作者指出的局限与后续方向

论文未专门讨论局限。第5节结论只写擦除效果和生成质量，没有Limitations或Future Work，也没有写出下一步要做的实验。

实验覆盖范围

• 被编辑的生成模型是CogVideoX-5B、HunyuanVideo，以及Flux.1 [dev]（第4节）。
• 裸露任务用Gen（500条，400/100）、Ring-A-Bell三档和I2P；第4.1节把视频侧写成32帧、8 fps。名人任务是5人、每人400条、对半划分，检测器为Giphy（第4.2节）。
• 主表基线见Table 1至Table 3。消融集中在HunyuanVideo的裸露任务：损失（Table 4）、SAE结构（Table 5）、推理策略（Table 6）。
• 正文写出Adam、学习率1×10^{-4}、30个epoch和8张A100。Top-K、阈值τ、引导尺度s、干预层和各损失权重未给出；作者称更多实现细节在补充材料。这份正文没有那些数值。
• 论文未报告重复次数，也未报告NudeNet或Giphy与人工判断的一致性。Table 1和Table 2里VideoEraser的HunyuanVideo单元格为“-”。

EraseSAE把SAE用于DiT文生视频模型的概念擦除。作者要解决的是：全局改权重或表面负提示对不齐细粒度、分布式的概念，而且会改到无关时空区域。

• 流程：PConvSAE在一个中间层把激活分成场景支路和概念支路，用模型自己的交叉注意力做分区监督。配对提示的对数比锁定概念核。推理时逐时间步生成掩码，只在掩码内对CFG加负向引导。扩散权重保持冻结。
• 裸露：Table 1中CogVideoX-5B的Gen Nudity Rate为2.62，Original为28.25，T2VUnlearning为2.88，SSIM为74.99。HunyuanVideo上暴露率、Original、T2VUnlearning为7.13、68.13、10.89，SSIM为65.69。Ring-A-Bell三档上EraseSAE都是表中最低，CogVideoX-5B为2.63、5.26、4.74。
• 名人、图像与纯度：Table 2平均Erase为8.00和19.20，Preserve为58.60和61.50。CogVideoX上Trump的VideoEraser为3.00，HunyuanVideo上Trump的SAFREE为9.50，都低于同格的EraseSAE。Table 3中Flux.1 [dev]的I2P总数为160，Original为605；Male为27，不是该列最低。五身份平均纯度0.76，线性SAE为0.37；论文未说明所属生成模型。
• 作者结论：作者认为干预应落在单义特征上，并称EraseSAE达到state-of-the-art的擦除效果，同时生成质量下降很小。贡献列表中的34.5%和8.3%没有写明模型。结论没有单独列出局限。