面向邻接保持身份遗忘的反事实特征引导
Counterfactual Feature Steering for Adjacency-Preserving Identity Unlearning
作者提出 CFS:在 SD 1.4 文本编码器 SAE 潜空间做有界推理时身份遗忘,作者称其在 Celeb-100 派生的 4,000 提示词上取得最优 AWUS 0.296。
部署场景为托管推理:模型提供方控制干预,可激活目标方向而无需维护单独的权重编辑 checkpoint;作者明确这不是面向控制服务代码用户的防篡改移除机制。
- 文生图扩散模型的身份遗忘需要在移除目标身份的同时保留语义相邻的非目标身份(adjacency preservation),作者认为现有 steering 方法干预强度无界且对所有提示词一视同仁,容易误伤相邻概念。
- 提出 Counterfactual Feature Steering(CFS):在 SD 1.4 冻结 CLIP 文本编码器第 9 层上训练一次性 k-SAE,用 forget/retain 统计得到目标方向,推理时按每个 token 与该方向的对齐度做有界投影,并配套 AWUS/FaceAWUS/LPIPS-gap 指标。
- 在 Celeb-100 派生的 4,000 提示词、8 个目标身份上,CFS 的 AWUS 0.296、FaceAWUS 0.636、LPIPS-gap 0.402 均为 Table 1 中最高;I2P 裸体检测率 0.47% 为 Table 2 最低,MMA-Diffusion 上 ESD 更低;COCO-30K 上 FID 从 15.71 变为 16.11。
- 作者指出该方向缺乏系统的身份遗忘+相邻保留基准,且 CFS 依赖底层 SAE 表示质量(Conclusion)。实验仅在 SD 1.4 上进行,身份目标为 8 个名人;ArcFace 评测中 20.8% 的目标输出人脸检测失败。
- 威胁模型
- 部署场景为托管推理:模型提供方控制干预,可激活目标方向而无需维护单独的权重编辑 checkpoint;作者明确这不是面向控制服务代码用户的防篡改移除机制。目标是从文生图模型中移除生成特定身份的能力,同时保留相邻非目标身份。
- 被测模型
- Stable Diffusion 1.4
- 基准
- Celeb-100 派生的 4,000 提示词语料(100 个名人身份)COCO-30K(10,000 条 caption)I2PRing-a-Bell(K77、K38、K16)MMA-DiffusionUnlearn Canvas 风格提示词语料
- 指标
- AWUSFaceAWUSLPIPS-gapFIDCLIPScoreNudity Detection Rates/image
反事实特征引导(CFS)在文生图扩散模型中遗忘目标人物身份,同时保留相邻非目标身份。其需一次性 SAE 训练,推理时在文本编码器所接稀疏自编码器潜空间做有界概念编辑。在 Celeb-100 的 100 个名人身份、4,000 条提示词上,CFS 在目标擦除与相邻及通用概念保留之间取得评估中最强权衡,并提出 AWUS 评分衡量该权衡。
深度解读
这篇论文试图解决什么问题?
研究文生图模型身份遗忘中的相邻保留:移除目标身份同时不误伤语义相邻的非目标身份。
核心问题:如何在文生图扩散模型中移除某个特定身份的生成能力,同时保留语义或视觉上相邻的非目标身份(作者称之为 adjacency preservation)。
- 场景与动机:文生图模型在大规模网络数据上训练,可能未经许可复现个人身份,涉及隐私、安全与合规(如 GDPR);定向遗忘被视为在保留整体效用的同时移除不良概念的途径(按作者说法)。
- 现有方法的不足:作者认为现有 steering 方法在潜空间施加固定强度的干预,存在两个结构性问题:强度无界,增大到一定程度后输出会退化或表示坍缩;同一强度均匀施加于所有提示词和 token,无法区分目标概念强表达与弱表达的情形,增加误伤相邻概念的风险。
- 核心观察:作者提出先测量当前激活与目标概念的对齐程度,再施加受控校正;对齐度非正的 token 不做修改,从而实现有界、输入自适应的干预。
- 论文的贡献:提出 Counterfactual Feature Steering(CFS)方法、相邻感知的评测指标 AWUS 及其扩展(FaceAWUS、LPIPS-gap),并在身份遗忘、裸体抑制和艺术风格移除上评测。
- 部署设定:作者设想的部署是托管推理场景,由模型提供方控制干预、按需激活目标方向,无需维护单独的权重编辑 checkpoint;作者明确这不是面向控制服务代码用户的防篡改移除机制。
有哪些相关研究?
相关工作分三组:扩散模型概念遗忘(权重编辑与推理时 steering)、SAE 可解释性、扩散模型之外的机器遗忘。
扩散模型概念遗忘——权重编辑方向
- ESD [7]:用对比目标微调 UNet 交叉注意力权重,使输出远离目标概念。
- UCE [8]:闭式权重更新,保留人工指定的锚概念。
- MACE [13]:结合 LoRA 微调与分割引导掩码做大规模多概念擦除。论文指出这类方法需要修改并存储更新后的权重,难以逆转或组合。
扩散模型概念遗忘——推理时 steering 方向
- SLD [19]:在每个扩散步修改 classifier-free guidance 信号以抑制不安全内容。
- One Step Is Enough [21]:对 SDXL-Turbo 的 UNet 残差流施加固定均值概念向量;SAeUron [4]:在 UNet 激活上乘性抑制概念相关 SAE 特征;Concept Steerers [12]:在 CLIP 文本编码器上训练 SAE 找到概念方向并在推理时减去。
- FADE [23]:形式化 Concept Neighborhood 以在擦除时保留相关概念;EraseBench [1]:记录视觉和语义相关概念的附带退化。论文称 CFS 与这些工作的区别在于推理时、输入依赖的投影机制和针对身份的保留分析。
SAE 与机制可解释性
- SAE 将稠密激活分解为稀疏、近似单语义的特征 [2, 22],最初用于语言模型 [10],后被用于扩散模型的概念识别 [24, 25, 12, 4, 21]。
扩散模型之外的机器遗忘
- 机器遗忘最初面向分类模型,移除特定训练样本的影响 [3, 9];近期工作扩展到 LLM [6, 27] 与生物特征识别系统 [20]。论文指出生成式遗忘要移除的是分布在许多提示词和参数中的语义概念,与单样本遗忘根本不同。
基线与基准:对比基线为 Concept Steerers、SAeUron、One-Step、SLD(推理时 steering)和 ESD、UCE(权重编辑);身份评测用作者自建的 Celeb-100 派生 4,000 提示词语料,裸体抑制用 I2P、Ring-a-Bell、MMA-Diffusion,风格实验用 Unlearn Canvas 的提示词语料。
作者将本文定位为:以输入自适应、有界的推理时投影解决相邻保留问题,并提供身份层面的保留分析,区别于固定强度减法式 steering 和权重编辑。
论文如何解决这个问题?
CFS:在冻结文本编码器第 9 层的 k-SAE 潜空间求目标方向,推理时按 token 对齐度做有界投影。
整体思路:把文本编码器中间层的稠密激活投影到 SAE 潜空间,在其中识别目标概念方向并做有界、输入自适应的逐 token 投影,再把编辑解码回隐藏空间注入冻结的扩散模型。方法名为 Counterfactual Feature Steering(CFS),概览见 Figure 1。
问题设定与 SAE 表示
- 骨干为 Stable Diffusion 1.4:提示词被分词为 T = 77 的序列,经 CLIP 文本编码器得到隐藏状态,通过交叉注意力条件化 U-Net。
- 干预点为 CLIP 文本编码器第 ℓ = 9 层,由消融选定(在测试的 4、6、8、9、10、11 层中 AWUS 最高);作者说明这是任务和骨干相关的经验选择,不是通用的选层结论。
- 在第 9 层激活上训练 k-sparse autoencoder(k-SAE):zt = TopK(ReLU(Wenc ht + b), k),解码器对 z 线性,因此特征空间的差可直接映射为隐藏空间的差。身份域 SAE 训练一次(约 2 小时)后复用于全部 8 个身份目标;新目标只需可缓存的无梯度 forget/retain 统计(每目标约 925 KB),不需重训 SAE 或改动扩散模型权重。
目标概念方向
- 把提示词语料按是否提及目标概念 c 划分为 forget 集 Pf 与 retain 集 Pr,在每个 token 位置计算两组激活的均值与标准差。
- 用判别力打分选 top-k 特征:分子奖励在 forget 集强激活、retain 集弱激活(带 retain 惩罚 λr),分母惩罚 retain 集激活方差大的特征,理由是这类特征在非目标提示词上没有稳定基线,减去它会在非目标生成上引入不一致的编辑。
- 由 top-k 特征构成逐 token 方向:retain 质心指向 forget 质心的单位向量 d̂t(I* 之外的坐标置零)。
反事实投影(推理时)
- 在文本编码器条件分支第 9 层输出挂 forward hook,逐 token 执行三步。
- 第一步测对齐信号:αt = max((zt − μtr) · d̂t, 0),即稀疏编码相对 retain 质心在目标轴上的正分量;clamp 防止对已在 retain 侧的激活放大概念信号。
- 第二步在 SAE 空间投影:z_cf = zt − s·αt·d̂t,s ∈ [0, 1];s = 0 恢复原表示,s = 1 时是到 retain 半空间的最小欧氏范数投影(Proposition 1,证明见附录 B):正对齐 token 被投到边界且不越过 retain 侧,非正对齐 token 不变。
- 第三步解码回隐藏空间:h_CFS = ht − s·αt·d̂t·W_dec^T;解码方向每目标预计算一次,推理时无需显式构造反事实编码。
评测方式
- 提出 AWUS = Target Erasure − Collateral Damage,在 CLIP 嵌入空间计算目标提示词的归一化分数下降与非目标(相邻+通用)提示词下降之差(附录 C)。
- FaceAWUS 用 ArcFace 人脸嵌入定义相邻性,衡量目标脸变化与相邻脸变化之差;LPIPS-gap 衡量目标图像比相邻/通用图像多变化多少。
- 作者说明 CLIP 分数和整图 LPIPS 也会响应背景等属性,ArcFace 提供身份特异性证据但依赖基线人脸可识别性和检测成功。
- 通用超参数:k = 48、λr = 0.1,所有实验共用,投影规则不变;裸体与风格实验使用各自领域训练的 SAE。
论文做了哪些实验?
8 个名人目标上 CFS 三项净效用指标均为 Table 1 最高;裸体抑制多数设置最低;COCO 上 FID 略升。
实验设置
- 被测模型:Stable Diffusion 1.4;干预在其冻结 CLIP 文本编码器第 9 层。
- 基线:Concept Steerers、SAeUron、One-Step、SLD(推理时 steering);ESD、UCE(权重编辑)。所有方法使用相同目标、提示词、种子、推理步数和 guidance;CFS 用 s = 1,强度可控基线报其 AWUS 扫描中的最佳工作点,ESD/UCE 用对应编辑 checkpoint。
- 数据:Celeb-100 派生的 4,000 提示词,覆盖 100 个名人身份;选 8 个目标(Obama、Biden、Musk、Gates、Messi、Ronaldo、Cooper、Johansson),每目标 4 个相邻身份(附录 A)和 9 条共享通用提示词。
- 指标:AWUS(CLIP 空间)、FaceAWUS(ArcFace 空间)、LPIPS-gap,均为越高越好;另有 FID、CLIPScore、Nudity Detection Rate(越低越好)。
- 评审方式:ArcFace 在配对提示词/种子/生成设置下评测检测到的人脸区域,参照来自未修改 SD 1.4 的生成图而非真实名人照片;裸体检测率由检测器给出(论文未写明检测器名称)。
- 其他:通用性评测用 10,000 条 COCO-30K caption,对 8 个身份方向取平均;运行时测 1 张 A30、50 DDIM 步、20 次测量(3 次预热)。
主结果
Table 1:8 个名人目标上平均的净效用指标(越高越好;据 Table 1)
表格较宽,可左右滑动
方法 AWUS ↑ FaceAWUS ↑ LPIPS-gap ↑ SAeUron 0.233 0.300 0.108 Concept Steerers 0.279 −0.077 0.038 UCE 0.198 0.543 0.163 ESD 0.262 0.138 0.051 SLD 0.003 0.093 0.022 One-Step 0.106 0.136 0.033 CFS (Ours) 0.296 0.636 0.402 - 作者称 CFS 在三个指标上均为所有方法中最高。
- 作者称原始擦除分数更高的方法,其附带损伤是 CFS 的 12–22 倍,净指标正确地惩罚了这一点(附录 K 的 TER/CDR:CFS TER 0.306、CDR 0.011;Concept Steerers TER 0.479、CDR 0.447)。
- 附录 I 的逐目标雷达图(Figure I.1)显示:CFS 在 AWUS 上各身份形状均衡,在 FaceAWUS 上占据外圈,在 LPIPS-gap 上对每个身份都包住其他方法;SAeUron 和 One-Step 在多数目标上因擦除过激导致 ArcFace 检测不到人脸,多边形坍向中心。
独立人脸身份验证与通用生成质量
- ArcFace 配对评测:CFS 全强度下目标人脸相似度均值 0.160(n = 38),相邻身份保留 0.760(n = 56);目标输出人脸检测失败率 20.8%,相邻输出 3.4%。作者称这与目标脸受扰大于相邻脸一致,但检测失败和基线身份渲染的波动限制了解释。
- 基线自一致性:未修改模型在三种提示词模板下的自一致性约 0.15–0.66,多数目标在 0.45–0.66;作者指出低一致性目标是较弱的身份移除检验。
- COCO-30K 通用保持:10,000 条 caption 上,未修改 SD 1.4 的 FID 15.71、CLIPScore 27.39,CFS 为 FID 16.11、CLIPScore 26.95(变化 +0.40 和 −0.44)。
强度稳定性、几何与语义对齐
- 强度稳定性(Figure 3):作者称 CFS 在 s 增大时身份逐渐被移除而姿态、光照、背景保持稳定,AWUS 随强度提升至完全投影;减法式方法在高强度下常因无界编辑而退化。附录 F 的 Figure F.1 显示 CFS 位于目标脸变化高、相邻脸变化低的区域。
- 方向几何(Figure 4 左):多数身份方向两两余弦相似度低,作者称这与所选轴重叠有限一致,但不保证正交;Ronaldo–Messi 是更纠缠的一对,仍可能有附带影响。
- 语义对齐(Figure 4 右):对 Elon Musk,"CEO of Tesla" 和 "Founded SpaceX" 分别达到显式名字信号的 63% 和 55%,而 Bill Gates 保持低位;Obama 相关迂回表述比相邻身份 Joe Biden 更强地激活目标方向。附录 H 的 token 级热图显示对齐信号集中在承载姓名的 token 上。
泛化:裸体抑制与风格移除
Table 2:Nudity Detection Rate(%,越低越好;SD 1.4 为未修改;据 Table 2)
表格较宽,可左右滑动
基准 SD 1.4 ESD SLD-MAX CFS I2P 17.80 2.87 1.74 0.47 Ring-a-Bell K77 85.26 20.00 23.16 4.27 Ring-a-Bell K38 87.37 29.47 32.63 7.42 Ring-a-Bell K16 93.68 35.79 42.11 12.63 MMA-Diffusion 95.70 12.70 52.10 17.48 - 作者称 CFS 在所有报告设置上优于推理时的 SLD-MAX,在 I2P 和 Ring-a-Bell 上最低;MMA-Diffusion 上 ESD 最低(12.70,CFS 为 17.48)。
- 风格移除为定性结果(Figure 5):作者称 CFS 逐步移除 Van Gogh 风格特征同时保持物体与场景结构;附录 G 给出组合两个身份方向和从迂回表述中擦除身份的定性示例。
其他消融与分析
- top-k 与 λr(Table 3 左,单目标 Elon Musk,s = 1 的 AWUS):k ≤ 30 时几乎为 0;k = 48、λr = 0.1 为 0.375;k = 96、λr = 0.8 为 0.366;作者称 k 较大信号更强,λr 间相对稳定。
- 干预层(Table 3 右):第 4 层 0.167、第 6 层 0.245、第 8 层 0.311、第 9 层 0.375、第 10 层 0.302、第 11 层 0.288,中间层最好。
- SAE 空间 vs 原始隐藏空间(Table 4,匹配设置的单目标消融):原始空间目标擦除率 0.399 略高于 SAE 空间 0.387,AWUS 0.391 略高于 0.381;但 SAE 空间 CLIP 附带漂移更低(0.0065 vs 0.0078)、相邻人脸相似度保留更高(0.848 vs 0.722)。作者称证据支持 SAE 对选择性的贡献,而非在所有标量指标上都更好。
- 运行时(Table J.1):CFS 9.50 s/image,未修改 SD 1.4 为 9.52;Concept Steerers 9.96、One-Step 10.42、SAeUron 15.75、UCE 18.75、ESD(含微调)21.23、SLD 25.44。
有什么可以进一步探索的点?
作者指出缺系统基准和 SAE 表示质量两个方向;实验仅覆盖 SD 1.4 与 8 个名人目标。
作者指出的局限与后续方向
- 缺乏系统基准(Conclusion):作者指出这一研究方向的关键局限是缺少评估"身份遗忘+相邻保留"设置的系统基准;本文用 Celeb-100 等公开资源尽力挑选相邻身份,构建专门基准是未来方向。
- 依赖 SAE 表示质量(Conclusion):CFS 及相关概念 steering 方法依赖底层 SAE 表示的质量;更深入分析 SAE 学习及其捕捉概念特异特征的能力是未来方向。
- 几何性质不保证保留(Introduction):作者说明沿所选目标轴的有界性等几何性质本身并不保证保留所有相邻概念或图像属性。
- 方向纠缠的例外(Section 4.3):多数身份方向余弦相似度低,但不保证正交;Ronaldo–Messi 是更纠缠的一对,附带影响仍可能发生。
- ArcFace 评测的解释受限(Section 4.3):检测失败(目标输出 20.8%)和基线身份渲染的波动限制解释;低自一致性目标是较弱的身份移除检验。
- 部署边界(Introduction):CFS 不是面向控制服务代码用户的防篡改移除机制。
实验覆盖范围
- 被测模型仅 Stable Diffusion 1.4;身份目标为 8 个名人,每目标 4 个相邻身份和 9 条通用提示词,语料为 Celeb-100 派生的 4,000 提示词。
- 泛化评测覆盖裸体抑制(I2P、Ring-a-Bell K77/K38/K16、MMA-Diffusion)和 Van Gogh 风格移除(定性);通用生成质量用 10,000 条 COCO-30K caption。
- 主比较中 CFS 固定 s = 1,强度可控基线报各自最佳 AWUS 工作点;附录 K 另报全强度 CLIP 空间对照,但该对照下并非所有方法都有人脸空间指标。
- ArcFace 独立验证的样本量为 n = 38(目标)和 n = 56(相邻);论文未报告主结果多次重复的方差或统计检验。
- 论文未报告对自适应攻击(针对 CFS 机制专门设计的绕过方法)的评测;裸体基准中的 Ring-a-Bell 与 MMA-Diffusion 为论文所称的 adversarial prompt sets。
总结一下论文的主要内容
CFS 在 SAE 潜空间做有界、输入自适应的身份遗忘,作者称其在相邻保留上取得最优净效用。
一篇关于文生图扩散模型身份遗忘的论文,关注移除目标身份时保留语义相邻的非目标身份(adjacency preservation)这一问题。
- 问题:作者认为现有 steering 方法干预强度无界且对所有提示词均匀施加,容易误伤相邻概念;身份遗忘需要在擦除目标与保留相邻身份之间取得平衡。
- 方法:CFS 在 SD 1.4 冻结 CLIP 文本编码器第 9 层训练一次性 k-SAE,用 forget/retain 统计选出判别性特征并构造目标方向;推理时逐 token 测量与目标方向的对齐度 αt,按 s·αt 做投影,s ∈ [0, 1] 保证不越过 retain 侧边界、非正对齐 token 不变。配套提出 AWUS、FaceAWUS、LPIPS-gap 三个净效用指标。
- 主结果:在 Celeb-100 派生的 4,000 提示词、8 个名人目标上,CFS 的 AWUS 0.296、FaceAWUS 0.636、LPIPS-gap 0.402 均为 Table 1 中最高;作者称高原始擦除的方法附带损伤是其 12–22 倍。
- 其他证据:ArcFace 配对评测中目标人脸相似度 0.160(n = 38)、相邻保留 0.760(n = 56);10,000 条 COCO-30K caption 上 FID 从 15.71 变为 16.11、CLIPScore 从 27.39 变为 26.95;裸体检测率在 I2P 上为 0.47%(Table 2 最低),MMA-Diffusion 上 ESD 更低(12.70 vs 17.48);运行时 9.50 s/image,与未修改 SD 1.4 的 9.52 基本持平。
- 作者结论:作者称 CFS 在目标擦除与相邻保留之间取得所评测方法中最优的权衡,且跨强度稳定,而减法式方法在强干预下退化;同一投影规则可迁移到裸体抑制与风格移除。
- 边界:作者指出该方向缺系统基准、方法依赖 SAE 表示质量,且部署定位是托管推理而非防篡改移除。