SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘

窄目标遗忘要隔离低能量、与保留知识纠缠的特定信息，而不是只改变输出。

• 场景：作者认为隐私、治理和 GDPR 第17条删除权要求去掉私人事实、版权段落或狭窄关联，且不能从头重训。
• 现有不足：梯度差、RMU 和上下文遗忘可以不再回答遗忘集，但作者认为这分不清知识已移除还是只是不表达。作者引用 Hong 等（2025）：内部痕迹可在改写、间接提示、越狱式查询或少量再学习后重现。
• 核心观察：重建目标按所捕获能量给收益。作者在 Qwen 层 −4 测得背景 top-3 PCA 能量约为遗忘残差的 329 倍（Figure 2），并认为低能量目标可能被并进更宽特征。
• 本文做法：提出 SCALPEL，用锚点对比稀疏自编码器学遗忘选择性特征，再在残差流上按激活减去解码贡献。作者称这不是参数层面的可认证删除。
• 问题设定：去掉遗忘集 Df 的影响、保住保留集 Dr，并用 Wiki 集 Dw 检查一般知识。TOFU 中一个概念是一名遗忘作者。干预不改基座权重，同一特征集用于全部输入，只在特征激活时相减。论文未使用 white-box 或 black-box 这些术语。

论文按权重更新、非权重干预和机制可解释性提取来组织相关工作。

权重更新式遗忘

• Gradient Ascent / Difference：Maini 等（2024）在遗忘集上抬损失；作者称这很快损伤模型。Gradient Difference 加上在 Dr 上的下降，并有归一化变体（Maini et al., 2024; Bu et al., 2024）。
• 其他权重目标：Zhang 等（2024）用负偏好优化替换不稳定上升项；Eldan 与 Russinovich（2023）把模型微调到通用或错误答案。
• RMU：Li 等（2024）、Huu-Tien 等（2024）把选定层遗忘激活推向随机方向，并把保留激活钉在冻结原模型上。论文指出它改权重、移动整段激活，且不抽出可解释的目标表征。

不改权重的行为干预

• 上下文遗忘：Pawelczyk 等（2023）在推理时条件化模型。作者称它改行为，不改存储表征。
• 模型编辑：Meng 等（2022）的 ROME 更新与一条事实关联相关的参数。论文指出编辑是替换关联，不是移除影响。
• 痕迹是否还在：Hong 等（2025）、Yuan 等（2024）讨论行为改变后内部痕迹仍可恢复。论文称表征层方法也不保证参数删除，但把行为变化连到明确的内部干预。

机制可解释性提取

• 分解工具：残差流被当作层间通路（Elhage et al., 2021 等）。PCA、NMF 抽出方向；论文把 NMF 用作可在遗忘/保留数据上打分的基线（Lee and Seung, 1999）。SAE 给出稀疏码和显式解码方向（Cunningham et al., 2023; Bricken et al., 2023; Gao et al., 2024 等）。
• 已有 SAE 遗忘：Farrell 等（2024）按激活统计选特征并改原激活。Zhou 等（2025）的 LLM Neurosurgeon 改稀疏码并用完整重建替换激活；论文称这会注入重建误差，且其实验在移除特征前就损伤 retain 与 Wiki。
• 子空间更新：Wang 等（2025）用解码方向约束权重更新。论文认为这适合全局可分的宽主题，而本文目标与保留数据重叠，不占干净线性子空间。

基线与基准

• 基线方法：NMF、仅重建加稀疏的 standard SAE、单码对比 SAE、SCALPEL、Gradient Difference、RMU。
• 基准：TOFU（Maini et al., 2024），并用 Wiki 数据 Dw 检查一般知识。

作者把本文定位为：现有 MI 遗忘多复用通用重建特征；SCALPEL 改为训练提取器，只沿少数目标特异性解码方向干预，以看可检查的选择性干预能否接近不透明的 RMU。

SCALPEL 不更新基座权重：为每个遗忘作者做多视图，在固定层训练锚点对比 SAE，选出特征后只减去其解码贡献（Figure 1）。

目标粒度与多视图

• 作者级概念：Df、Dr、Dw，背景 Dbg 为 Dr 与 Dw 的并集。作者称 TOFU 的遗忘/保留作者来自同一生成过程，划分随机而非语义，激活重叠（附录 D，Figure 5），故不把整个遗忘集当一个概念。Ga 是作者 a 的遗忘样本。
• 视图：改写、用 Qwen2.5-7B-Instruct 做提示风格改写，以及回译（Sennrich et al., 2016; NLLB Team et al., 2022）。增广前抽出姓名、日期、标题、关系并约束不变。实验用 16 类模板，再经法语、西班牙语、德语用 NLLB-200 回译（Section 6）。
• 范围：作者写把每个 chunk 当目标可扩到 MUSE，但将该评测留到后续（Section 4.1）。

残差激活与对比 SAE

• 缓存与层：在已微调模型的层 ℓ 缓存残差流。实践取输出前第四层，记为 L−4，各表征方法固定该层。作者称不主张该层最优（Section 4.2）。
• 标准化与分解：用训练缓存的均值和标准差做逐维标准化。编码器输出非负稀疏码，线性解码器重建。训练含遗忘、保留、Wiki 上的重建损失和 ℓ1。对比用尺度不变的 norm-aware 激活，即系数乘解码方向范数，并在 token 级余弦相似度上计算，相似度之前不做 token 平均。
• 正负样本：同一概念的 batch 内其他 token 为正样本。负样本按变体可含 retain 或 Wiki，且来自保留数据，不把其他遗忘样本当负样本。温度为 τ>0，损失是多正样本 InfoNCE。

双块目标

• 分块：受 Poupart（2024）启发，码分成公共块和目标块，联合解码。公共块拟合共享结构；目标块把同一遗忘目标的视图与 retain、Wiki 对比。
• 谁可被干预：总损失为重建、稀疏和两块对比项的加权和。只有目标块特征可以进入干预集。

选择与残差干预

每个特征按作者相对背景的平均 norm-aware 激活打分，s_q(G_a)=μ_q(G_a)/(μ_q(bg)+ε)。不低于 smin 的特征入选；集合为空则回退到 top 特征。多个作者的集合取并，共享特征只保留一次。

同一集合用于每个输入，不读取作者身份或遗忘/保留标签。特征只在编码器激活时被减。在把标准化空间的贡献映回残差流后，干预是 \tilde{h}^{\ell}=h^{\ell}-\alpha\sum_{q\in S_f}z_q(h^{\ell})(\sigma_H\odot d_q)。作者改原激活，而不用完整 SAE 重建替换 h，以避免注入重建误差。

理论说明

• 命题 5.1：作者在非负码、解码尺度受控，且稀疏的目标—背景分离与相近重建和稀疏代价相容的假设下，称加入对比项会使同目标归一化码内积趋向 1、背景负样本趋向 0。未相互对比的遗忘目标仍可共享特征。证明在附录 B。
• 命题 5.2：若所选特征分数不低于 smin，背景上干预扰动的期望范数有上界，量级为目标上激活质量除以 smin。作者称该界只管表征空间的期望幅度，不管下游行为或最坏情况，也不含解码方向（Section 5，附录 C）。

实验设置

• 模型：被遗忘模型为 Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it。每种子从基座得到 θfull（在 Df∪Dr 上微调，所有方法的起点）和 θret（只在 Dr 上）。视图另由 Qwen2.5-7B-Instruct 生成。
• 数据：TOFU；主图为 forget10，并用 Wiki 测一般知识。附录 E 写遗忘侧用全部 13,000 条增广遗忘行，保留侧每种子从增广保留池抽 64,000 行。选择目标的探针是 OpenUnlearning 的 forget05 与 holdout05。
• 方法：NMF；仅重建加稀疏的 standard SAE；单共享码对比 SAE（一或两层编码器）；SCALPEL；Gradient Difference；RMU。表征方法共用层 L−4 和相同 token 位置；分解允许时，选择与干预流程相同。
• 搜索与重复：正文写每个模型–方法对 Optuna 25 次试验。附录 E 写 SAE 族 25 次、GradDiff 与 RMU 各 20 次。胜出配置冻结后，五个端到端种子重跑微调、训练、选择和 OpenUnlearning 评测。
• 指标：主权衡是 TOFU model utility 与遗忘集 ground-truth answer probability。另有 Q–A probability、ROUGE、forget quality、truth ratio、privacy leakage、extraction strength 和基于改写的评测。选择标量为 margin，即保留与 holdout 概率的二分之一减去遗忘概率。
• 操作点：有 α 的方法，报告曲线用 log α 自适应二分（附录 H）；试验内则是粗网格加黄金分割（附录 E）。GradDiff 与 RMU 没有 α，操作点是训练检查点。

主结果

Figure 3 与附录 F.1 的权衡曲线没有可提取坐标。下表是选择阶段 margin（Table 3）。

表格较宽，可左右滑动

方法	Qwen2.5	Llama-3.2	Gemma-2
Contrastive SAE	0.528	0.532	0.518
SCALPEL-Split	0.526	0.533	0.517
Standard SAE	0.073	0.088	0.313
NMF	0.020	≈0	0.020
GradDiff	0.509	0.517	0.527
RMU	0.531	0.526	0.524

• 曲线：作者称在 Qwen 的 TOFU forget10 上，NMF 与 standard SAE 降低遗忘概率时 model utility 损失大；对比学习改善权衡，主要 SCALPEL 变体在实际相关区间位于或接近 Pareto 前沿（Figure 3）。
• 优化基线：作者称 RMU 与 Gradient Difference 仍强，但 SCALPEL 在基座固定、干预由稀疏激活和解码方向表达时取得相当权衡。Llama 与 Gemma 作者称表现一致（Figure 7、Figure 8）。
• margin 与例外：附录 E.4 称上表已预示基准：重建式提取达不到有用 margin，对比变体在选择时接近训练器基线。Gemma 的 standard SAE 为 0.313，高于该行另外两列，仍低于同列对比方法。

选择性几何

• 测了什么：五个 Qwen 种子的留出激活上，比较 standard SAE、contrastive SAE 与 SCALPEL-Split。Cpos 是同目标余弦相似，Cbg 是目标–背景相似，ΔC 为二者之差（Section 7.2）。
• 结果：重建式 SAE 靠近 Cpos=Cbg，ΔC≈−0.01；加对比后 ΔC≈0.27；SCALPEL-Split 的 ΔC≈0.43（Figure 4a）。
• 特征级：附录 G 称 mean top-5 selectivity 从重建式 SAE 的约 1.9 到对比 SAE 的 4.0，再到 SCALPEL-Split 的 24.5。作者称对比项把特征组织到目标上并远离背景。

分数与单特征干预

• 设置：十名作者各取 top-5 特征–目标对，共 50 个选择。每个对单独扫描 α，记录遗忘与保留概率（Section 7.3）。
• 结果：作者称更高分数箱在固定遗忘概率下保留更多 retain 概率，或在相近 retain 概率下遗忘更强（Figure 4b）。正文未给出各箱坐标。
• 例外：作者称单个特征的排序仍不完美，因为分数含激活幅度和选择性，不含解码方向相对局部几何的朝向。

其他消融与分析

• 能量：Qwen 层 −4，背景 top-3 能量 3,787,695，去掉这些方向后的遗忘残差 top-3 能量 11,517，约 329 倍（附录 A.3）。作者称残差不是纯遗忘流形，但差距大于同数据随机划分。
• 完整重建：论文称用完整 SAE 重建替换激活会注入重建误差，且在移除特征前就损伤 retain 与 Wiki；未给数值（Section 2）。
• GradDiff：附录 E.4 称唯一事后改动是把它换成单 epoch、每 20 步存检查点，因为按所选学习率，遗忘集在第一 epoch 内塌缩。
• 一例配置：Qwen 对比 SAE 胜出配置为潜维 1024、编码器深 2、19 epoch、batch 256、稀疏系数 2.34×10−3、τ=0.1、对比权重 2.95×10−2、阈值 12.7（附录 E.4）。
• 低 margin：NMF 在三模型上为 0.020、约 0、0.020；Llama 的 standard SAE 为 0.088（Table 3）。

作者指出的局限与后续方向

• 评测范围：覆盖 TOFU 和三个相对较小的模型；更大模型、更少受控的数据，以及文档、事实或样本级目标仍未测（Section 8）。附录 I 写 MUSE 与 WMDP-Bio 的评测尚未完成。
• 理论：分析是局部的；扰动界控制表征空间幅度，不控制模型行为（Section 8，附录 I）。
• 不是参数删除：SCALPEL 在所选特征激活时加持续内部滤波，不擦除参数痕迹。作者称结果是干预下的选择性行为与表征层遗忘，不是可认证删除（Section 8）。
• 下一步：用抽出的特征引导永久参数更新并保持选择性（Section 8）。附录 I 还列出顺序遗忘、上下文编码器和几何感知分数。
• 分数与共享特征：分数忽略解码方向相对局部流形的朝向；多名作者可选到同一特征，移除共享特征可能影响另一作者（附录 I）。
• 指标含义：作者称现有指标主要测输出行为，不能判定目标信息是否仍在内部，或能否经其他提示恢复（附录 I）。

实验覆盖范围

• 模型与数据：被遗忘模型为 Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it；数据为 TOFU，主图为 forget10，并用 Wiki 测一般知识（Section 6，Figure 3、7、8）。
• 协议：方法经独立超参搜索后，用五个端到端种子聚合；遗忘侧 13,000 条增广行，保留侧每种子 64,000 行（Section 6，附录 E）。
• 对比与层：基线包括 NMF、standard SAE、contrastive SAE、Gradient Difference、RMU；表征方法固定在 L−4（Section 6）。
• 诊断：几何与 top-5 选择性在五个 Qwen 种子上；单特征曲线为十名作者乘 top-5，共 50 对（Section 7.2–7.3，附录 G）。
• 论文未报告：Figure 3 与附录 F 权衡曲线的坐标读数，以及这些自动指标与人工判定的一致性。

SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。

• 问题：不再回答遗忘问题，不等于内部痕迹消失。作者认为重建式提取按能量分配容量，低能量目标容易混进背景特征。
• 做法：每个遗忘作者做成多视图锚点，在层 L−4 训练对比 SAE。负样本来自 retain 与 Wiki，而不是其他遗忘样本。码分公共块与目标块，只对目标块里高选择性特征，在激活时从原残差流减去解码贡献。
• 能量：Qwen 层 −4 上，背景 top-3 PCA 能量为 3,787,695，去掉这些方向后的遗忘残差 top-3 能量为 11,517，约 329 倍（附录 A.3）。
• 遗忘权衡：作者称在 Qwen、Llama、Gemma 的 TOFU forget10 上，SCALPEL 相对 NMF 和重建式 SAE 改善 utility–遗忘概率权衡，并与 RMU、Gradient Difference 相当，同时基座固定、干预可检查（Figure 3，附录 F.1）。选择 margin 上，SCALPEL-Split 为 0.526、0.533、0.517，RMU 为 0.531、0.526、0.524（Table 3）。
• 选择性：五个 Qwen 种子上，SCALPEL-Split 的 ΔC 约 0.43，mean top-5 selectivity 约 24.5；重建式 SAE 的 ΔC 约 −0.01，top-5 约 1.9（Figure 4a，附录 G）。作者认为更高选择性分数与更好的单特征遗忘–保留权衡相关，但单个特征排序不完美。
• 作者结论：作者认为对比训练促进目标选择性表征，并把该工作当作连接机制可解释性与细粒度遗忘的一步；同时称这不是可认证的参数删除。