ARIA：用稀疏自编码器实现测试时机器遗忘

如何在不改模型权重的前提下抑制目标知识，同时避免权重式遗忘里遗忘越强、效用越差、且知识可被恢复的问题。

• 场景与重要性：作者认为机器遗忘需要从已训练 LLM 中选择性去除目标知识，而不从头重训。部署模型可能记住私有、受版权或有害内容，并经直接回答、改写、中间推理轨迹，或提示操纵与微调攻击泄漏。
• 现有方法不足：现有方法主要用梯度上升及其变体改权重。作者称它们在部分基准上有效，但存在尖锐的遗忘–效用权衡：更强遗忘会损害效用，保守更新又会留下可恢复痕迹；提取提示、软提示、对抗后缀、轻量微调与部署时量化后，看似遗忘的知识可能重新出现。
• 核心观察：作者把遗忘视为冻结模型上的运行时访问控制。若生成中能识别遗忘相关状态，就只在这些状态上干预，未触发状态严格沿用原模型，从而把遗忘与保留解耦。
• 提出的方法：提出 ARIA（autoencoder-gated inference-time unlearning）。用通用语料上预训练的稀疏自编码器（SAE）潜变量训练轻量线性检测器，仅在触发时做可解释干预；并给出检测误差对遗忘泄漏与保留退化的条件界（Theorem 3.1）。
• 威胁模型：
  • 目标：遗忘分布 Df 上的状态不应泄漏目标知识，保留分布 Dr 上应保持原模型行为。
  • 知识与改动范围：基座模型 pθ 与 SAE 编码器保持冻结；只训练检测头，并在推理时按状态路由。
  • 受害系统：自回归 LLM 的逐 token 生成。论文评测 thinking 模型与 instruction 模型。
  • 恢复与绕过：作者引入覆盖权重空间与解码空间的三种后遗忘攻击。附录 A 称 ARIA 是测试时干预而非权重删除，白盒直接访问权重、去掉检测器即可绕过。

• 生成模型的机器遗忘：早期做法用 token 重标注微调 [12]，或把梯度上升、梯度差与 KL 保留项形式化 [48]；NPO [51] 与 SimNPO [13] 用偏好式目标缓解朴素上升的崩溃；RMU [24] 针对有害知识做表示误导；综述 [27] 整理设计空间。评测集包括 TOFU [30]、MUSE [39] 与关注思维链泄漏的 R-TOFU [49]。作者称权重编辑式遗忘是浅层的：遗忘内容可经提取提示 [35]、嵌入空间软提示 [38]、八种鲁棒性探针 [29]，以及最小微调或单方向编辑 [28] 恢复。对 thinking 模型，作者引用 R1 的 <think> 轨迹比最终答案有更大安全脆弱性 [31]，以及 R2 MU 遗忘轨迹而不只是答案、同时保留推理能力 [44]。
• LLM 的测试时干预：解码时方法用辅助专家或安全感知的 token 打分引导生成 [26, 47]；激活级方法通过真实性方向、激活加法、对比激活加法与表示工程干预内部表示 [23, 43, 37, 53]。后续工作使控制更有条件，包括指令特定转向、条件拒答、选择性多属性干预、基于回溯的转向、上下文相关向量场与查询特定转向向量 [40, 21, 34, 8, 22, 45]。作者称 ARIA 共享冻结权重的前提，但把运行时控制用于遗忘，且只在进入遗忘相关状态时路由，而不是施加全局转向或通用安全过滤。
• 可解释 LLM 的稀疏自编码器：SAE 把中间激活分解为宽且稀疏激活的词典，特征通常比单个神经元更可解释 [9, 5]；TopK [16] 与 JumpReLU [36] 改善重建–稀疏帕累托前沿，Gemma Scope [25] 提供逐层 SAE。SAE 潜变量被用作因果把手：用于引导 Claude 3 Sonnet [41]、稀疏特征电路做因果编辑 [32]、聊天模型拒答由单一残差流方向中介 [1]。SAE 特征也被用作有害提示分类器 [4, 15]，以及 LLM [14, 20, 33, 2] 与扩散模型 [10] 中概念移除的消融目标。作者称借鉴 SAE 特征消融做概念移除，但把遗忘当作检测器门控的测试时回答控制。
• 基线方法与基准：权重基线为 GA [48]、GD [48]、NPO [51]、RMU [24]，并与冻结的 Pre-unlearning 模型及 retain-only oracle 对照。基准为 TOFU [30] 的 forget10/retain90、R-TOFU [49]、WMDP-cyber [24]，保留效用用 MMLU [19] 及各基准自带的效用探针。

作者称本文与权重编辑路线正交：不改基座权重，只在 SAE 检测器标记遗忘触发时干预。

ARIA 把遗忘做成冻结模型上的状态相关路由：先用通用语料的 SAE 特征识别遗忘相关生成状态，再只在这些状态上干预。

问题设定与形式化

• 生成与任务：冻结自回归模型 pθ 在提示词 x 下按 pθ(yt | st) 生成，st = (x, y<t)。任务给出遗忘分布 Df 与保留分布 Dr。
• 与权重法的差别：权重法寻找 θ′ 并对所有提示与状态部署同一 pθ′，遗忘与保留耦合。测试时遗忘保持 pθ 不变，逐状态决定沿用基座还是施加干预。

SAE 遗忘触发检测器

• 两阶段：先在与 Df、Dr 无关的通用语料 Dgen 上预训练逐层 SAE (Eℓ, Rℓ)，损失为重建误差加 L1：

L_SAE=𝔼|h−R_ℓ(E_ℓ(h))|₂²+λ_SAE|E_ℓ(h)|₁。随后冻结编码器，zℓ,t = Eℓ(hℓ,t)。

• 轨迹摘要：对选定层与潜变量，默认早期窗口 Wearly = 64，计算频率 ϕfreq、全程最大激活 ϕmax、早期窗口最大激活 ϕearly，拼接为 ϕ(x, y)。作者称三者分别对应持续的话题或风格、罕见尖峰，以及回答开头常暴露的话题、任务框架或风格。推理时在当前前缀上以流式方式更新。
• 检测头：仅训练 ψ = (w, b)。gψ 为稀疏特征上的 logistic，损失为二元交叉熵加 λhead∥w∥1。在保留样本上校准阈值 τ，使 Prs∼Dr[gψ(s) ≥ τ] ≤ α。非零系数对应层、摘要统计量与 SAE 潜变量，触发可追溯。

门控干预与理论界

• 策略：若 gψ(s) ≥ τ 则用干预 I(s)，否则用 pθ(· | s)。脚注称实践中把模型回答干预为 “I don’t know.”。未触发的保留状态严格沿用冻结模型；遗忘失败只来自假阴性，保留退化只来自假阳性。
• 实现：频率、最大值与早期窗口在自回归解码中在线更新，不存完整激活轨迹；融合 CUDA kernel 把选定层 SAE 投影、稀疏统计与 logistic 头并入解码流，并与 token 生成重叠。
• Theorem 3.1（非正式）：假设干预施加于遗忘状态时遗忘泄漏为零。则 Df 上期望泄漏不超过假阴性率乘 Lmax，Dr 上期望退化不超过假阳性率乘 Umax。若两者均为 0，则 Df 上泄漏为零且 Dr 上与冻结模型一致。附录 B 把干预泄漏放宽为至多 ηf，并给出按目标假阳性率 α 校准 τ 的命题。

流程与实现载荷

• Algorithm 1：在 Dgen 上预训练并冻结 SAE；在 Df ∪ Dr 上汇总特征并训练检测头；按保留集 FPR 目标 α 选 τ；推理时逐状态路由。
• 附录 E：实际使用预训练 SAE checkpoint 作为冻结特征提取器，检测器载荷含选定的层/统计量/潜变量、特征归一化器、稀疏 logistic 头与校准阈值；伪代码中编码器取 top-k 激活。附录未在正文给出具体层集合、λ、top-k 或 α 的数值。

实验设置

• 模型：DeepSeek-R1-Distill-Qwen-1.5B 用于 R-TOFU 与 WMDP-cyber；Gemma-3-1B-it 用于 TOFU 与 WMDP-cyber。
• 数据：TOFU 与 R-TOFU 用 forget10 与 retain90。WMDP 测生物、化学与网络安全中的有害选择题知识；本文以 WMDP-cyber 为遗忘任务，MMLU 为保留任务。论文未报告各集样本条数。
• 基线：Pre-unlearning 与 retain-only oracle 为参照。权重基线为 GA、GD、NPO、RMU。R-TOFU 上 GA、GD、NPO 按先前工作用仅 CoT 监督。学习率在 {5×10−6, 2×10−5, 10−4}，epoch 在 {2, 3, 5}；WMDP-cyber 批大小 16，TOFU/R-TOFU 为 32，在 NVIDIA A100 上训练。
• WMDP 指标：Forget Accuracy 为生成式精确匹配：自由生成、解析最终选项并与标签比对。MMLU 同样精确匹配，∆MMLU 为相对遗忘前模型的有符号变化。
• TOFU / R-TOFU 指标：TOFU 报告 Forget/Retain ROUGE-L recall、Forget Quality（相对 retain-only 模型的 truth-ratio 分布 KS 检验 p 值）与 Model Utility（效用探针的调和平均）。R-TOFU 报告 MU、AFE = 1 − rans、CFE = 1 − rcot 及三者平均；rans 聚合 ROUGE-L、余弦相似度与蕴含，rcot 聚合步骤级 CoT 相似度与 judge 分数。论文未说明该 judge 的模型。
• 重复：论文未报告随机重复次数。

主结果

据 Table 1、Table 2。箭头为论文偏好方向。

Swipe horizontally to read the table

模型与基准	方法	遗忘	保留/效用
DeepSeek，WMDP-cyber	ARIA	Forget Acc 0.00%	MMLU 35.54%，∆MMLU −0.50%
DeepSeek，WMDP-cyber	最强权重遗忘（GA）	27.16%	MMLU 29.53%，∆MMLU −6.51%
DeepSeek，R-TOFU	ARIA	AFE 97.45%，CFE 97.24%	MU 24.39%，Average 73.02%
DeepSeek，R-TOFU	RMU	AFE 73.02%，CFE 74.54%	MU 19.85%，Average 55.80%
Gemma，WMDP-cyber	ARIA	Forget Acc 0.00%	MMLU 34.53%，∆MMLU −1.36%
Gemma，WMDP-cyber	GD（表中最低遗忘准确率）	25.11%	MMLU 28.36%，∆MMLU −7.52%
Gemma，TOFU	ARIA	Forget RL 28.61%，FQ 0.01%	Retain RL 34.85%，MU 46.84%
Gemma，TOFU	RMU	Forget RL 35.41%，FQ 3.05%	Retain RL 37.02%，MU 47.24%

• 作者解读：两模型上 ARIA 的 WMDP-cyber 遗忘准确率均为 0.00%，作者称最强权重基线只降到约 27%。DeepSeek 上 ARIA 的 ∆MMLU 为 −0.50%，GA 为 −6.51%；Gemma 上作者称 ARIA 损失约 1%、GA 约 13%（表中为 −1.36% 与 −12.94%）。
• R-TOFU：作者称 ARIA 的 AFE、CFE 高于 97%，次优 RMU 约 73%，并称这表示同时抑制最终答案与中间推理轨迹。Pre-unlearning 的 AFE/CFE 为 37.49%/32.00%，NPO 为 37.53%/32.65%，遗忘提升很小。
• TOFU 例外：ARIA 的 Forget RL 28.61% 低于各权重基线（35.24%–36.71%），但 FQ 仅 0.01%，低于 GA 1.38%、GD 2.42%、NPO 3.66%、RMU 3.05%，远低于 retain oracle 的 100.00%；Retain RL 34.85% 也低于 Pre-unlearning 的 36.64%。

推理开销

• 测了什么：Figure 3 报告两模型在匹配的遗忘与保留负载上的每样本峰值 GPU 内存（GB）与墙钟延迟（秒）。图中坐标有刻度，但各方法柱高未标数值，具体 GB 与秒数论文未以可对齐的数字给出。
• 结果：作者称 ARIA 的峰值内存与延迟在遗忘和保留负载上都与遗忘前模型几乎相同，并归因于在线统计与融合 kernel。作者称 GA 与 RMU 在遗忘输入上墙钟更长，因为权重式遗忘常引出退化或重复生成。
• 作者解读：ARIA 只增加冻结 SAE 编码器与稀疏线性头，峰值显存与遗忘前模型处于同一范围；该模式在更长思维链与更短指令输出上都出现。作者称它可作为事后插件，无需重训或重新部署；论文未报告具体查询次数。

后遗忘攻击

• 测了什么：Table 3 在 WMDP-cyber 上比较三种攻击相对干净 ARIA 的有符号变化。重复采样报 Leak@K，同查询抽 K 次、任一恢复即记泄漏；提示攻击改写输入（仅答案格式、关键词混淆、块重排、上下文示例与角色提示，模板在附录 C）；继续监督微调在遗忘评测前更新模型。
• 结果：DeepSeek 上 Leak@16 为 0.00%（+0.00），Leak@64 与 Continued SFT 均为 0.25%（+0.25），Prompt attack 为 0.00%；最大 MMLU 下降是 Prompt attack 的 −0.45 个百分点（35.09%）。Gemma 上四种攻击的遗忘准确率均为 0.00%，Continued SFT 的 MMLU 为 34.95%（+0.42）。
• 作者解读：作者称三种攻击下 ARIA 都保持鲁棒，遗忘变化小于 1%；重复采样到 Leak@64 几乎不能恢复被遗忘知识。

其他消融与分析

• 阈值：Figure 4 在 Gemma-3-1B-it 的 WMDP-cyber 上画检测器阈值缩放。作者称更低阈值把更多状态送去干预、遗忘更强，更高阈值降低假阳性、保留更多效用；阈值在保留样本上按目标假阳性率校准。图中未标出各阈值点的具体 Forget/MMLU 数字。
• 特征案例：Figure 5 追溯 Table 1 中部分保留假阳性。作者称 latent 33029 的高激活遗忘集片段呈断言式答案开头，与 WMDP-cyber 的网络安全目标关系不大，但在遗忘训练集中普遍；右侧为四个保留假阳性上回答风格潜变量的归一化归因，图中标有 33029、21012、24239、3105 等分数。作者认为部分保留误差可能反映数据中的回答风格捷径。附录 D 给出更多特征，其中含与网络安全相关的命令/利用描述，作者仍将其与风格并列讨论。
• Figure 1：作者称权重法中更强遗忘会损害保留，ARIA 接近完全遗忘且效用损失可忽略。图轴为 Forget accuracy drop (%) 与 Utility (%)，预遗忘约在效用 36 附近，具体点值未全部标出。

作者指出的局限与后续方向

• 检测器依赖（附录 A）：保证以路由质量为条件。假阴性仍可能泄漏目标知识，假阳性会损害保留行为，尤其当遗忘与保留状态在所选 SAE 特征空间中不可分时。
• 经验范围（附录 A）：评测两个开源权重模型及 TOFU、R-TOFU、WMDP-cyber。作者称更大模型、其他遗忘领域和更多样的部署提示可能需要不同的 SAE 层、阈值或检测器校准。
• 自适应部署风险（附录 A）：ARIA 是测试时干预而不是权重移除。白盒直接访问模型权重可以通过去掉检测器来绕过。
• 任务构建（结论）：特征级案例认为某些保留退化可能来自遗忘数据中的回答风格偏差，而不是目标知识本身，并称这引出关于遗忘任务构建、值得未来研究的问题。

实验覆盖范围

• 模型与基准：被测模型为 DeepSeek-R1-Distill-Qwen-1.5B 与 Gemma-3-1B-it。DeepSeek 评测 R-TOFU 与 WMDP-cyber，Gemma 评测 TOFU 与 WMDP-cyber；TOFU/R-TOFU 使用 forget10 与 retain90，保留侧含 MMLU。
• 基线与攻击：权重基线为 GA、GD、NPO、RMU，另有 Pre-unlearning 与 retain-only oracle。后遗忘攻击为 Leak@16、Leak@64、Prompt attack 与 Continued SFT，结果见 Table 3，仅报告 WMDP-cyber 的 Forget Accuracy 与 MMLU。
• 分析：Figure 4 只给出 Gemma 上 WMDP-cyber 的阈值缩放；Figure 5 与附录 D 为 SAE 特征归因案例。推理成本见 Figure 3，论文未以可对齐数字报告各方法的 GB 与秒数。
• 未报告项：论文未报告检测器所选层、λhead、α、top-k、AFE/CFE 中 judge 的模型，以及随机重复次数。R-TOFU 上未报告 ARIA 的 CoT-only 或全监督对照。WMDP 的生物与化学子集未作为遗忘任务报告。

ARIA 是一种保持 LLM 权重冻结的测试时遗忘方法：用 SAE 潜变量检测遗忘相关生成状态，只在触发时干预。

• 问题：权重式遗忘必须用同一次参数更新同时压制目标行为并保住邻近行为，作者称这带来遗忘–效用权衡，且遗忘内容可在提示、微调或量化后重新出现。
• 方法：通用语料上预训练逐层 SAE 并冻结；在遗忘与保留轨迹上用频率、最大激活和默认 64 token 早期窗口训练带 L1 的线性检测头，按保留集假阳性率校准阈值。触发时实践上把回答改为拒答，否则沿用原模型。Theorem 3.1 把期望泄漏与保留退化分别界于假阴性率与假阳性率。
• 主结果：DeepSeek-R1-Distill-Qwen-1.5B 上 ARIA 的 WMDP-cyber Forget Accuracy 为 0.00%、∆MMLU 为 −0.50%，R-TOFU 的 AFE/CFE 为 97.45%/97.24%（Table 1）。Gemma-3-1B-it 上 WMDP-cyber 同样为 0.00%、∆MMLU 为 −1.36%（Table 2）。TOFU 上 Forget RL 降至 28.61%，但 FQ 仅 0.01%。
• 攻击与案例：Table 3 中两模型在 Leak@16、Leak@64、提示攻击与继续微调后，遗忘准确率最高为 DeepSeek 的 0.25%，作者称遗忘变化小于 1%。Figure 5 中作者认为部分保留假阳性对应回答风格潜变量，而非网络安全知识本身。
• 结论：作者认为运行时门控可以比权重基线带来更强遗忘、对恢复的抵抗和更好的保留效用，并因权重不变、推理开销可忽略而作为事后模块部署。附录 A 同时写明该保证依赖检测质量，且白盒去掉检测器即可绕过。