TULIP：按输入定位层级的定向大模型遗忘方法

表示级遗忘常用单一固定层，但遗忘目标形成结束的层随输入变化。

• 场景：作者称LLM会复现训练语料里的敏感或受版权文本，并牵涉GDPR下的被遗忘权与版权。遗忘要在不重新训练的前提下去掉指定数据的影响，同时保住模型效用。
• 现有不足：梯度上升与NPO等输出级方法可能只改变模型说出的内容，支持答案的信息仍可恢复。RMU、Adaptive RMU与LUNAR直接改中间表示，但仍对整个遗忘集使用同一个干预层。
• 观察：只在保留集上训练的oracle，单独在遗忘集上的目标准确率为0.63；嫁接目标模型的隐藏状态后升至1.00（Figure 1(a)，TOFU forget05，Llama-3.1-8B）。作者认为目标已在中间层形成、其后主要是读出，且稳定成功层随样本变化很大（Figure 1(b)）。
• 做法：提出TULIP，对每个输入用logit lens估计形成–读出边界，在该层去掉隐藏状态与目标token的unembedding对齐，并用保留项把保留集隐藏状态拉向冻结模型。
• 设定：遗忘集是上下文–目标token对，保留集是上下文。理想参照是只在保留集上微调的oracle，实践中不可用。论文未把该设定写成攻击者的知识等级。

论文把先前工作分成只改输出分布的遗忘，和在固定层改中间表示的遗忘；差别在于干预层是否随输入变化。

权利与目标

• 记忆与权利：Carlini等（2021）讨论从LLM抽取训练数据。Mantelero（2013）、Voigt与Bussche（2017）、Brown等（2022）涉及GDPR与被遗忘权，Eldan与Russinovich（2023）涉及版权。论文用这些工作说明遗忘的动机。
• 不重新训练：Sekhari等（2021）、Maini等（2024）、Zhang等（2024）把目标写成去掉指定数据的影响并保住效用，而不是从头训练。

输出级遗忘

• 损失与偏好：GA提高遗忘数据上的损失，GradDiff再加保留损失（Jang等，2023；Maini等，2024）。NPO相对原模型压低遗忘回答的似然（Zhang等，2024）。SimNPO去掉该参照，并按回答长度归一化似然（Fan等，2025）。
• 局部化：Cha等（2025）、Kim等（2025）用Fisher信息把目标限制在部分参数；Zhai等（2026）、Yoon等（2026a）只作用于选定token。论文称这些方法仍只作用在输出上。
• 知与说：论文引用Łucki等（2025）、Hu等（2025）、Wang等（2025）、Xu等（2026），称输出级方法可以改变模型说什么，却不一定去掉它知道什么。

表示级遗忘

• RMU：Li等（2024）把遗忘表示推向随机向量，层由超参搜索选定后用于全部遗忘样本；更新该层及前两层。
• Adaptive RMU：Huu-Tien等（2025）按激活范数缩放目标，使干预能在更多层工作，但仍是单一固定层。
• LUNAR：Shen等（2025）把遗忘激活转向表达无法回答的区域，层按能否引出拒答来选，再用于全部样本；只更新该层MLP的down-projection。论文称这些方法的效果依赖所选层，并引用Huu-Tien等（2025）。

基线与基准

• 实验对照：基线为GradDiff、NPO、SimNPO、RMU、LUNAR。Adaptive RMU只出现在相关工作中，未进入实验表。基准为TOFU、PISTOL、WMDP。

作者把本文的位置写成：要去掉的是目标的形成而不是读出，每个输入的形成结束层单独用logit lens确定，而不是整份遗忘集共用一层。

TULIP把遗忘改成逐输入的表示干预：先找目标token形成结束、读出开始的层，再只在该层去掉与目标的对齐。

设定与劫持实验

• 对象：模型M有L层、词表V。h_ℓ(x)是最后token位置的第ℓ层隐藏状态，t是应生成的目标token。后续层加最终归一化与unembedding，记为M_{ℓ+1:L}。
• 数据：Df是上下文–目标对，Dr是保留上下文。目标模型在含Df的全数据上微调；oracle只在Dr上微调。Appendix C写明TULIP用上下文–目标token对，基线定义在完整回答上。
• 劫持：把目标模型的h_ℓ(x_f)嫁接到oracle，再跑oracle的后续层；输出恰好为t则成功。目标准确率是预测恰好为t的遗忘对比例。在TOFU forget05、Llama-3.1-8B上，oracle单独为0.63，嫁接后为1.00（Figure 1(a)）。
• 推论：作者认为该隐藏状态已编码目标，其后各层主要把已落到t的状态读成logits，且未见过Df的oracle也能读出，故读出应保留。稳定成功层是劫持从该层起持续成功的最早层（式1）；作者用持续性排除早期偶然匹配。Figure 1(b)中该层随样本变化很大，作者称常常出现得较早。

用logit lens定边界

• 做法：实践中没有oracle。logit lens用M自己的unembedding和最终归一化，把隐藏状态直接投到词表并取top-1。Llama-3.1的归一化是RMSNorm；作者称方法只用top-1，不依赖该归一化的具体形式。
• 定义：估计边界是目标在之后每一层都保持top-1的最早层，即 ℓ̂(x_f)=min{ℓ:t̂_k(x_f)=t ∀ k≥ℓ}。含义是：把式1里oracle的后续计算换成logit lens，并同样要求持续成立。
• 差别：该层随输入变化。RMU与LUNAR对整个遗忘集固定一层。

边界上的损失

• 遗忘项：在估计边界上，目标通过隐藏状态与其unembedding向量w_t的对齐被编码。TULIP最小化该对齐的平方，L_forget=𝔼[(⟨ h,w_t⟩/(|h||w_t|))²]。含义是：h为该边界上的隐藏状态，期望在Df上取。
• 梯度范围：损失算在边界上，梯度只回到该层及之前；之后的读出层不被这次遗忘项更新。
• 保留项：每一层把Dr上的隐藏状态与冻结模型的对应状态做平方差，再对全部层平均。总损失为λ乘遗忘项再加保留项，λ>0。
• TOFU训练：Appendix D写明各方法训练10个epoch，学习率1e-5，有效batch size 16（每设备4，累积4步）。λ按seed 0的FQ选取，再用于seed 1和2。Llama-3.1-8B在forget01/05/10上的λ为0.01、0.02、0.02。该附录未给出PISTOL与WMDP的训练轮数。

指标定义

• FQ：遗忘后模型与只在保留集上训练的oracle之间，Truth Ratio分布的双样本KS检验p值，越高表示越接近oracle。Truth Ratio比较改写正确答案与一组扰动错误答案的长度归一化概率（Appendix B）。
• MU：Section 4.1将TOFU与PISTOL的MU都写成保留集上的平均ROUGE-L recall。Appendix B还把TOFU的真实作者与世界事实计入；PISTOL另加其控制集，即这两类TOFU子集。
• WMDP：在另写的四选一题上计算准确率。作者称接近随机水平25%表示遗忘有效。遗忘用的是原始文档，不是这些题目。

主比较在TOFU、PISTOL和WMDP上进行。摘要称TULIP持续优于输出级与表示级基线；Table 1里Llama-3B的forget10并不如此。

实验设置

• 模型：TOFU表头写作Llama-8B、Llama-3B、Llama-1B，Appendix D写为Llama-3.1-8B、Llama-3.2-3B、Llama-3.2-1B。PISTOL为Llama2-7B、Qwen2.5-7B、Qwen3-4B。WMDP为Zephyr-7B-beta。
• TOFU与PISTOL：TOFU有4,000条问答、200名虚构作者，每人20条；forget01/05/10为1%、5%、10%的作者，其余为保留集。PISTOL用Sample Dataset 1：20份销售或雇佣合同，每份20个属性，共400条；遗忘A–C边。
• WMDP：共3,668道四选一题，生物安全1,273、网络安全1,987、化学408，每题至少两名领域专家审过。遗忘语料为5,000篇生物安全文档（截到前512 token）和1,000篇网络安全文档（截到前768 token）。Table 3只报WMDP-Bio与WMDP-Cyber。
• 基线与指标：基线为GradDiff、NPO、SimNPO、RMU、LUNAR。FQ越高越接近oracle。WMDP的F为遗忘集准确率，越低越好；R为保留集准确率，越高越好。
• 重复：Table 1、2、4为三次运行的均值±标准差；超参按seed 0的FQ选取后再用于seed 1、2。Table 3与Table 5未写重复次数。分析节默认TOFU forget05、Llama-3.1-8B。论文未用LLM给FQ打分。

主结果

据Table 1–3。TOFU行取forget05。对照是该设置下其他方法中最高的FQ，或WMDP-Bio上其他方法中最低的F。MU/R列在TOFU与PISTOL为MU，在WMDP为R。Table 3未写重复次数。

Swipe horizontally to read the table

模型	设置	TULIP	MU或R	对照
Llama-8B	TOFU forget05 FQ	0.89±0.13	0.94±0.00	LUNAR 0.54±0.41
Llama-3B	TOFU forget05 FQ	0.42±0.09	0.80±0.01	RMU 0.39±0.00
Llama-1B	TOFU forget05 FQ	0.49±0.04	0.88±0.00	RMU 0.36±0.14
Llama2-7B	PISTOL FQ	0.80±0.17	0.81±0.06	SimNPO 0.25±0.12
Qwen2.5-7B	PISTOL FQ	0.75±0.12	0.87±0.00	RMU 0.20±0.11
Qwen3-4B	PISTOL FQ	0.75±0.12	0.91±0.00	GradDiff 0.75±0.12
Zephyr-7B-beta	WMDP-Bio F	0.370	0.528	RMU 0.452

• 例外与未列入上表的格：Llama-3B的forget10上，LUNAR的FQ为0.37±0.15，TULIP为0.16±0.08；同格TULIP的MU为0.88±0.00（Table 1）。Llama-8B的forget01、forget10 FQ为0.97±0.03、0.72±0.10。Llama-3B forget05的MU上，RMU为0.82±0.00，高于TULIP。
• PISTOL的效用：作者称必须把合同关系与实体拆开。MU不是每列最高：Llama2-7B上LUNAR为0.87±0.01，TULIP为0.81±0.06；Qwen2.5-7B上LUNAR为0.92±0.00，TULIP为0.87±0.00（Table 2）。
• WMDP：作者称只停复现文档仍可能答对另写的选择题。遗忘前Cyber/Bio的F为0.427/0.647。TULIP的Cyber F为0.267，SimNPO为0.268；Bio的R为0.528，为表中方法里最高（Table 3）。作者称TULIP针对知识如何形成，因而遗忘更有效并保住效用。

对释义与量化的鲁棒性

• 设置：TOFU自带的改写遗忘问题，以及把权重量化到8 bit或4 bit后再评。均为forget05、Llama-3.1-8B，三次运行（Table 4）。
• 释义：TULIP的FQ为0.81±0.13、MU为0.81±0.00，FQ高于表中其他方法。NPO、SimNPO的FQ从原文的0.24±0.17、0.04±0.05降到0.06±0.06、0.00±0.00。作者称这两种方法只在原始问题上压制答案，改写后知识会重新出现。
• 量化：8-bit下TULIP的FQ为0.92±0.04，为该列最高。4-bit下TULIP的FQ降到0.30±0.12，低于LUNAR的0.45±0.22和RMU的0.35±0.12；MU仍为0.93±0.00。作者称4-bit下它不再那么鲁棒，但仍与RMU、LUNAR同列。

边界估计与干预层

• lens：以oracle边界及其后的隐藏状态为正类、之前为负类，用目标token的logit打分（Figure 2）。AUROC为logit lens 0.884、tuned lens 0.834、J-lens 0.786。作者猜测后两者的额外训练可能注入模型自身计算之外的信息。在1,000条WikiText提示上，J-lens训练14.17 GPU小时，tuned lens为0.06。作者不声称logit lens最优。
• 固定层：遗忘损失加在全部样本共享的一层时，作者称FQ大体随深度上升，并在倒数第二层达到峰值；即便该层仍低于TULIP（Figure 3(a)）。文本未给出各层读数。图中红线为log(FQ)，绿线为MU，虚线为TULIP。
• 偏移：相对每个输入的估计边界做偏移时，作者称恰好在该层干预FQ最高且保住MU；更早则MU在、FQ低，作者解释为目标尚未完全形成；更晚则MU下降，FQ也下降，作者解释为效用受损后即使不再输出目标也会偏离oracle（Figure 3(b)）。

逐输入选层作插件

• 做法：在默认的forget05、Llama-3.1-8B上，把GradDiff、NPO、SimNPO、RMU的原目标改到逐输入层。LUNAR未改，因为它在单独选定的层上优化重定向向量，不是端到端更新参数（Section 5.4）。
• 数字：Table 5未报标准差。GradDiff的MU从0.802到0.944，FQ从8.1×10^{-8}到1.2×10^{-4}；NPO的FQ从0.628降到0.545，MU从0.850到0.945；SimNPO的FQ从0.012到0.112，MU从0.896到0.940；RMU的FQ从0.328到0.394，MU仍为0.939。该表TULIP为0.997与0.937，oracle为1.000与0.943。
• 作者解读：作者称保住读出层是维持一般能力的关键，且除NPO外FQ也上升；又称为正交损失比这些原目标更配合logit lens边界。论文未说明该表与Table 1三次均值为何不同。

其他消融与分析

• 定性示例在Figure 4–6，设置同为forget05、Llama-3.1-8B。作者称TULIP常给出看似合理但不正确、接近oracle的答案；Figure 4与5的图注写与oracle相同，Figure 6写接近。GradDiff、NPO、SimNPO有时只改格式仍保留原信息；RMU有时泄出遗忘答案、有时输出退化文本；LUNAR常拒答。作者称拒答适合安全对齐，但偏离如同从未见过该数据的遗忘目标。

作者把logit lens写成线性近似，并把与遗忘损失一起设计估计器、以及4-bit量化写成后续，而不是已完成的结论。

作者指出的局限与后续方向

• 边界代理：作者称并不声称logit lens是该边界的best proxy，并称它是线性近似（Conclusion）。Section 5.2同样称不认为它是最优估计器，更好的近似可能存在。
• 线性可读：作者称更精确的估计器或许能更好定位隐藏状态开始承载目标含义之处，但当前损失假设目标线性可读，在这类层上可能无效（Conclusion）。
• 联合设计：作者把边界估计器与遗忘目标一起设计视为重要方向，并把本文当作该方向的基础，扩展留待以后（Conclusion；Section 5.2）。
• 4-bit：作者把提高对4-bit量化的鲁棒性列为后续（Conclusion）。
• 代码：作者计划在发表后公开代码（Reproducibility Statement）。

实验覆盖范围

• 被遗忘的模型为Llama-3.1-8B、Llama-3.2-3B、Llama-3.2-1B、Llama2-7B、Qwen2.5-7B、Qwen3-4B、Zephyr-7B-beta（Table 1–3，Appendix D）。
• 数据为TOFU的forget01/05/10、PISTOL Sample Dataset 1的A–C边，以及WMDP-Bio与WMDP-Cyber。基准介绍含WMDP-Chem（408题），Table 3未报告该子集。
• 对比基线为GradDiff、NPO、SimNPO、RMU、LUNAR。Section 2讨论了Adaptive RMU，实验表中没有该方法。
• Table 1、2、4报告三次运行的均值和标准差。劫持、lens比较与固定层分析写明使用TOFU forget05与Llama-3.1-8B。攻击为TOFU释义问题，以及8-bit与4-bit权重量化（Table 4）。
• 论文未报告WMDP的重复次数，未报告Table 5的标准差，也未在Appendix D给出PISTOL与WMDP的训练epoch。FQ由KS检验与ROUGE-L、准确率评定，论文未报告LLM评审。

TULIP是一种逐输入选择层的表示级遗忘方法，目标是去掉遗忘答案的形成、留下读出。

输出级方法可能只压低特定回答的似然；RMU、LUNAR等则对全部遗忘样本共用一层。劫持实验里，只在保留集上训练的oracle在TOFU forget05、Llama-3.1-8B上的目标准确率从0.63升到嫁接后的1.00，作者据此把干预点放在形成结束处。

做法是用logit lens找目标保持top-1的最早层，在该层最小化隐藏状态与目标unembedding向量的归一化对齐，并对保留集加全层贴近冻结模型的损失。

• Table 1：Llama-8B上TULIP的FQ在forget01/05/10为0.97±0.03、0.89±0.13、0.72±0.10，forget05的MU为0.94±0.00。Llama-3B的forget10上LUNAR的FQ为0.37±0.15，高于TULIP的0.16±0.08。
• Table 2：PISTOL上TULIP的FQ为0.80±0.17（Llama2-7B）、0.75±0.12（Qwen2.5-7B与Qwen3-4B，后者与GradDiff并列）。
• Table 3：Zephyr-7B-beta上，TULIP的遗忘准确率为Cyber 0.267、Bio 0.370，遗忘前为0.427与0.647。
• Table 4：同一Llama-3.1-8B、forget05上，释义后FQ为0.81±0.13，4-bit量化后为0.30±0.12。

作者的结论是，表示级遗忘应针对形成而非读出，层应按输入选择；该选层也可接到已有目标上。作者同时把logit lens视为线性近似，并把与损失联合设计、以及4-bit鲁棒性留作后续。作者计划发表后公开代码。