无关表征折叠（CIR）确保稳健且无干扰的大语言模型遗忘

1. 01这篇论文试图解决什么问题？

   遗忘打到共享的一般表征，故微调能修回；CIR先塌缩常见子空间再更新。

   现有遗忘打在过于一般的表征上，危险知识删不掉，微调还能修回。

   • 场景：作者称预训练会使模型学到可用于生物恐怖和网络犯罪的能力，以及关于自身安全控制的信息。RLHF与DPO只让模型停用这些能力，越狱或良性微调仍可重新调用。
   • 现有不足：作者称专门的遗忘方法也可被微调攻击和其他对抗方法逆转。引言称一般性能干扰一到0.1%，遗忘就对攻击变得脆弱；第3.1节将其操作化为retain loss不超过初始值的100.1%，并用来解释Deeb & Roger (2024)允许retain loss干扰5%时观察到的接近零鲁棒性。
   • 核心观察：权重更新由激活与模块输出梯度算出，其中大多不是待遗忘事实特有的表征。Figure 3中，遗忘一条首都事实时，另一条首都事实的更新余弦相似度达到84%；配错的事实没有同向干扰。
   • 本文做法：提出Collapse of Irrelevant Representations（CIR），用PCA找出常见表征子空间并塌缩，再计算遗忘更新，并改用直接作用在MLP输出上的breaking loss。
   • 评测里的攻击：攻击者在与评测事实不同、但同一类别的事实上微调，以恢复目标事实；论文写明不假设其掌握完整遗忘集。被遗忘模型为Llama-3.1-8B，攻击后用WMDP准确率衡量。

   收起这一问

2. 02有哪些相关研究？

   相关工作含激活干扰、消融与元学习；基线为Circuit Breakers和Gradient Difference。

   论文按遗忘做法、可逆性和低互信息攻击来组织相关工作。

   • 只靠反向传播的对齐：DPO（Rafailov et al., 2024）被作者归入只停用、不移除不想要能力的一类，依据是Lee et al. (2024)。引言把RLHF放在同一类。
   • 干扰激活或消融方向：Zou et al. (2024)、Rosati et al. (2024)、Li et al. (2024)干扰中间激活。Wang et al. (2024)、Wu et al. (2023)、Uppaal et al. (2024)、Suau et al. (2024)定位有害神经元或激活方向再消融。作者引用Lo et al. (2024)的结果：消融后模型仍可用含义相近的神经元很快重学。
   • 元学习：Tamirisa et al. (2024)、Sondej et al. (2025)、Henderson et al. (2023)模拟攻击者如何把不想要的知识重学回来，以便预先对抗。
   • 可逆性与低互信息攻击：作者称现有遗忘技术都容易被逆转，并引用Łucki et al. (2025)与Lynch et al. (2024)，途径包括微调、越狱、少样本提示、关闭拒答机制或分布外输入。Deeb & Roger (2024)用完全独立的另一组事实训练，即可恢复所谓已遗忘的事实；本文的微调攻击沿用这一设定。

   基线与基准：Gradient Difference（Liu et al., 2022）在遗忘集上最大化交叉熵、在保留集上最小化损失；Circuit Breakers（Zou et al., 2024）把残差流激活与初始激活的余弦相似度压到不低于0。评测用WMDP-Bio与WMDP-Cyber；保留集为FineFineWeb的生物学子集，或计算机科学与技术子集；一般性能用WikiText loss。

   作者把本文放在这些工作之后：不在权重空间硬滤，而是先去掉激活与梯度里的常见表征再更新；并对Circuit Breakers的余弦损失和残差流作用点做了替换。

   收起这一问

3. 03论文如何解决这个问题？

   CIR先用PCA塌缩MLP激活与梯度中的常见成分，再用点积损失破坏MLP输出。

   CIR不在含有共享表征的激活和梯度上直接算更新，而是先塌缩常见子空间，再用净化后的向量做外积；遗忘损失改为打在MLP输出上的点积。

   为何要在激活和梯度上滤

   • 干扰与可逆：非干扰阶段定义为retain loss低于初始值的100.1%，超过后为干扰阶段。Figure 2的50次运行中，作者称阈值之后的遗忘通常能被微调回退，阈值之前的保持鲁棒。该100.1%是试出来的、使这一关系仍成立的最高阈值。
   • 低秩条纹：更新由激活乘梯度得到，近似低秩，干扰呈整行、整列。Figure 4中，未掩码的disruption/transfer为58%，按权重掩码为33%，按整列和整行掩码为5%。
   • 叠加：逐元素消融仍分不清相关与无关方向。作者将其归于表征叠加（Elhage et al., 2022），因此改为投影掉常见方向，并用出现频率近似无关：许多训练文本里都常见的表征，被视为与待遗忘事实无关。

   塌缩常见子空间

   对每个受训MLP，取输入激活和反传进来的模块输出梯度，先减去均值方向；均值当作第0个主成分，塌缩时先去掉它。其余主成分为

   a_pure=a′−∑_i=1^k(a′· PC_i)PC_i

   其中a'是已去掉均值方向的激活；梯度同样处理。作者按Figure 6a、6b取24个激活主成分和36个梯度主成分，并称12到48之间进入平台，去掉前几个激活主成分很关键。主成分每个遗忘epoch重算；可在任意数据上估计，作者称在遗忘语料上最好，且可复用同一次前向与反向。只干预MLP，不干预注意力。

   损失

   logits侧试过负交叉熵、负熵，以及把目标token的logit压到不低于0。表征侧，Circuit Breakers把残差流上与初始激活的余弦相似度压到不低于0。作者改两点：余弦也可被加大一个随机方向压低，故改用点积；并且不打残差流，而打加进残差流之前的MLP输出。最终遗忘损失为

   L=ReLU(m· m_orig)/|m_orig|²̅

   即当前MLP输出与原输出的点积，用ReLU截在0，再除以原始MLP输出范数平方的平均，避免后层范数更大而主导损失。不在BOS位置破坏表征。保留集上惩罚残差流相对原激活的变化范数，沿用Circuit Breakers。损失作用在第6–12层（文中的32层Llama 8B）；作者称因此只需前12层的前向与反向。

   更新流程

   Algorithm 1：每个epoch遍历遗忘样本，取出各MLP的激活与梯度并缓存；已有主成分才塌缩并做einsum更新，可选再训一个保留batch。epoch结束后对缓存做PCA并清空。按伪代码，第一个epoch只收集并计算主成分。作者沿用把遗忘更新的范数归一到固定值的做法，该值即遗忘速率。

   收起这一问

4. 04论文做了哪些实验？

   Llama-3.1-8B上，作者称Bio攻击后降幅为基线80×、Cyber为30×。

   实验设置

   • 模型：主实验为Llama-3.1-8B。遗忘句由gpt-4.1生成。附录A的干扰示例用Llama-3.2-1B。附录D用claude-4.1-opus查看题目文本能否预测不鲁棒，并要求不向它提示特定模式。
   • 数据：从Deeb & Roger的WMDP-Deduped再筛：答案短于60字符，去掉none/all of the above，并去掉Llama-3.1-8B准确率差于随机的题，得144道生物、203道网络题。每题生成20句，训练用3句。题目按20/80分开发集与留出集，结果报在留出集：112道生物、165道网络。保留集为FineFineWeb的生物学子集，或计算机科学与技术子集。
   • 基线与停止线：Gradient Difference与Circuit Breakers。一般性能用WikiText loss。CIR在其超过初始值100.1%时停止。基线在同一阈值下准确率最多降1个百分点，作者因此把基线的停止线放到103%，称为30倍让步，并重调超参。
   • 攻击：停止后做100 epoch微调。按Deeb & Roger的划分：遗忘用100%数据，重学习用80%，评测用其余20%；重学习事实与评测事实不同、但同分布。
   • 指标：WMDP准确率。攻击后准确率取重学习曲线平滑后的峰值，因为有的攻击长于最优；附录C写明用10 epoch分箱去噪。Figure 6的准确率在temperature=1。论文未写主图的temperature，也未使用LLM给WMDP答案打分。
   • 调参与硬件：单张40GB A100；缓存激活与梯度最多48GB RAM。每种方法先手选偏高但安全的保留学习率，再搜遗忘速率：每种5次、每个数量级3次，取未发散且攻击后准确率最高的一次。未达干扰阈值则遗忘最多200 epoch；一次Gradient Difference被允许更长。具体学习率数值论文未给出。

   主结果

   条件	作者报告	出处
   WMDP-Bio，CIR相对最佳基线	攻击后准确率降幅为基线的80×；WikiText干扰小30×	Section 6，Figure 1b
   WMDP-Cyber，CIR相对基线	攻击后准确率降幅为基线的30×；0.1%预算下鲁棒性高30×	Section 6，Figure 5
   摘要的合并说法	攻击后准确率降幅超过Circuit Breakers的30×；一般性能干扰小30×；每事实少于3 GPU秒	摘要
   无保留训练，0.1%预算	Bio攻击后准确率51%，Cyber 41%	Section 6
   基线停在WikiText的100.1%	准确率下降最高1个百分点	Section 5

   • 作者称CIR的可用超参范围宽；另外两种方法的遗忘项与保留项对拉。Figure 5图注称Circuit Breakers出现突然回退，保留损失抵消了先前增益，从最低准确率再做重学习更不鲁棒。Figure 1b图注称CIR对重学习达到接近理想的鲁棒性。
   • 作者称Gradient Difference差，主要因为保留集训练压不住WikiText上的干扰，对保留集评测划分也常常压不住。
   • 把CIR的允许干扰放到1%时（基线用3%，CIR通常到不了该阈值），作者称攻击后准确率的额外收益不成比例地低。脚注给出另一可能：准确率到随机水平后可以不再降，但生成有害答案的概率（未展示）仍在下降，故遗忘还在进行，只是不鲁棒。

   干扰阈值与事实间转移

   • 50次运行：Figure 2用CIR的多种损失、学习率、投影数，有时不做保留训练，均在Llama-3.1-8B与WMDP-Cyber上，攻击均收敛。作者称攻击至多把WMDP准确率恢复到0.1% retain-loss阈值处的水平。这里的0.1%是retain loss，与主实验的WikiText停止线不是同一次测量。
   • 掩码：Figure 4在单条首都事实上比较更新切片，未掩码、按权重、按整列和整行的disruption/transfer分别为58%、33%、5%。
   • 其他事实与语言：Figure 3（中间层MLP、答案前一个token）中，其他首都事实为84%、84%、64%；无关事实为32%、29%、6%、6%；错误配对为-5%、19%、-24%、1%。附录A在Llama-3.2-1B上称，换问法仍有干扰，更远的事实约8%；词形接近的语言转移约50%，俄语和葡萄牙语较弱。

   层、主成分与破坏方式

   • Figure 6报告的都是攻击收敛后的WMDP-Cyber准确率，temperature=1，不用保留训练。Figure 6c在0.5%允许干扰下，仅circuit breaking为55.2、57.2、57.3、56.5、57.0；CIR加circuit breaking为51.0、43.7、52.3、52.9、51.4；CIR加MLP breaking为47.4、37.4、44.5、48.2、41.0，层区间依次为[0, 6]到[24, 30]。作者称第6–12层最有效，并称打MLP输出使遗忘–干扰权衡提高40%；引言的对应说法是选择性提高40%。
   • 作者选定24个激活主成分和36个梯度主成分，并称12–48之间进入平台。Figure 6注：投影1个分量只去均值、不含真正的PC，省算力但表现差。Figure 6a为0.2%允许干扰、CIR加Circuit Breakers损失、层6–15；6b为0.5%允许干扰。正文未单列这两张网格里被选中的那一格。
   • Figure 8在CIR、Llama-3.1-8B、层6激活范数上比较点积、最小化激活范数和余弦相似度。作者称同等遗忘量下点积干扰更小，余弦方法会使激活范数变大。正文未给出各点精确坐标。

   其他消融与分析

   • Table 2（最优遗忘运行，含每epoch评测）：CIR为Bio 5分钟/16 epoch、Cyber 5分钟/10 epoch；Circuit Breakers为16分钟/95 epoch、45分钟/161 epoch；Gradient Difference为106分钟/409 epoch、14分钟/31 epoch。
   • 不计评测时，CIR在Bio留出集为251秒/112事实，即2.24秒/事实；Cyber为201秒/165事实，即1.22秒/事实。全文另称遗忘加重学习的运行在15–120分钟。
   • 每题用超过3句会伤害遗忘；作者认为可能因为靠后的句子质量更低。
   • 作者称直接把目标token logit压到不低于0，优于负交叉熵和负熵，能阻止回忆，但不能泛化到多项选择里的认出；打中间表征则可同时去掉回忆和认出。
   • 附录D：攻击提高准确率的21道WMDP-Cyber题中，正确答案是最长选项的占52%，并写其余7题为14%。Section 8的说法是该比例为52%，其余题为14%。两处表述不完全相同。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出WMDP题可猜、事实规模和倾向遗忘仍要后续工作。

   作者指出的局限与后续方向

   • 题目可猜（Section 8）：作者怀疑部分不鲁棒是因为有些WMDP题不靠答案也能猜。WMDP-Cyber中，攻击提高准确率的题里，正确答案是最长选项的比例为52%，其余为14%。作者称修掉这一点可能把攻击后准确率再推向随机水平。
   • 事实数量（Section 8）：本研究只针对WMDP里的事实。扩到完整的生物与网络安全遗忘，需要多出数量级的事实。
   • 数据从哪来（Section 8）：作者称瓶颈是缺少高质量遗忘数据，现有生物与网络遗忘语料大多是无害文本；更好的数据需要专家大量工作。公开释放会带来安全风险，创建和使用都需要专门机构协调。
   • 倾向而不是知识（Section 8）：常见即无关这一假设，在遗忘知识时成立，因为相关表征是事实特异的、相对少见。若遗忘权力寻求、欺骗等倾向，有害表征往往在训练文本中很常见，塌缩对象需要比PCA更精细。作者将其留给后续工作。

   实验覆盖范围

   • 主结果的被测模型为Llama-3.1-8B；附录A的事实干扰示例另用Llama-3.2-1B。
   • 留出集为WMDP-Bio 112题、WMDP-Cyber 165题；遗忘集为每题3句；保留集为FineFineWeb对应子集；一般性能停止线用WikiText loss。
   • 对照为Gradient Difference与Circuit Breakers。CIR停在WikiText loss的100.1%，基线停在103%。
   • 鲁棒性实验是100 epoch微调，事实与评测事实不同、类别相同（Section 5）。Figure 2含50次CIR变体，攻击均收敛。
   • 论文未报告Figure 1b与Figure 5的绝对攻击后准确率，正文给出的是作者计算的相对倍数；附录C对每种方法报告的是未发散且攻击后准确率最高的一次运行。超参搜索的学习率数值论文未给出。

   收起这一问

6. 06总结一下论文的主要内容

   CIR塌缩常见表征后再遗忘，作者称更小干扰下微调更难恢复WMDP事实。

   CIR在算权重更新之前去掉常见表征，用来遗忘危险事实，并降低微调把它们学回来的可能。

   • 作者把失败归于有害与无害能力共用的一般表征：这些表征也会出现在攻击者的训练数据里，弄坏后还能被修回。他们把retain loss低于初始值100.1%的阶段视为非干扰，并称只有这一阶段的遗忘对微调保持鲁棒。
   • 做法是对受训MLP的输入激活和输出梯度做PCA，塌缩均值与常见主成分后再做外积。遗忘损失改为MLP输出相对原输出的点积，用ReLU截断，并除以原输出范数平方的平均；保留损失约束残差流。
   • 主实验只测Llama-3.1-8B。作者称在WikiText干扰比基线小30×的设置下，WMDP-Bio的攻击后准确率降幅是最佳基线的80×，WMDP-Cyber是30×。摘要把两类事实合写为超过Circuit Breakers的30×，且每事实少于3 GPU秒。
   • 同一0.1% WikiText预算、不做保留训练时，攻击后准确率是生物51%、网络41%。基线若也停在100.1%，准确率最多降1个百分点，因此实验给了基线103%的停止线。
   • 作者的结论是，在表征层面把有害与无害能力拆开，遗忘才能既扛住重学习、又少破坏一般性能。他们同时怀疑WMDP有题可猜，并认为完整领域遗忘缺少高质量数据，PCA也不够用来遗忘倾向。

   收起这一问

相关论文