STaR：面向大推理模型遗忘的敏感轨迹调控方法

LRM的多步CoT会把敏感信息嵌进中间步骤，只改最终答案的unlearning去不掉这些泄漏。

• 出现场景：作者称OpenAI o1、DeepSeek R1等LRM会自主生成多步推理轨迹；预训练语料含版权材料、个人身份和其他敏感内容。作者提到GDPR与CCPA趋严，并称unlearning须去掉指定数据的影响，同时保留效用。
• 现有不足：常规做法放大forget set损失或优化拒答，Figure 1(a)所示效果停在答案层。作者援引R-TOFU：遗忘不足、效用下降，且ZeroThink（省略推理轨迹）与LessThink（压缩步骤）下仍会泄漏。
• 核心观察：敏感知识可留在中间步骤；DefaultThink、ZeroThink、LessThink会改变输出形式。作者认为默认解码下的遗忘不能保证其他解码仍抑制，因而需要轨迹级、跨解码的机制。
• 本文提出：免参数、推理时框架STaR，以及MCS与Multi-Granularity MIA，用于多种解码和答案/推理链两级的隐私评估。
• 威胁模型：
  • 目标：抑制forget set敏感内容在整条推理链和最终答案中出现，并保持retain set效用。
  • 知识：方法使用指定forget set做检索，并用scope classifier判断查询是否相关。论文未写攻击者或部署方的white-box/black-box划分。
  • 能力：不更新参数；可加安全前缀、改写解码logit，必要时回退或换成拒答模板。评测探测包括改写查询、更换解码，以及基于答案或CoT的membership inference。
  • 受害系统：生成多步CoT的LRM。实验中是先在完整R-TOFU上微调的DeepSeekR1-Distill-Llama-8B。

LLM参数更新式unlearning

• Gradient ascent与preference optimization（Maini et al. 2024；Golatkar, Achille, and Soatto 2020；Rafailov et al. 2023等）：在forget set上增大损失，或把敏感答案换成拒答或中性陈述。作者称这类微调开销大，并有catastrophic forgetting风险。
• 作者将近年若干参数更新工作并入同一路线，未在实验中逐篇对比；批评指向“通常只处理最终答案”，而非某篇被引论文的原话。

免参数与推理时方法

• SPUL（Bhaila, Van, and Wu 2024）：学习soft prompt前缀，使生成离开敏感内容。
• ECO（Liu et al. 2024）：用训练好的分类器判断查询是否涉及forget set，再扰动embedding。作者称这类方法常依赖外部检测器或辅助优化，且多停在prompt或embedding层；作者认为在复杂推理链或多样查询下效果可能有限，并称ECO、SPUL可配合black-box模型。

LRM unlearning与解码

• R-TOFU（Yoon, Jeung, and No 2025）：把LLM unlearning扩展到CoT。作者称它建立了该设定下的first benchmark；并称实验里敏感知识仍可留在中间步骤，链级遗忘更弱。
• 解码策略：DefaultThink输出完整CoT；ZeroThink省略推理链只给答案；LessThink生成压缩推理（Jiang et al. 2025被用于后两种的出处）。作者称默认模式遗忘有效时，其他解码仍可能暴露已遗忘信息。

基线与基准

• 基线方法：Gradient Ascent（GA）、KL Minimization（KL）、Direct Preference Optimization（DPO，Table 1记为PO）、Gradient Difference（GD），均用官方代码与超参数。
• 基准：R-TOFU的forget01、forget05、forget10。

作者将STaR定位为推理时的逐步动态干预，在整条推理链和多种解码上抑制敏感内容，以区别于答案级微调，以及只在prompt或embedding介入的ECO与SPUL。

STaR（Sensitive Trajectory Regulation）是免参数的推理时框架，在多步CoT生成过程中抑制敏感内容，而不更新权重。模块为敏感内容识别、安全提示前缀、轨迹感知抑制和token级自适应过滤。摘要与Figure 2把轨迹抑制放在token过滤之前；正文则写轨迹模块接收token过滤的候选，作者未再说明调用先后。

问题设定

• 划分：数据分为forget set Df与retain set Dr。传统微调通过增大Df上的损失、把敏感答案换成拒答或中性回答，或对齐retain-only分布，以降低对遗忘知识的复述。
• STaR不走该优化：它不改参数，作用于查询、logit和整段轨迹。论文未给出传统目标里λ、β的数值，也未把STaR写成同一优化问题。

识别与安全前缀

• 范围判断：scope classifier在forget与retain的语义嵌入上训练，把查询嵌入映射到forget概率；超过阈值τ才在Df中按余弦相似度取最相近实例A*。Embed为固定预训练嵌入，论文未给出嵌入模型名称。
• 禁止集合：对A*抽取短语。论文列出NER、pattern mining或基于LLM的slot-filling，未说明实验采用哪一种。短语再切成token，并成禁止token集Tf。
• 安全前缀：把抽象安全约束s拼到查询前。作者称这是非侵入、model-agnostic的弱约束，严格拦截交给后续过滤。Figure 2该模块下还标有Safety Prompts、Semantic Encoding、Transformer Block；正文未解释后两者如何参与，也未给出s的原文。

Token级自适应过滤

• 软抑制：候选token与某禁止片段的嵌入余弦相似度不低于δ时，下调logit。论文写为ℓ̃_t(v)=ℓ_t(v)−α·sim(Embed(v),Embed(f_k))，即减去相似度与系数α的乘积。
• 硬抑制：若该token在已生成前缀下会补全禁止片段，logit设为负无穷，使其不会被选中。
• 未给数值：论文未报告δ、α、τ，也未报告词表规模。

轨迹感知抑制

• 打分：模块接收token过滤产生的候选轨迹，同时看敏感度与流畅度。敏感度为S(y^(c))=max(C(y^(c)),max_ksim(y^(c),f_k))，即分类器分数与对禁止片段最大相似度的较大者。流畅度为预训练语言模型的LM-Score，论文未命名该模型。
• 规则：敏感度不低于τ时，回溯相关token加入Tf，下一轮改用硬抑制。敏感度低于τ但流畅度低于η时，用预定义拒答模板替换。否则保留该轨迹。论文未给出候选数、η和模板原文。
• 解码：作者称该闭环与具体解码解耦；正文举例DefaultThink、ZeroThink、LessThink。

成功与隐私如何度量

• MCS：对遗忘集查询，在代表性解码集合D上取与敏感原文的最大泄漏，MCS为1减去该值，越高表示最坏泄漏越小。泄漏可以是ROUGE-L或cosine similarity，论文未说明表中用哪一个。D以三种解码为例，未给出完整成员。
• MIA：MIA-A用生成答案的特征训练二分类器，区分forget与retain，报告AUC-ROC；MIA-C的输入是查询与CoT。作者称AUC接近0.5为随机猜测，接近1.0为高风险。论文未说明分类器结构。效用与遗忘另用ROUGE-L、cosine similarity、entailment score，未给出如何汇总成MU、AFE、CFE。

实验设置

• 骨干：唯一被测模型为DeepSeekR1-Distill-Llama-8B，先在完整R-TOFU上微调，STaR与基线都作用在该checkpoint。作者称它是DeepSeekR1的蒸馏版。
• 数据：R-TOFU有200个合成作者档案，每个20条question–reasoning–answer，并标注敏感内容。forget01、forget05、forget10表示遗忘1%、5%、10%数据，沿用官方划分。论文未报告各协议测试条数。
• 基线：GA、KL、DPO（表中PO）、GD，使用官方代码与超参数。论文未给出这些超参数的数值。
• 主指标：Table 1报告MU、AFE、CFE、MCS及四者调和平均Avg，越高越好。正文称效用与遗忘还用ROUGE-L、cosine similarity、entailment score，在答案与CoT两级计算，但未给出与三列指标的换算。
• MIA：MIA-A、MIA-C为二分类器AUC-ROC，越低越好。论文未说明分类器模型、特征维度和训练样本量，也未使用被命名的LLM裁判。
• 其他：改写实验只报告forget01的AFE；耗时为forget10、同一NVIDIA H800。论文未报告重复次数、随机种子和人工评估。

主结果

据Table 1，同一骨干、三个遗忘比例：

Swipe horizontally to read the table

方法	f01 Avg	f05 Avg	f10 Avg	f01 MU	f10 MU
GA	0.54	0.46	0.44	0.71	0.72
GD	0.52	0.46	0.44	0.71	0.72
KL	0.54	0.46	0.44	0.72	0.73
PO（DPO）	0.60	0.48	0.36	0.60	0.63
STaR	0.79	0.79	0.77	0.93	0.95

• STaR的AFE在三档为0.88、0.87、0.84，CFE为0.68、0.66、0.63，MCS为0.70、0.69、0.67。基线MCS最高为PO的0.56、0.52、0.49。作者称更高的MCS对应更换解码后泄漏更少。
• forget10上，GA、GD、KL的AFE均为0.33、CFE均为0.31，PO的AFE为0.39、CFE为0.18。作者称参数更新基线在答案和推理链上的遗忘弱于STaR，并称STaR对非敏感知识的副作用可忽略。
• 作者称STaR在每个指标上为best或second-best。按Table 1全表，STaR在MU、AFE、CFE、MCS、Avg的每个格子上都高于同列基线。随遗忘比例升高，STaR的AFE与CFE走低，作者未解释该趋势。

成员推理

• 测了什么：Table 2在答案级（MIA-A）和CoT级（MIA-C）报告AUC，越低越好，列为forget01/05/10。
• 结果：STaR的MIA-A为0.51、0.53、0.53，MIA-C为0.62、0.65、0.68。基线MIA-A从PO的0.64到GA/GD/KL的0.80，MIA-C从PO的0.78到0.88。每一行的MIA-C都高于对应的MIA-A。
• 作者的解读：作者称传统方法即使压低输出相似度，仍可能留下可被成员推理利用的统计痕迹；STaR在两种粒度上的AUC更低。作者未解释为何链级AUC高于答案级。

改写查询与耗时

• 改写：Table 3在forget01上比较原提示与改写提示的AFE。STaR为0.88与0.82；GA为0.57与0.31，GD为0.48与0.32，KL为0.48与0.33，PO为0.68与0.37。作者称基线在改写后下降，STaR仍保持较高AFE。改写由人工或自动重写产生，论文未说明改写模型。
• 耗时：Table 4在forget10、NVIDIA H800上给出端到端小时数：GA 8.5、GD 8.5、KL 6.0、PO 9.0、STaR 0.5。作者称超过一个数量级的加速，并称这有利于及时删除；论文未给出轮数，故此处不换算倍数。
• 定性：正文称提示被改动或推理步被截断时，STaR仍避免已遗忘信息重新出现，基线常经由省略或压缩推理暴露细节，并指向Appendix C。所附文本没有附录中的案例原文。

其他消融与分析

• w/o secure prompt（forget01，Table 5）：MU 0.93，AFE 0.82，CFE 0.66，MCS 0.65，MIA-A 0.56，MIA-C 0.6。作者称CFE与MCS下降。
• w/o phrase：MU 0.91，AFE 0.67，CFE 0.54，MCS 0.61，MIA-A 0.67，MIA-C 0.71。作者称遗忘变差，成员推理风险上升。
• hard only：MU 0.92，AFE 0.93，CFE 0.62，MCS 0.69，MIA-A 0.70，MIA-C 0.68。作者称答案级遗忘强，但未能阻止隐私泄漏或保证多步一致性。
• soft only：MU 0.92，AFE 0.62，CFE 0.58，MCS 0.60，MIA-A 0.51，MIA-C 0.59。作者称精确匹配阻断变弱、遗忘较差，隐私指标有所改善。
• STaR（Full）：MU 0.93，AFE 0.88，CFE 0.68，MCS 0.70，MIA-A 0.51，MIA-C 0.62。作者称只有完整流程各指标同时较强；表中hard only的AFE高于Full，soft only的MIA-C低于Full。
• 论文未报告scope classifier准确率，也未报告τ、δ、α、η的取值。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion只概括结果，并称结果设立了新的参照、可作合规部署的蓝图；Limitation、Discussion、Future Work或附录说明中没有对应的局限或后续实验条目。引言中关于未来需要整体评估的句子不计入本节。

实验覆盖范围

• 被测骨干为DeepSeekR1-Distill-Llama-8B，先在完整R-TOFU上微调，再对同一checkpoint施加STaR与GA、GD、KL、DPO（表中PO）。
• 基准为R-TOFU：200个合成作者档案，每个20条question–reasoning–answer；协议为forget01、forget05、forget10，对应遗忘1%、5%、10%数据，并沿用官方划分。
• 报告MU、AFE、CFE、MCS、调和平均Avg，以及MIA-A与MIA-C的AUC；改写查询只报告forget01的AFE；耗时在forget10、NVIDIA H800上比较。MCS的解码集合以DefaultThink、ZeroThink、LessThink为例。
• 消融在forget01上比较去掉secure prompt、去掉phrase、仅hard、仅soft与完整STaR。定性讨论在正文Qualitative Analysis，并指向Appendix C。
• 论文未报告τ、δ、α、η、嵌入模型、scope classifier结构与准确率、短语抽取实际采用的方式、MIA分类器模型、重复次数，以及ROUGE-L等与MU/AFE/CFE的换算；也未说明表中MCS的Leakage用的是ROUGE-L还是cosine similarity。

STaR在推理阶段约束大推理模型的整段CoT，使指定forget set中的敏感内容不出现在中间步骤或最终答案里，且不更新参数。

问题来自LRM会把敏感知识写进多步推理，而答案级遗忘在ZeroThink、LessThink等解码下仍可能泄漏。STaR先判断查询是否相关并检索遗忘片段，再加安全前缀；生成时软硬结合地改logit，并用敏感度与流畅度决定回退或拒答。MCS衡量多种解码下的最坏泄漏，MIA分别看答案和CoT的成员可区分性。

在DeepSeekR1-Distill-Llama-8B与R-TOFU上，作者报告：

• forget01、forget05、forget10的Avg为0.79、0.79、0.77，同列基线最高为0.60、0.48、0.44（Table 1）。
• 同期STaR的AFE为0.88、0.87、0.84，CFE为0.68、0.66、0.63，MCS为0.70、0.69、0.67。
• forget01的MIA-A、MIA-C为0.51、0.62；forget10为0.53、0.68（Table 2）。改写提示下AFE为0.82（Table 3）。
• forget10、H800上耗时0.5小时，基线为6.0至9.0小时（Table 4）。forget01消融里，去掉短语扩展后AFE为0.67；仅hard抑制的AFE为0.93，MIA-A为0.70（Table 5）。

作者称各模块都不可缺少，并称该结果为LRM上的隐私保护unlearning设立了新的参照，可作合规部署的实用蓝图。论文没有单独的局限讨论。