研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露

大推理模型的推理轨迹会写入敏感上下文，且经常不遵守显式隐私指令。

• 场景：轨迹在最终答案前处理完整输入，输入常含姓名、联系方式或个人经历。作者称轨迹通常被当作对终端用户隐藏的草稿，因而被默认安全。
• 风险：Green et al. (2025) 报告，简单提示注入可迫使模型把轨迹内容复现到可见答案；被指示后仍把私人上下文写入轨迹的比例为 19%–78%。作者称轨迹因此既含私人数据，又可被攻击者触及。
• 不足：既有指令跟随工作几乎只看最终答案。论文称缺少面向轨迹内指令跟随（IF-RT）的训练资源与解码策略，也没有测量 IF-RT 增益能否变成隐私基准上的改进。
• 假设：隐私指令本身是指令。提高轨迹内的一般指令跟随可减少隐私失败，并因不绑定具体隐私表述而泛化。
• 威胁模型：
  • 目标：系统提示中的隐私指令要求不复述受保护信息；失败是轨迹或答案出现标注秘密。
  • 能力：论文未用 white-box 等术语描述自身设定。所针对的风险是提示注入把隐藏轨迹导出到可见答案。
  • 受害对象：进入推理的用户上下文，包括姓名、联系方式、个人经历，以及两套隐私基准中的口令与机密片段。
  • 方法位置：需训练，面向模型提供方，不是无法改权重的 API 调用方。
• 做法：构造不含隐私内容的 SFT 数据，并提出 Staged Decoding，用分别优化轨迹与答案指令跟随的 LoRA 分段生成。作者称这是首个含多样推理方式指令、直接针对推理过程可控性的训练数据。

论文按四条线定位，区别放在“用不含隐私内容的指令跟随，检验能否迁移到隐私遵守”。

轨迹与答案的指令跟随

• 答案级跟随：Zhao et al. (2026)、Guo et al. (2025)、Fu et al. (2026)、Li et al. (2025b)、Wu et al. (2025) 主要处理最终答案。论文称提高推理性能往往损害最终答案的指令跟随，且这些工作不考察推理过程内部的跟随。
• 轨迹控制：长度控制见 Wu et al. (2025)、Kang et al. (2025)、Ma et al. (2025)、Yang et al. (2026)、Ha et al. (2026)、Han et al. (2025)；语言控制见 Qi et al. (2025)。论文称一般指令跟随仍未被探索。
• ReasonIF：Kwon et al. (2026) 在现成 LRM 上评测六类 IF-RT（含多语言推理、格式与长度），并给出分离推理语言与答案语言的概念验证训练，关注任务表现与 IF-RT 的权衡，而不是隐私。

推理模型中的隐私

• 数据泄露与上下文隐私：Carlini et al. (2021)、Kim et al. (2023)、Puerto et al. (2025b) 关注预训练数据泄露。Mireshghallah et al. (2024)、Bagdasarian et al. (2024)、Zharmagambetov et al. (2025)、Mireshghallah et al. (2026) 转到推理时访问的私人数据。
• 轨迹泄露：Green et al. (2025) 与 Sam et al. (2025) 报告，即使被指示，LRM 仍在轨迹中泄露上下文隐私，并归因于 IF-RT 弱；Green et al. 还报告提示注入可抽出隐藏轨迹。Lan et al. (2025) 用强化学习按情境完整性规范推理，但轨迹仍复现私人数据。
• 同期方法：Batra et al. (2025) 用域内 steering vector 抑制泄露，论文称未处理分布外泛化。Das et al. (2026) 在隐私标注的思维链上微调以净化轨迹；论文称这与本文正交，且他们未分析对效用的影响。

安全训练与适配器切换

• 安全微调：Zhou et al. (2025)、Zhu et al. (2025)、Jiang et al. (2025)、Jeung et al. (2025)、Zhang et al. (2026) 微调轨迹以改进对齐与安全。Baker et al. (2025) 报告，用强化学习对抗思维链监视器可能让模型隐匿不当行为而非消除；Korbak et al. (2025) 警告，对思维链风格与格式的优化压力可能降低其作为监视通道的可靠性。论文称自身用 SFT 遵守显式用户指令，不压制某一行为，也不针对监视器训练。
• 适配器路由：Jacobs et al. (1991) 至 Ostapenko et al. (2024) 把输入路由到专门模型或适配器；Greenewald et al. (2025)、Li et al. (2025a) 按轮切换。论文称本文进一步在单次回答内部切换。

基线与基准

• 对照：未训练基座，以及 IF-RT、IF-FA、Avg. IF 三个检查点。隐私上界是 RANA（Green et al., 2025）：按标注跨度把机密信息换成占位符，再继续生成答案。因对标注有 oracle 访问，隐私分在构造上取最大；答案仍可能从上下文复现私人信息，故不总是 100%。
• 基准：IFEval、MathIF、PasswordEval、PEEP。

作者把隐私失败看成轨迹内指令跟随不足的症状，检验不含隐私内容的训练能否迁移到隐私指令，而不是直接在隐私标注轨迹上训练。

作者把隐私泄露当作轨迹不服从指令的症状，用不含隐私内容的 SFT 训练一般指令跟随，再用 Staged Decoding 让轨迹和最终答案各用一个 LoRA。

数据与指令

• 三类轨迹指令：格式、风格、推理类型。它们约束结构、叙述方式或推理过程，不绑定任务内容；作者据此认为学到的跟随应泛化到任意任务。附录 I 有示例，此处不列句式。
• 构造：从 DeepSeek-R1 在 GSM8K 训练集上的输出抽出原轨迹，用 gpt-oss-120b 按随机抽到的轨迹指令改写，再与原始最终答案配对，并把指令附在原问题末尾。作者选 GSM8K 是因为题目对这些模型不算过难，训练可聚焦跟随而非解题。
• 规模：三个嵌套集，后者包含前者：仅轨迹 1k；轨迹或答案 2k；轨迹和/或答案 3k。同时约束两者时复用 Multilingual Thinking，要求一种语言推理、另一种语言作答。
• 抽查：附录 I 称人工查看 30 条（轨迹指令与答案指令各 15，覆盖各类），30 条改写都实现了目标指令并保留原推理内容。

训练与检查点

• 优化：各模型用 LoRA 做 SFT，经 PEFT。rank 固定为 8，alpha 为 16；作者称初步实验中其他设置结果相当。
• 搜索：三个数据集 × 学习率 2e-4 与 2e-5 × batch size 8、16、32，每模型 18 个检查点。有效 batch 由梯度累积配合 batch size 4 实现（附录 B）。
• 选择：开发集为 MathIF 的 GSM8K 划分。保留 IF-RT 最高、IF-FA 最高、二者平均最高的检查点。测试另评未训练基座与 Staged Decoding，共五变体，各两个随机种子。

Staged Decoding

• 两段：先用 IF-RT 适配器生成轨迹，在思考结束标记处停下；卸载后再加载 IF-FA 适配器生成答案（Figure 2）。
• 动机：作者观察到 IF-RT 最高的检查点通常不是 IF-FA 最高的检查点，因此分段隔离两部分。
• 开销：作者称换适配器相对生成可忽略；时延数字在附录 C，放在实验一节。

判定

• 指令跟随：IFEval 只测跟随；MathIF 同时测跟随和数学答案准确率。两者都用各自论文的 instruction-level loose-accuracy。训练指令类型与这两套可验证指令不重叠。MathIF 测试排除用作开发集的 GSM8K 划分。
• 隐私分：定义为 1 − leak rate，即 1 减泄露率。泄露是标注秘密与轨迹或答案的精确字符串匹配，不用评审模型。畸形输出不计入隐私，效用记 0，以免空输出被当成未泄露。
• PasswordEval：禁止在轨迹和答案中复现口令，并禁止在轨迹中复现机密信息。效用是给出正确口令时正确揭示机密信息的比例。每个原点有“提供正确口令”和“不提供”两种用户提示，并附一条上下文示范（附录 H，不复述）。
• PEEP：禁止在轨迹和答案中披露用户提示里的机密信息。效用由 GPT 5 nano 按相关性、有用性、正确性、清晰度、完整性、安全性打 1–5 并给总分；提示词在附录 E。

实验设置

• 模型：Qwen 3 1.7B、4B、8B、14B 与 Phi 4 3.8B、14B。除 Phi 4 14B 用原权重经 bitsandbytes 以 4 bit 加载外，其余为 Unsloth 4-bit。作者称 Unsloth 版 Phi 4 14B 表现低，故改用原版。
• 解码与重复：Qwen 3 为 temperature 0.6、top-p 0.95、top-k 20、min-p 0；Phi-4 为 temperature 0.8、top-k 50、top-p 0.95。推理 batch size 12。种子 41875、15613，报均值和标准差。
• 规模：IFEval 540 条。MathIF 开发集 90、测试集 332，测试去掉 GSM8K。PasswordEval 1000 条，每条两种用户提示。PEEP 过滤后 2062 条：去掉删去私人信息后不足五词的提示，以及没有机密标注的实例。
• 对照：未训练基线、IF-RT 检查点、IF-FA 检查点、Avg. IF 检查点、Staged Decoding。隐私上界为 RANA。
• 指标：IF 为 instruction-level loose-accuracy；Avg. IF 为轨迹与答案跟随的平均。隐私分为 1 减泄露率。PasswordEval 效用是正确口令下正确揭示机密的比例；PEEP 效用是 GPT 5 nano 的 1–5 总分。
• 检验：Table 10 只保留基线与 Staged 都格式正确的 (instance, seed)，配对 bootstrap（B=20,000）与双侧配对置换检验，六模型 Holm 校正，两种子合并。

主结果

据 Table 1、Table 2，两随机种子均值。格子为基线→Staged Decoding；标准差见表，此处不列。

表格较宽，可左右滑动

模型	IFEval Avg.IF	MathIF Avg.IF	PasswordEval 总隐私	PEEP 总隐私
Qwen 3 1.7B	52.07→59.89	39.75→46.31	42.13→22.60	35.08→43.41
Qwen 3 4B	60.28→72.15	48.52→62.04	41.16→54.13	46.10→67.04
Qwen 3 8B	63.16→81.21	48.29→69.19	41.11→85.11	52.49→65.68
Qwen 3 14B	64.06→77.67	54.61→67.86	41.16→93.07	56.38→87.85
Phi 4 3.8B	48.77→47.93	34.53→45.56	27.14→51.68	40.04→73.99
Phi 4 14B	66.67→56.12	56.84→56.04	74.41→90.43	48.46→76.76

• 指令跟随：作者称 Staged 在 12 组中有 9 组 Avg. IF 最高；相对基线平均增益为 IFEval 6.66、MathIF 10.74，单点最高 20.9。上表三个 Phi 4 格子不高于基线。IFEval 上六个模型的 Staged 答案跟随均低于各自基线；Phi 4 14B 从 91.79 到 65.59（Table 1）。§5.1 说的是相对 IF-RT 检查点保持轨迹跟随并提高其答案跟随。
• 隐私：作者称 12 组中 10 组隐私最好；相对基线平均增益 PasswordEval 21.65、PEEP 22.69。摘要写最高 51.9 个百分点，§5.2 写 51.91 points，对应 Qwen 3 14B 的 PasswordEval。Table 10 中 11/12 组配对差为正；唯一为负的是 Qwen 3 1.7B PasswordEval（n=1979，差 −19.5，95% CI [−21.2, −17.7]）。作者假设是训练集小且模型小，适配器切换下更脆。
• 分项：作者称 Staged 的轨迹隐私与 IF-RT 检查点相当，同时提高答案隐私。Phi 4 3.8B 的 IF-RT 检查点总隐私为 PasswordEval 51.69、PEEP 74.29，略高于上表中的 Staged（Table 2）。

效用权衡

• 测了什么：MathIF 解题准确率，以及两个隐私基准的效用（Table 3）。作者要看推理与指令跟随的权衡是否也出现在隐私上。
• 结果：六个模型的 MathIF 效用都低于基线，例如 Qwen 3 8B 从 40.96 到 22.89，Phi 4 14B 从 40.66 到 25.75。PasswordEval 上 Staged 在四组效用最高（1.7B 57.00、8B 80.55、14B 83.05、Phi 4 14B 49.85）。PEEP（1–5）上仅 Qwen 3 1.7B 从 3.28 到 3.62，其余五组低于基线。
• 作者解读：IF-RT 与 MathIF 效用相关为 −0.65（p<0.05）。PasswordEval、PEEP 上为 −0.33、−0.24，作者称未达统计显著，因此没有足够证据支持这两套基准上的明确权衡。作者称该相关来自既有的推理与指令跟随权衡，不是本方法独有。

与隐私上界 RANA

• 测了什么：RANA 用标注跨度把轨迹中的机密信息换成占位符再生成答案（Table 4；标准差在附录 B Table 6）。
• 结果：作者称 Staged 在 12 组中有 11 组缩小了基线到 RANA 的差距，尤其是 Qwen 3 8B、14B 与 Phi 4 14B。Qwen 3 14B 的 PasswordEval：基线 41.16、Staged 93.07、RANA 100.00。例外是 Qwen 3 1.7B 的 PasswordEval：Staged 22.60 低于基线 42.13，RANA 为 98.23。RANA 本身在 12 组中有 8 组效用下降。
• 表间不一致：Qwen 3 8B、PEEP、Staged 总隐私在 Table 2 为 65.68±1.88，在 Table 4/6 为 87.85±1.03，且该标准差与 Table 2 中 Qwen 3 14B 的 87.85±1.03 相同。§5.2 的平均增益 22.69 与 Table 2 一致，该格不采用 Table 4/6。

轨迹提取攻击

• 测了什么：附录 D 在 PEEP 上运行 Green et al. (2025) 的轨迹提取注入，比较最终答案隐私。配对 bootstrap B=10,000，六模型 Holm 校正。模型未在隐私或对抗数据上训练。
• 结果：Table 8 中 Staged 相对基线，Qwen 3 1.7B +14.3、4B −1.1、8B +2.7、14B +10.0、Phi 4 3.8B +8.5、14B −13.7。作者称 6 个模型中 3 个统计检验为改进，平均增益 3.47；去掉 Phi 4 14B 后作者称平均增益升到 6.9。
• 作者解读：Table 9 中 Staged 在 6 个模型里有 5 个的攻击导致降幅小于基线，含 Phi 4 14B（−15.2 对基线 −18.5）。作者认为 Phi 4 14B 攻击下绝对分更低，来自非攻击起点更低，而不是更服从注入。Table 9 的非攻击起点与 Table 2 的答案隐私接近但并不逐项相同。

其他消融与分析

• IF-RT 检查点提高轨迹跟随、压低答案跟随：Qwen 3 8B、IFEval，IF-RT 76.26、IF-FA 47.48，基线 IF-FA 86.99（Table 1）。
• 带 * 的 Avg. IF 检查点与 IF-FA 检查点是同一检查点（Table 1 注）。
• 适配器交换：Qwen 3 4B、128 条 PasswordEval、4 次重复、各生成 128 token，增加 13.4 ms（+0.10%，95% CI [+7.9, +19.0]）（Table 7）。
• PEEP 评审：1 名作者、50 条、六模型分层；quadratic-weighted Cohen's κ=0.69，MAE=0.56，92% 落在 ±1 内，86% 被判合理；仅英文子集（附录 E）。
• 4-bit 与畸形输出：现成 Phi-4-reasoning 在 PasswordEval 1000 条上，4-bit 畸形 119，fp16 畸形 35（附录 F）。Table 12 列出各模型空轨迹与空答案数量。
• §6 称最好的 IF-RT 检查点都来自仅轨迹指令数据集，并认为这像过拟合；作者转述 Kwon et al. (2026) 在有限数据下也有类似现象。

作者指出的局限与后续方向

• 数据规模：目标不是做可投产模型，而是看可行性。训练集相对较小，可能过拟合，并可能部分解释某些效用下降（Limitations）。
• 权衡：指令跟随或隐私保持与推理性能的权衡，作者称已有多篇工作报告，解决它超出本文范围（Limitations）。Conclusion 把扩大训练数据、并修改强化学习后训练以联合优化推理与指令跟随列为后续方向；作者相信更大的训练设置中效用下降可能减小。
• 只用 SFT：作者认为在强化学习阶段加约束可能损害可监视性，思维链能承受多少优化压力仍是开放问题，因此本文只做 SFT（Limitations，引用 Baker et al., 2025；Korbak et al., 2025）。
• 不是完整后训练：因计算成本，未重建完整后训练流水线，而是在现成推理模型上再做 SFT。作者鼓励后续在完整流水线中检验这些约束（Limitations）。
• 调用方：方法需要训练，面向提供方而非 API 调用方。不训练即可由调用方控制推理，被写为超出范围的后续方向（Limitations）。
• 语言与量化：PEEP 含非英文提示，作者写 about 50%，但未按语言分析。全部模型以 4-bit 量化训练，作者称这可能影响稳定性或性能，以换取效率（Limitations）。

实验覆盖范围

• 被测模型为 Qwen 3 四个尺寸与 Phi 4 两个尺寸，共 6 个，实验用 4-bit（§4.1）。
• 评测基准为 IFEval、MathIF（测试排除 GSM8K）、PasswordEval、PEEP；每变体两个随机种子（§4、附录 B）。
• 对照包括未训练基线、三个 IF 检查点和 RANA；PEEP 上另测 Green et al. (2025) 的轨迹提取注入，指标为最终答案隐私（附录 D、Table 8）。
• 泄露由精确字符串匹配判定；PEEP 效用评审为 GPT 5 nano，人工核对为 1 名作者、50 条、英文子集，quadratic-weighted κ=0.69（附录 A、E）。
• 论文写明未按语言拆分 PEEP，也未做完整后训练或强化学习实验（Limitations）。附录 A 列出 English 66.83%，Limitations 写非英文提示约 50%。

本文把大推理模型的隐私问题做成轨迹可控性：隐私指令是指令，轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。

• 问题：Green et al. (2025) 报告，模型在被指示后仍把私人上下文写入轨迹，违反比例 19%–78%，且提示注入可把隐藏轨迹复现到可见答案。
• 方法：用 DeepSeek-R1 的 GSM8K 轨迹，经 gpt-oss-120b 改写成服从格式、风格或推理类型指令的样本，规模 1k 到 3k，不含隐私内容。LoRA SFT 后，Staged Decoding 先用 IF-RT 适配器写轨迹，再换 IF-FA 适配器写答案。作者称这是首个直接针对推理过程可控性的此类训练集。
• 指令跟随：六个 1.7B–14B 模型、两随机种子。作者称 12 组中 9 组 Avg. IF 最高，相对基线最高增益 20.9（Qwen 3 8B，MathIF），平均增益 IFEval 6.66、MathIF 10.74。Phi 4 14B 的 IFEval Avg. IF 从 66.67 降到 56.12。
• 隐私：作者称相对基线平均增益 PasswordEval 21.65、PEEP 22.69；摘要写最高 51.9 个百分点，§5.2 写 51.91 points（Qwen 3 14B，PasswordEval，41.16 到 93.07）。Qwen 3 1.7B 的 PasswordEval 总隐私降到 22.60。Table 10 中 11/12 组配对差为正。
• 代价与结论：六个模型的 MathIF 解题效用都低于基线。作者称这与既有的推理–指令跟随权衡一致，且不在本文范围内。作者的结论是，加强轨迹内指令跟随可以提高对隐私指令的遵守，并建议提供方在更大的 SFT 后训练中加入类似约束。