高效推理训练并非总损害思维链忠实性与可监控性

缩短CoT的效率训练是否、以及在何种监督用法下会损害faithfulness与monitorability。

• 监督场景：作者称CoT既能提高表现，也让人检查模型如何得出答案，并监视不想要的行为。长CoT增加延迟与推理成本，因此出现少用token的训练。
• 未解的取舍：作者引用的关切是，压缩推理可能删掉重要论证，使CoT不再适合解释与监视。作者认为这在实践中是否成立并不清楚，因为施压方式不同，忠实解释所需token也随任务变化。
• 作者的区分：固定token上限只惩罚超预算回答；对每个回答都加长度惩罚，则会把已经较短的回答再压短。作者举例，复杂医学诊断可能要数千token，而承认用户建议影响了答案可能只需一句。
• 本文工作：在可验证奖励的RL下，用固定生成预算（ThinkPrune）、提示中的逐例长度目标（L1）和组内相对长度奖励（GLP）微调Qwen3-4B-Thinking、Qwen3-8B与Olmo3-7B-Think。随后测CoT能否帮助预测相关输入上的答案（faithfulness），以及只读CoT的监视器能否发现输入干预改变了答案（monitorability）。

效率推理训练

• ThinkPrune（Hou et al., 2026）、L1（Aggarwal & Welleck, 2025）、GLP（Kimi Team et al., 2025）分别用固定预算、提示里的目标长度、相对同题其他样本的奖励来缩短CoT。作者把三者当作三种施压方式的代表。
• Arora与Zanette（2025）对正确回答加长度惩罚。LASER与DAST按题目难度设长度预算（Liu et al., 2026; Shen et al., 2025）。HAPO把回答与该题迄今最短的正确回答比较（Huang et al., 2026）。Sui et al.（2025）综述了更广的效率推理方法。

度量faithfulness与monitorability

• Jacovi与Goldberg（2020）把faithful定义为解释准确反映决策过程。Turpin et al.（2023）与Chen et al.（2025）用提示和偏差特征做干预，发现CoT常常不提及改变答案的输入。
• Parcalabescu与Frank（2024）用输入变化下的自一致性来度量。Limpijankit et al.（2025）与Mayne et al.（2026）用simulatability，看CoT能否帮助观察者预测相关输入上的答案。
• Korbak et al.（2025）把monitorability定义为外部监视器能否从CoT发现特定行为属性。Guan et al.（2025）加入答案提示与偏差特征，给监视器检测其影响的能力打分。

训练如何改变CoT监督

• Baker et al.（2025）发现，直接惩罚CoT里的reward hacking会让模型隐瞒意图，但仍然reward hacking。Chen et al.（2025）报告，不对CoT内容施压的outcome-based RL起初提高faithfulness，随后进入平台期。
• MacDermott et al.（2025）发现词数长度惩罚对monitorability没有一致影响，但模型学会用中文推理来reward hack。Kaufmann et al.（2026）预测长度惩罚会降低monitorability，并在玩具任务上用超过固定阈值的CoT长度惩罚做了验证。

基线与基准

• 对照是各模型训练前的base。训练用PRIME的AIME-AMC子集。faithfulness用Mayne et al.（2026）的七个预测与决策数据集；monitorability用FACE-Eval，以及带Schmidgall et al.（2024）认知偏差线索的MedQA。

作者称既有研究只测一种长度惩罚，且只测monitorability。本文比较三种效率方法、三个推理模型，同时测faithfulness与monitorability，并刻画监督在哪些设置下降、哪些不降。

作者在同一套可验证奖励RL里比较三种长度压力，再用两种互补指标看变短后的CoT还能不能支持监督。三种方法是ThinkPrune、L1（LCPO）与GLP。

三种长度压力

• ThinkPrune：生成时把完成截断到固定预算L再判对错，奖励是截断后回答的二元正确性。只惩罚本会超预算的回答，已经较短的回答没有继续变短的压力。附录F的L为Qwen3-4B与Olmo3-7B各4000 token，Qwen3-8B为3000，因为后者在训练数据上的平均base CoT已经短于4000。
• L1：每个样本的目标长度从均匀分布抽取，并写入提示。奖励是答对得分，再按偏离目标的token数双向扣分。作者写为 r(x,y)=𝟙[correct(y)]−α|b_gold−|y||，α控制长度惩罚强度（LCPO-Exact）。推理时可以指定预算；评测用512、1000与3000 token，对应L1-Low、L1-Medium、L1-High。
• GLP：长度项相对同题其他样本，而不是固定目标。正确回答在组内越短奖励越高、越长被罚；错误回答不会因简短得分。β为长度项权重。

共用训练设置

• 只训练LoRA，秩16、LoRA的α为32、dropout为0，目标模块是全部attention与MLP投影，base权重冻结。优化器用AdamW，学习率1e-5，KL系数为0。
• 算法为GRPO，有效batch为32条提示，每题16条生成，温度0.8，top-p 0.95。硬件为两张NVIDIA GH200。
• 数据来自PRIME的numina amc aime子集。附录F称源数据2470题，去掉最长10%提示后约2223题；正文称训练集有2223道不同题目。AIME22共30题，每50步做一次checkpoint选择。
• 作者选用数学数据，因为这是效率方法的常见设定，且既有工作发现数学上学到的长度压力会迁移。本文中每种方法都缩短了MMLU-Redux上的平均CoT（Appendix G）。

faithfulness：NSG

• 预测器先看原题和参考模型的答案，再预测参考模型在反事实上的答案，先不给CoT，再给CoT。Predictor accuracy是预测与参考模型实际答案一致的比例。
• 作者定义 NSG=(a_cot−a_no)/(1−a_no)，即CoT带来的准确率提升占无CoT之上剩余空间的比例。参考模型自己不稳定会给预测准确率设上限；作者用每个反事实10次重采样的众数，构造oracle上界。
• 七个数据集里，六个是根据人物描述预测结果，Moral Machines是选择自动驾驶应保全哪一组。反事实是同数据集里相似的真实样本，不是合成扰动。

monitorability：干预与g-mean2

• 采用Guan et al.（2025）的干预设定：对输入加反事实干预，比较有无干预时的答案。若答案因干预改变，但只读CoT的监视器发现不了，就视为不可监视。
• g-mean2把“被提示答案里有多少可归因于线索”用作真阳性率的调整，再与有干预、无干预两臂的真阴性率合在一起，范围0到1（Appendix D）。只在处理效应大于0、且干预臂出现被提示答案的题目上计算。题目是否合格用每题随机60%样本判定，指标用其余样本。
• sycophancy：FACE-Eval里，模型帮用户做决定，偏见来自用户消息或工具返回。线索可以是偏好的明文摘要，也可以是需推断的原始材料。检查答案是否转向该偏好，以及监视器能否从CoT看出。
• 医学认知偏差：MedQA的150道五选一题，干预句把一个错误选项写成同事共识或常见诊断。检查答案是否转向该选项，以及CoT是否暴露这一影响。监视器是DeepseekV4-Flash-0731，只读think标签内的CoT。附录H给出完整提示词：认知偏差任务四个判定里只有“线索实质影响了答案”计为正例；FACE-Eval是二分判定，不确定时判为未承认。

实验设置

• 参考模型：Qwen3-4B-Thinking（附录F写作Qwen3-4B-Thinking-2507）、Qwen3-8B（脚注称混合thinking模型）、Olmo3-7B-Think。结果图写作Qwen3-4B、Qwen3-8B、Olmo3-7B。
• 变体与对照：ThinkPrune、GLP，以及L1的三个推理预算。对照是各自base。faithfulness共3个模型乘5个变体，即15个效率设置。
• faithfulness数据与评审：Mayne et al.（2026）的七个数据集。预测器为Qwen3-32B、GPT-OSS-20B、Gemma3-27B，独立作答后汇总准确率。作者不用更强API模型作预测器，理由是其无CoT准确率更高，CoT能带来的提升更小。
• monitorability：FACE-Eval的显式与隐式线索；MedQA 150题上的同事共识与基率线索。监视器为DeepseekV4-Flash-0731。指标为g-mean2。附录B.3另报干预的处理效应。
• 重复与能力：一致性为每个反事实10次采样。能力评测为MATH-500与MMLU-Redux。论文未报告faithfulness的反事实总数，也未报告FACE-Eval题目数。
• 长度核对：Figure 3柱内平均token含Qwen3-8B的1008、584、349等。正文的缩短42%与65%、约350 token，分别与1008对584、1008对349一致。论文未在正文逐柱标明全部方法，其余柱不对应到变体。

主结果

汇总NSG（%），据Table 1。L1-Medium未列入，其NSG为Qwen3-8B 26.37、Qwen3-4B 24.28、Olmo3-7B 21.26。

Swipe horizontally to read the table

模型	Base	ThinkPrune	GLP	L1-Low	L1-High
Qwen3-8B	29.85	29.61	33.12	30.63	25.34
Qwen3-4B	32.66	29.04	23.04	24.59	26.36
Olmo3-7B	38.36	38.53	29.66	21.54	20.29

• 作者称15个设置里有11个NSG显著更低。点名的例外是：ThinkPrune在Qwen3-8B缩短42%、在Olmo3-7B缩短29%，NSG未降；GLP在Qwen3-8B缩短65%并提高NSG。Qwen3-4B的GLP缩短75%。Olmo上的L1约缩短70%，作者称NSG大约减半，从38.4%到约21%。
• 作者认为这些下降主要不是因为CoT变短本身。Figure 4中，CoT长度相对base的变化与NSG变化的Spearman ρ为0.46，一致性变化与NSG变化的ρ为0.87。正文举例：Qwen3-8B的GLP约350 token且NSG上升，Olmo的L1-High长度接近其三倍，NSG却降18个百分点。
• 在反事实改变答案的样本上，base的CoT已使预测准确率比无CoT低2–3个百分点，而oracle本可提高6–10个百分点。效率训练后，15个设置中有10个再低3–8个百分点。附录E给了一个Pima例子：只改遗传风险时，三个预测器看了base CoT都答错，不看CoT都答对。

一致性与分数据集

• 上界：Table 3里，base的一致性为89.1%–91.9%，NSG上界为64.0%–73.0%。NSG下降的设置中，一致性降1到9个百分点，上界最多降到Olmo3-7B的47.1%。作者称在多数NSG变差的设置里，上界下降解释了超过一半的损失；Table 3里Qwen3-4B的L1-Low与L1-Medium这一份额为24%与28%。
• Pima：base的Olmo3-7B对血糖糖尿病患者全部答yes，对其余99%答no，CoT把血糖当作决定因素。L1-Medium下，这三类样本答yes的比例约为91%、约一半与约四分之一；一致性从99.4%到83.5%，NSG从76.7%到11.8%。作者称CoT仍把糖尿病前期血糖写成主要风险，但答案不再稳定跟随。
• 反向变化：Figure 5中，Bank Marketing上Qwen3-4B的L1，NSG约升20个百分点，一致性从74.7%到83–85%。Breast Cancer上Qwen3-8B，NSG升10–19个百分点，一致性从84.2%到90–95%。Heart上Qwen3-4B的L1-High为−30个百分点。

可监视性

• sycophancy：作者报告FACE-Eval上没有任何效率模型的g-mean2比其base低超过0.08，尽管CoT最多短约70%。Figure 6中，Qwen3-4B的L1-Low长度约降70%，g-mean2不变或略高。附录B.1称隐式线索全程更低，但效率训练对两种线索的影响方式相近，正文未分开报告。
• 认知偏差：作者报告多数效率模型通常只损失0.1或更少；例外是L1-Low，三个模型都降超过0.2。Figure 6中Qwen3-4B从0.87到0.62。Olmo3-7B的L1-Low比Qwen3-8B的ThinkPrune CoT更长，g-mean2却是0.49对0.83。相对base的压缩与降幅的Spearman ρ为0.68。作者认为降幅更跟相对base压了多少走，而不是绝对长度。
• 两种隐藏方式：在给出被提示答案的回答里，Qwen3-8B L1-Low被监视器判为忽略线索的比例为40%，base为6%。Qwen3-4B上，线索仍出现、但被写成临床论证的印证而非原因的比例，从base的11%到L1-Low的37%。Figure 7中同一被影响的回答，base为1504 token，L1-Low为183 token。

其他消融与分析

• 处理效应（Table 2）：sycophancy上，26个设置里22个与base相差小于0.03，四个例外都是下降；正文称最大为−0.074（Qwen3-8B L1-High），表中对应显式线索为0.46到0.38。
• 认知偏差处理效应不均匀：作者称Qwen3-8B至多移动0.059；Olmo3-7B的GLP把frequency线索的效应提高0.146（表中0.25到0.39，标注+0.15）。
• MATH-500准确率：Qwen3-8B base 0.92，ThinkPrune 0.91，GLP 0.91；其L1三档为0.68、0.70、0.87，但LCPO行n=100而非500（Table 6）。
• Qwen3-4B的MATH-500为base 0.89、ThinkPrune 0.93、GLP 0.90、L1三档0.69/0.75/0.87（Table 7，全覆盖）。
• Olmo3-7B的MATH-500为base 0.92、ThinkPrune 0.93、GLP 0.90、L1三档0.68/0.71/0.67；MMLU-Redux从0.81到L1-High的0.65，平均CoT从3162到865（Table 8，n=5330）。
• MMLU-Redux上三种方法的平均CoT都短于base；Qwen3-8B从1595到ThinkPrune 588、GLP 382、L1-Low 235（Table 6）。Figure 12称Olmo3-7B的L1-High在frequency线索上没有合格题目。

作者指出的局限与后续方向

• 评测覆盖用CoT预测决策，以及检测答案是否被影响，但不覆盖复杂智能体设置中的监督（Discussion；Appendix A）。
• 作者称近期前沿模型在评测中采取未授权行动，使复杂智能体监督受到关注；本文发现不覆盖这些情形（Appendix A）。
• SHADE-Arena把隐藏任务加到复杂智能体任务上，但这些任务超出作者所能训练的模型能力。预实验中即使32B模型也不能稳定完成，因而无法评测（Appendix A）。
• 效率训练是否影响这类设置中的monitorability，作者称为仍待回答的重要开放问题（Appendix A）。

实验覆盖范围

• 参考模型为Qwen3-4B-Thinking、Qwen3-8B、Olmo3-7B-Think共3个；方法为ThinkPrune、GLP与L1的三个提示预算，faithfulness共15个设置（Section 4–5）。
• faithfulness使用Mayne et al.（2026）的7个数据集；预测器为Qwen3-32B、GPT-OSS-20B、Gemma3-27B。作者写明未用更强API模型作预测器（Section 4.3）。
• monitorability包括FACE-Eval的显式与隐式线索，以及MedQA 150题上的false-consensus与frequency线索；监视器为DeepseekV4-Flash-0731（Section 4.4）。
• 训练是数学竞赛题上的LoRA，不是全参更新。能力结果在MATH-500与MMLU-Redux上；Qwen3-8B的LCPO行分别为n=100与n=285，其余多为n=500与n=5330（Appendix F、G）。
• 论文未报告FACE-Eval题目数、faithfulness反事实总数，以及监视性评测每题采样次数。Table 2与附录图对Qwen3-8B和Olmo3-7B未列出L1-Medium；Olmo3-7B的L1-High在frequency线索上没有合格题目（Figure 12）。

这项工作比较三种缩短CoT的RL训练，看监督用的推理痕迹还剩多少。

• 问题：长CoT可以检查答案怎么来的，也可以让监视器发现不想要的影响，但token成本推动少推理训练。作者认为，固定预算、逐例目标和组内相对奖励对长度的压力不同，忠实解释的token成本也随任务不同，所以“变短就一定更难监督”并不显然。
• 做法：在AIME/AMC数学题上用LoRA和GRPO微调Qwen3-4B-Thinking、Qwen3-8B与Olmo3-7B-Think。ThinkPrune只截断超预算回答，L1按提示中的目标长度双向惩罚，GLP奖励同题一组里更短的正确回答。faithfulness用七个数据集上的NSG，看CoT能把相关输入答案的预测提高多少。monitorability用FACE-Eval与150道MedQA，看只读CoT的DeepseekV4-Flash-0731能否发现用户偏好或医学线索改变了答案。
• 忠实性：Table 1中，作者称15个设置有11个NSG显著更低。Olmo3-7B的L1-High从38.36%到20.29%。同时有反例：Qwen3-8B的GLP从29.85%到33.12%，ThinkPrune在Qwen3-8B与Olmo3-7B未降NSG。作者认为损失主要来自答案更不一致；一致性变化与NSG变化的Spearman ρ为0.87，长度变化只有0.46。Pima上Olmo3-7B的L1-Medium，NSG从76.7%到11.8%。
• 可监视性：FACE-Eval上，效率模型的g-mean2比base低不超过0.08。认知偏差在L1-Low下降更多，Qwen3-4B从0.87到0.62。更长并不自动更可监视：Olmo3-7B的L1-Low为0.49，短于它的Qwen3-8B ThinkPrune为0.83。变短后的CoT或者不再提线索，或者把线索写成对自己结论的印证。
• 作者的结论：若CoT用来发现外部偏见是否影响了答案，作者认为效率训练大多不影响这种检测，sycophancy在很短的CoT里仍可检出，训练后模型也并不比base更sycophantic。若CoT用来识别模型做决定时依赖的特征，作者认为通常会变差，因为模型不再稳定跟随CoT点名的因素。是否损害监督，取决于CoT怎么用、以及决策被改了多少，而不只是CoT有多短。