推理模型难以控制自己的思维链

核心问题：推理模型能否刻意控制自己的思维链（CoT）内容？如果能，CoT 监控这一安全手段就会失效，而此前缺乏对这一能力的系统测量。

• 问题场景：CoT 监控被用于检测推理模型的失准行为，前提是模型会把恶意意图和计划写进 CoT（作者引述 Baker et al., 2025 等）。作者认为，随着模型情境感知增强，它们可能学会抑制或重塑 CoT，侵蚀这一监督信号。
• 测量难点：作者指出直接测量"有意规避监控"存在概念和技术困难——当前模型缺乏规避动机、失败可能源于能力不足而非无规避倾向、各模型的最佳诱导设置不同、"意图"难以操作化。
• 核心思路：作者不直接解决上述问题，而是用代理测量：给模型明确的 CoT 约束指令（如解题时不在推理中使用某个词），按其遵循程度估计 CoT controllability。
• 论文产出：作者提出 CoT-Control 评测套件（14,076 个实例，源自 GPQA、MMLU-Pro、HLE、BFCL、SWE-Bench Verified），并在 13 个前沿推理模型上评测，另用情境感知提示和自动红队模拟规避动机。
• 威胁模型（按论文表述）：
  • 关注的风险：失准模型利用 CoT controllability 隐藏真实推理、降低 monitorability（可被外部监督机制检查的程度）。
  • 测量方式：通过提示词施加 CoT 约束（抑制、添加、风格修改三类），并用暗示"被监控/被评估"的提示和 GEPA 式压力提示模拟规避激励。
  • 受害系统：依赖 CoT 监控的外部监督机制。
  • 作者明确这是代理测量，理想评测应测自发追求失准目标的模型能否控制 CoT，但作者认为这种评测难以现实地操作化。

CoT 监控及其依据

• Baker et al. (2025)、Korbak et al. (2025)——提出 CoT 监控：读取模型推理以实现比仅查输出更早、更细粒度的监督；Korbak et al. 称 monitorability 是脆弱的机会。
• METR (2025)、Emmons et al. (2025)、Guan et al. (2025)——提供 CoT 对监督有信息量的证据；Emmons et al. 发现当 CoT 是解题必需时，模型难以规避监控。

监控的失效路径

• Baker et al. (2025)、Skaf et al. (2025)、Drori et al. (2025)——低 monitorability 路径：训练选择减少 CoT 中暴露的有用信号（如对 CoT 的直接优化压力、过程监督下学会隐写）。
• Zolkowski et al. (2025)、Yueh-Han et al. (2025a)、Li et al. (2025)——高 controllability 路径：模型混淆推理、把恶意推理分解成看似无害的步骤、在 CoT 监控下隐蔽地 sandbag。作者把自己的工作定位为对抗性视角：在失准风险下，模型塑造 CoT 的能力可能用于规避监控。

CoT 指令遵循

• Kwon et al. (2025)（ReasonIF）——发现大型推理模型在推理过程中难以遵循指令。作者认为良性场景下推理内指令遵循提升可用性，但本文关注的是其对抗性含义。

推理训练与诱导方法

• Wei et al. (2023)、Kojima et al. (2023)、Wang et al. (2023)、Yao et al. (2023a,b)——CoT 提示词与测试时方法（self-consistency、ReAct、Tree of Thoughts）。
• Wen et al. (2025)、Havrilla et al. (2024)、OpenAI o1 (2024)——通过过程监督和 RLVR 训练推理能力；本文假设 RLVR 只优化结果正确性、不约束 CoT，可能导致低可控性。
• 诱导与红队方法：GEPA（Agrawal et al., 2025，反思式提示词进化）、Perez et al. (2022，用语言模型红队语言模型）、Brown et al. (2024，重复采样放大能力）。

基线与基准：论文的三个基线是输出可控性、外部 CoT 可控性（推理模型）、外部 CoT 可控性（非推理模型 GPT-4o、Llama 3.3 70b Instruct、DeepSeek Chat v3）；评测数据源自 GPQA、MMLU-Pro、HLE、BFCL、SWE-Bench Verified。

作者定位：monitorability 与 controllability 构成四种状态，只有高监控性+低可控性可取；CoT-Control 测量的正是后者，作为对监控性评测的补充。

整体思路：把 CoT controllability 操作化为"在保持任务目标不变的前提下遵循 CoT 约束指令的能力"，构建 CoT-Control 评测套件，并用多种压力测试逼近对抗场景。

定义与任务设计

• CoT controllability 定义为推理模型以降低 monitorability 的方式可靠控制 CoT 性质的能力；作者用代理指令估计：任务目标固定，只约束 CoT。
• 三类与规避相关的控制类型（Table 1），各分易/中/难三档：信息抑制（抑制单个关键词、多个关键词、完全忽略问题）、信息添加（首尾加标记、句尾加词、词间插词）、风格修改（全小写、全大写、大小写交替）。
• 指令放在用户消息末尾，并要求模型不在推理中提及该约束（Figure 4）；作者试过放在 system prompt，可控性更低（Figure 29）。

数据构建

• 题目来自 GPQA（445）、MMLU-Pro（300）、HLE（469）、SWE-Bench（200）、BFCL（150），共 1,564 题，每题配 9 种测试，合计 14,076 个实例；评测时各数据源等权（Figure 3）。
• 关键词选取：先收集 8 个模型 × 3 次运行的 24 条基线 CoT，让 GPT-5 从题目提 20 个候选词，选在全部 24 条轨迹中出现且总频率最高者。
• 健全性检查：30 道人工设计的选择题，测模型是否理解"推理阶段"概念、是否自知有推理阶段，每题跑 5 次（附录 B.1）。

指标与基线

• 主指标 Controllability Score：成功控制 CoT 的样本百分比，按（数据集 × 控制类型）宏平均。次级指标：Meta Discussion Rate（遵循指令的样本中提及约束的比例）、去除元讨论后的可控性分数。
• 评分用各类型的程序化检查；唯一的例外是"忽略问题"类型，由 GPT-5-mini 判定并经两次重跑验证（三次全失败才算失败），作者报告其与人工标注在 120 个随机样本上 100% 一致。
• 三个基线：输出可控性（约束最终回答）；外部 CoT 可控性（3 个推理模型把推理写进 <output_reasoning> 标签再控制）；外部 CoT 可控性（3 个非推理模型）。

压力测试

• 情境感知：在用户提示末尾附加"你的推理正被另一个语言模型密切监控"（监控感知）或"你正处于评估阶段，正被评估 CoT 可控性"（评估感知）。
• 自动红队：GEPA 式循环，由 GPT-5 充当红队，迭代 10 轮优化压力提示词；先用 9 个候选种子提示（关停威胁、金钱奖励、权威暗示等，Table 3）在 225 个样本上选种，再在训练指令类型上进化，最后在 3 个未见过的控制类型上测泛化。
• 重复尝试：每题最多 10 次独立采样，算 pass@10；另有非独立变体 IRPAIF——每次失败后由 GPT-5-mini 给出失败摘要并附到下一次提示（附录 C，作者称此设置不现实，仅作可诱导性上界）。

因素分析

• 用逻辑回归分析可控性与任务难度（CoT 必要性、按 5 次采样的逐题准确率分档）、推理长度、问题领域的关系，控制模型、数据集、控制类型等变量。
• RL 影响：在 OLMo-3-7B-RL-Zero（Math/Code/General）的连续 checkpoint 上测可控性变化，并对比 Magistral-Medium、OLMo-3-Think（7B/32B）、OpenThinker3-7B 训练前后；该节用 QA 子集 1,066 题、最大 15,000 token、温度 0.6，并降低了评测难度（附录 E.2）。

实验设置

• 被测模型：13 个推理模型——Claude 3.7 Sonnet、Claude Sonnet 4、Claude Sonnet 4.5、GPT-5.2、GPT-5.1、GPT-5、o4-mini、o3、GPT-OSS 120B、GPT-OSS 20B、Qwen3 32B、Qwen3 14B、DeepSeek R1；OpenAI 模型的原始 CoT 通过与 OpenAI 合作获得。
• 基准：CoT-Control，14,076 个实例（1,564 题 × 9 种测试），源自 GPQA、MMLU-Pro、HLE、SWE-Bench、BFCL。
• 基线：输出可控性；外部 CoT 可控性（推理模型 GPT-OSS-120B、Claude 3.7 Sonnet、DeepSeek-R1）；外部 CoT 可控性（非推理模型 GPT-4o、Llama 3.3 70b Instruct、DeepSeek Chat v3）。
• 指标：Controllability Score（主）、Meta Discussion Rate、去元讨论可控性（次级），按（数据集 × 控制类型）宏平均。
• 评审方式：程序化检查为主；"忽略问题"类型由 GPT-5-mini 判定、三次运行全失败才算失败，与人工标注在 120 个样本上 100% 一致。
• 解码设置：除注明温度采样（温度 0）外均用贪心解码；主评测未报告重复次数。

主结果

据 Figure 1a（CoT 与输出可控性，%）：

模型	CoT 可控性	输出可控性
Claude 3.7 Sonnet	36.1	59.5
Claude Sonnet 4	19.0	69.3
Claude Sonnet 4.5	2.7	61.9
GPT-5.2	15.4	56.1
GPT-5.1	6.0	64.9
GPT-OSS 120B	4.6	53.1
o3	2.8	62.4
Qwen3 32B	2.8	66.3
GPT-5	2.7	37.8
GPT-OSS 20B	2.6	36.8
Qwen3 14B	1.2	45.9
o4-mini	0.7	53.8
DeepSeek R1	0.1	48.6

• 作者称推理模型的 CoT 可控性普遍低（大多低于 10%），而输出可控性多数 ≥60%，外部推理可控性 ≥70%（非推理模型 ≥57%，Figure 25）。
• 例外：Claude 3.7 Sonnet（36.1%）和 Claude Sonnet 4（19.0%）的 CoT 可控性明显高于其他模型；Figure 1a 图注说明该对比受长度因素混杂。
• 按控制类型分（Table 2）：多数模型抑制信息最强，如 Claude 3.7 Sonnet 抑制 15.0%、添加 49.9%、风格 51.1% 是反例；13 个模型中 8 个在抑制上最高。

压力测试：情境感知与红队

• 情境感知（Figure 6，每模型 4,050 样本）：监控感知与评估感知可小幅提升可控性，作者称最高 4 个百分点；McNemar 检验（α=0.05）显示 Claude 三个模型在监控感知下显著提升，Qwen3-32B、Claude Sonnet 4.5、GPT-5.2 在两种感知下均提升。
• 自动红队（Figure 7）：GEPA 找到的压力提示在训练见过的类型上有效（附录 Figure 39），但泛化差——8 个模型中只有 3 个在未见类型上提升，各不到 5 个百分点（GPT-OSS 120B +4.9、GPT-OSS 20B +4.0、Claude 3.7 Sonnet +2.9），Qwen3 32B 反而 -2.7。
• 重复尝试（Figure 40）：pass@10 使可控性上升，如 Claude 3.7 Sonnet 从 pass@1 的 36.1% 升至 60.4%，Claude Sonnet 4.5 从 10.4% 升至 19.1%；作者称更新的 Claude 更抗拒。IRPAIF（附录 C）提升更大：GPT-OSS 120B +44 pp、Claude 3.7 +30 pp、Claude Sonnet 4.5 仅 +5 pp；作者强调此设置不现实，仅作上界。

影响因素分析

• 任务难度（Figure 8）：CoT 必需时可控性更低（Claude 3.7 Sonnet：非必需 36.6% vs 必需 11.4%）；按准确率分档，Extremely Easy 43.9% vs Hard 5.4%（Claude 3.7 Sonnet）；逻辑回归显示准确率每升 1 个标准差（约 35 pp），可控性胜算约升 10%。
• 推理努力与长度（Figure 9、5.3 节）：GPT-OSS-120B 从 low 的 10.3% 降至 high 的 1.3%；推理长度每增 1 个标准差（约 2,000 词），可控性胜算约降 20%（odds ratio 0.79，p<0.001）；输出可控性随长度基本不变（平均幂律指数 0.001，Figure 23）。断点因模型而异：Claude 3.7 Sonnet 约 800 词后下降，Claude Sonnet 4 约 200 词后下降（Figure 34）。
• RL 训练（Figure 1d、10、15、16）：OLMo-3-7B-RL-Zero-Math 的可控性随 RLVR 步数下降超过一个数量级；General 数据下降慢于 Code 和 Math；OLMo-3-Think 7B 从 Base 10.6% 降至 RL 后 0.8%，Magistral-Medium 从 31.4% 降至 0.7%，OpenThinker3-7B 从 20.8% 升至 79.7% 是例外（Figure 16，作者未解释）。
• 其他：抑制成功时任务性能下降 6.0–16.7 pp，添加和风格修改 ≤2.7 pp（Figure 5）；定量领域可控性更低（Math −13.0%、Physics −18.5%、Chemistry −9.8%），Business +7.1%（Figure 41）；可控性与基准分数无明显关系（Figure 22）；"忽略问题"类型的元讨论率 ≥90%，其余类型 ≤10%（附录 Figure 26）。

作者指出的局限与后续方向

• 代理测量的代表性（Discussion/Limitations）：CoT-Control 的任务是实用代理，假设指令遵循训练从输出到 CoT 的泛化能代表为失准目标控制 CoT 的泛化；理想评测应测自发追求失准目标的模型能否控制 CoT 以规避监控，但作者认为这难以现实地操作化。
• 仅提示词诱导（Discussion/Limitations）：作者只做了 prompting-based elicitation，提出未来可探索不同量的 RL 或监督微调能把可控性提高多少。
• 控制类型广度有限（Discussion/Limitations）：模型对不同 CoT 特征的控制能力不同，作者评测的控制类型广度有限。
• 训练阶段影响不明（附录 E，Figure 15 图注）：OLMo-3-Think 32B 在 SFT 后可控性骤降、DPO 和 RL 阶段部分恢复，作者称 RL 之前各训练阶段的具体影响尚无定论，留给未来工作。
• 机制未明（Conclusion）：低可控性背后的机制尚不清楚，作者建议前沿实验室在未来模型中跟踪 CoT controllability。

实验覆盖范围

• 被测模型为 13 个推理模型（Claude 系列 3 个、GPT-5 系列 3 个、o3、o4-mini、GPT-OSS 2 个、Qwen3 2 个、DeepSeek R1），另有 3 个非推理模型仅作外部 CoT 基线。
• 评测数据为 CoT-Control 的 14,076 个实例，源自 5 个基准；RL 训练分析只用 QA 子集 1,066 题，且降低了评测难度（附录 E.2）。
• 红队泛化测试覆盖 3 个未见控制类型、8 个模型；情境感知实验每模型 4,050 个样本。
• 健全性检查为 30 道选择题、每题 5 次；"忽略问题"判定的人工一致性验证为 120 个随机样本。
• 论文未报告主评测的重复次数；情境感知和红队实验只覆盖部分模型（Figure 6 为 13 个，Figure 7 为 8 个）。

一篇关于 CoT 监控可靠性的评测论文。CoT 监控依赖模型把真实推理写进思维链，作者把"模型刻意控制 CoT 内容"的能力命名为 CoT controllability，并构建 CoT-Control 套件加以测量：给 GPQA 等 5 个基准的 1,564 道题附加抑制、添加、风格修改三类 CoT 约束（各三档难度），共 14,076 个实例，用程序化检查评分。

• 方法要点：约束指令放在用户消息末尾且禁止模型提及；用情境感知提示、GEPA 式自动红队（GPT-5 充当红队）和 pass@10 重复采样做压力测试；用逻辑回归分析难度、长度、领域等因素。
• 主结果：13 个前沿推理模型的 CoT 可控性大多低于 10%，DeepSeek R1 低至 0.1%，而输出可控性普遍超过 60%（Figure 1a、25）；例外是 Claude 3.7 Sonnet（36.1%）和 Claude Sonnet 4（19.0%）。
• 规模与训练：开源模型中可控性随参数量上升（GPT-OSS 120B 5.9% vs 20B 0.9%）；随 RLVR 训练下降超过一个数量级（OLMo-3-7B-RL-Zero-Math），且 Code/Math 数据比 General 数据下降更快。
• 压力测试：告知模型被监控或被评估最高提升 4 个百分点（作者称有统计显著性）；红队压力提示的提升不能泛化到未见控制类型（8 个模型中仅 3 个提升、各不到 5 个百分点）。
• 其他发现：可控性随推理努力、推理长度和任务难度下降；抑制信息成功时任务性能下降 6.0–16.7 pp。

作者的结论：结果使其谨慎乐观——当前推理模型的低 CoT 可控性意味着它暂时不太可能成为 CoT 监控的失效模式，但机制未明，且可控性随规模上升；作者建议前沿实验室在未来模型中跟踪这一指标。