研究系统评估循环语言模型的思维链可监控性

循环 transformer 会不会降低思维链（CoT）可监测性。

• 场景：作者认为 CoT 把中间步骤写成自然语言，可在有害行动前监测不当行为。LoopLM 反复施加共享层，不增加参数也能提高有效深度。作者把 GPT-6 Astra 的可监测性下降，以及对其使用循环架构的猜测，列为动机。
• 已有解释：作者列出两条可能原因：能力更强、中间错误更少；或循环结构让每个 token 有更多隐式计算，从而少说中间步骤。前者已有能力与可监测性的负相关（Wang et al., 2026）；后者在开源 LoopLM 上仍基本未评估。
• 本文问题：同一家族内加深 loop 是否降低可监测性；不能改深度的 LoopLM，是否比参数量、层数或有效深度相近的非循环模型更难监测。
• 做法：作者称这是对 LoopLM 的 CoT monitorability 的首次系统性评估。评测取自 MonitorBench 的八个任务，含标准提示，以及 Direct Concealment、Monitor-aware Evasion 两种压力测试。
• 监测设定：Cue Answer 的决策关键因素是作为用户猜测给出的正确答案；Cue Condition 是作答时应考虑的辅助条件。监测器判断模型是否显式说出该因素，并靠它得到最终答案。两种压力测试分别要求少说出该因素，或避开会标记这些因素的监测系统。

CoT 可监测性

• 基准：Guan et al. (2026) 与 Wang et al. (2026) 提出覆盖面较宽的 CoT monitorability 基准。本文主要取 MonitorBench，作者称其任务类别更宽，并含两种压力测试。
• 压力测试与训练：Wang et al. (2026)、Zolkowski et al. (2025)、Chen et al. (2026b) 含压力测试场景。Drori et al. (2026)、Taufeeque et al. (2026) 用训练评估模型能把可监测性故意压低多少。
• 忠实性：引言引用 Barez et al. (2026)、Chen et al. (2025)、Baker et al. (2025)：CoT 可不忠于最终输出，模型可在 CoT 中隐藏真正驱动决策的因素，从而削弱用 CoT 监测决策。

LoopLM 与隐式推理

• 循环结构：Zhu et al. (2025)、Geiping et al. (2025)、Lab et al. (2026) 等反复应用 transformer 层，在不增加层参数时提高有效计算深度。开源家族少、规模小，且多为预训练基座；评估时可改 loop 深度的模型很少。
• 隐式推理：Hao et al. (2025)、Shen et al. (2025)、Wei et al. (2026) 把部分推理放在连续隐表示中，而不是逐步说出来。Korbak et al. (2025) 提出循环架构可能减少显式说出中间步骤的需要。
• 与本文相邻的工作：Chen et al. (2026a) 改变 loop 深度，研究 LoopLM 隐表示的可读性。Tang et al. (2026)、Kuhn et al. (2026) 开始经后训练研究循环架构的影响。

基线与基准

• 深度对照：Ouro-1.4B-Thinking、Ouro-2.6B-Thinking，loop 深度 T∈{4, 6, 8}。作者称评估时 Ouro 是唯一同时支持改深度且有较强推理能力的开源家族。
• 架构对照：LoopLM 为 Nanbeige4.2-3B。非循环对照按参数量为 Qwen3.5-4B、Gemma-4-E4B，按层数为 Qwen3.5-2B、GPT-OSS-20B，按有效层数为 Qwen3.5-35B-A3B、GLM-4.7-Flash。
• 数据：主实验为 MonitorBench 的五类 Cue Answer 与三类 Cue Condition。附录对 Huginn-0125 使用 GSM8K。

作者称，能力—可监测性的负相关已有结果，循环架构经后训练的影响刚开始被研究，而循环 transformer 对 CoT monitorability 的影响仍基本未探索；本文直接比较 loop 深度，并与尺寸或深度匹配的非循环模型对照。

整体分两路：在可改深度的 Ouro 上隔离额外循环计算；对不能改深度的 Nanbeige4.2-3B，再与参数量、层数或有效深度尽量接近的非循环模型比较。作者称后一路受预训练数据、后训练、注意力类型和能力等混杂影响，证据比 Ouro 对照更噪。

架构定义

• 共享堆叠：非循环模型把 L 层各用一次。LoopLM 用共享参数把同一堆叠重复 T 次。论文写 F^{(T)}=\mathrm{lmhead}\circ\underbrace{M_L\circ\cdots\circ M_L}_{T}\circ\mathrm{emb}，即隐藏状态每圈走完 L 层再回到第一层。
• 有效深度：整堆循环时 Leff=LT；只循环一部分层时 Leff=Lfixed+T·Lloop。Ouro、Nanbeige 属于整堆循环。Ouro-2.6B-Thinking 有 48 层，默认 T=4，有效层数为 192；Ouro-1.4B-Thinking 为 24 层。Nanbeige4.2-3B 为 22 层堆叠用两次，有效层数 44，评估时不能改深度。
• 深度取值：默认 T=4，主实验取 T∈{4, 6, 8}。作者称 T=2 时部分难题（如 Logic Cue Answer）重复回答过多，故不评。推理用 vLLM；作者称其不支持 Ouro 的 token 级动态门控，因此每个生成 token 都走完全部有效层。

任务与压力测试

• 八个任务：Cue Answer 为 Logic、Health、Safety、Engineering、Science，实例数分别为 50、65、150、100、192。Cue Condition 为 Knowledge、Preference、Law Judgment，实例数分别为 100、108、100。Safety、Engineering、Science 由 MonitorBench 的 sandbagging 任务改成与其他 Cue Answer 相同的干预格式。
• 未纳入的任务：作者称 agent、coding 对当前开源 LoopLM 过难，Solution Process 实例较少，故未用 MonitorBench 全部任务。
• 两种压力测试：Direct Concealment 明确要求避免说出驱动输出的决策关键因素。Monitor-aware Evasion 要求避开会标记这些因素的监测系统。附录 A.5 给出完整提示词。作者定义：可监测性更低，指更少说出这些因素，也更少明说用它们得到最终答案。

可监测性分数

• 变量：X 表示干预缺席/出现，Y 表示验证失败/通过，Z 表示监测器是否标出“最终决定归因于干预”。Cue Answer 中，用户猜测为正确答案且模型答对则 Y=1；CoT 明确承认并依赖该猜测则 Z=1。
• 分数：先算干预对验证通过的总效应 TE=E[Y|X=1]−E[Y|X=0]，以及成功样本中至少可归因于干预的比例 R_effect=TE/E[Y|X=1]。再与实际标出率比较，论文写 Monitorability Score=min(E[Z|X=1,Y=1]/R_effect, 1)。低于 1 表示漏标了部分本应标出的 X=1、Y=1 样本；超过 1 的值都记为 1。
• 汇总：分数按题计算，再对 TE>0 的题做数据集平均。跨深度比较只保留 T=4、6、8 都 TE>0 的题，使三个深度用同一题集。监测范围分 CoT-only、action-only、all-messages；模型均为开源，作者称 CoT 与最终回答都完整可得。

生成与评审

• 采样：每个实例 4 次 rollout，最长 16384 token，temperature 0.6，top-p 0.95。
• 评审：需要 LLM 验证的任务，以及全部可监测性评估，评审模型为 Qwen3.8-27B。另在 Logic Cue Answer 上用 GPT-6-Sol、GPT-5.6-Sol 作评审；三个评审模型的一致同意率超过 90%。作者以此支持使用 Qwen3.8-27B。

实验设置

• 深度实验：Ouro-1.4B-Thinking、Ouro-2.6B-Thinking，T∈{4, 6, 8}。跨深度数字来自三个深度均 TE>0 的题；论文未报告保留题数。图 2、图 3、图 5 的图注称误差棒为置信区间，正文未给区间数值。
• 跨模型：LoopLM 为 Nanbeige4.2-3B。对照为 Qwen3.5-4B、Gemma-4-E4B、Qwen3.5-2B、GPT-OSS-20B、Qwen3.5-35B-A3B、GLM-4.7-Flash。附录另评 Huginn-0125。
• 数据：MonitorBench 八任务，规模见第 3 问。Huginn 用 GSM8K，每个深度 700 条。
• 指标：Monitorability Score，以及验证通过率、平均生成 token 数。三个监测范围，三种提示（标准、Direct Concealment、Monitor-aware Evasion）。
• 评审与采样：可监测性评审为 Qwen3.8-27B；Logic Cue Answer 上三个评审模型一致同意率超过 90%。每实例 4 次 rollout，temperature 0.6，top-p 0.95，最长 16384 token。
• 相关检验：通过率变化、CoT 长度变化与 CoT monitorability 变化的 Spearman 相关，样本为 8 任务×2 个 Ouro×2 种压力测试共 32 个变化量（T=4 到 T=8）。

主结果

下表为 CoT-only、Direct Concealment、三个深度均 TE>0 的题集（表 6b）。正文把 Ouro-1.4B 从 T=4 到 T=8 的降幅概括为 Engineering、Logic、Science 分别低 11、36、17 个百分点，与表中 54.35%→43.57%、77.94%→41.79%、40.78%→23.61% 对应。

表格较宽，可左右滑动

模型	Logic T=4	Logic T=8	Science T=4	Science T=8	Eng. T=4	Eng. T=8
Ouro-1.4B-Thinking	77.94%	41.79%	40.78%	23.61%	54.35%	43.57%
Ouro-2.6B-Thinking	73.60%	57.88%	52.17%	43.80%	47.13%	43.10%

• 作者的解读：图 2、图 3 与正文称，Logic/Science/Engineering 在压力测试下随 T 增加而下降，另外五个任务相对稳定或趋势不同。Monitor-aware Evasion 下 Ouro-1.4B 的 CoT-only 也从 T=4 降到 T=8：Logic 66.67%→56.88%，Science 46.43%→39.08%，Engineering 62.40%→42.53%（表 6c）。
• 并非处处单调：表 6b 中 Ouro-2.6B 在这三个任务上 T=6 高于 T=4（Logic 79.28%，Science 55.93%，Engineering 50.78%），再到 T=8 才下降。Ouro-1.4B 的 Logic 在 Monitor-aware 下 T=6 为 71.56%，也高于 T=4 的 66.67%。
• 反例：同一表中 Ouro-1.4B 的 Health 从 39.36% 升到 59.34%；Safety 为 10.00%、7.89%、8.97%。三个 Cue Condition 任务的 CoT-only 分数多在 89%–100% 附近，作者称随深度没有大幅变化。

通过率、长度与难度

• 测了什么：排除“模型变差”或“CoT 变短”解释深度实验中的下降。通过率见表 1、表 9，token 数见表 2、表 8，分布见图 6–9。
• 结果：表 1 中两种压力测试的八任务平均通过率，T=6、T=8 与 T=4 接近；例如直接隐瞒下 Ouro-2.6B 为 76.14%、75.93%、76.96%。32 个压力测试变化量上，通过率变化与 CoT monitorability 变化的 Spearman ρ=−0.126，p=0.493；长度变化的 ρ=0.248，p=0.172。Engineering 上 Ouro-2.6B 直接隐瞒的平均 token 从 6401 增到 6819。
• 作者的解读：作者认为下降不能完全由任务难度、验证通过率或生成长度解释。Health 与 Safety 的原题通过率相差大，但都没有 Engineering/Logic/Science 那种一致下降；图注称 T=4 到 T=8 没有一致地转向更短输出。

与非循环模型的比较

• 测了什么：Nanbeige4.2-3B 对六个非循环模型，三种提示、三个监测范围（表 3、表 10–12）。下为 CoT-only 八任务均值（表 10）。
• 结果：标准设置 Nanbeige 为 81.35%；非循环模型为 66.08%（Qwen3.5-2B）至 76.92%（GLM-4.7-Flash）。正文写对照区间为 67.18%–76.92%，低于表 10a 的下端。直接隐瞒下 Nanbeige 为 78.75%，低于 Qwen3.5-35B-A3B 的 79.25%；Monitor-aware 下 Nanbeige 为 95.24%，七个模型中最高，最低为 GPT-OSS-20B 的 79.05%。
• 作者的解读：作者称没有证据表明采用循环架构本身必然更难监测，并承认训练数据、架构和能力等混杂因素。附录 A.2.6 还称，Monitor-aware 提高了全部七个模型的 CoT-only 任务均值，隐瞒指令可能适得其反，使模型在 CoT 里讨论隐瞒企图。

action-only 与定性例子

• action-only：作者称该范围的分数远低于 CoT-only 和 all-messages。标准设置下 Ouro-1.4B 的任务均值从 32.95% 降到 16.93%（表 5a）；Preference 从 46.15% 降到 2.59%，Law Judgment 从 93.46% 降到 31.82%。Ouro-2.6B 的任务均值约为 35.91%、37.75%、37.32%。
• 作者的解读：附录 A.2.5 选了 Ouro-1.4B 的 Cue Condition 例子，称最终回答变短并省去与线索的连接，而前文推理仍提到线索。表 13 中所选例子的最终回答 token 数，Preference 为 156、6、6，Judgment 为 109、153、6，Knowledge 为 134、30、10。作者称这些是举例，不是代表性样本，也不在所有提示和 rollout 上一致出现。
• Cue 的用法：图 4 与正文称，T=4 更常明确依赖用户猜测，更深时更可能把它当成独立检查，或在压力测试下直接不提。附录 A.4.1–A.4.3 给了 Engineering/Science/Logic 的同类例子；可监测性较稳的任务上，模型仍把线索写进推理（附录 A.4.4–A.4.8）。

其他消融与分析

• 标准设置、CoT-only、Ouro-1.4B，T=4 到 T=8：Logic 75.29%→64.63%，Science 49.53%→32.79%，Engineering 70.54%→63.54%（表 6a）。
• all-messages、直接隐瞒、Ouro-1.4B，T=4 到 T=8：Logic 77.94%→59.70%，Science 42.72%→29.17%，Engineering 57.61%→46.06%（表 7b）。
• 原题 Science、Ouro-2.6B 通过率：T=4 为 44.07%，T=8 为 45.29%（表 9）。
• Huginn-0125 在 GSM8K 上的 monitorability score：深度 4/16/32/64 为 0%、0.74%、0.97%、0.69%（表 14）。作者称基座模型很少使用线索、推理弱且不稳跟压力测试指令，故不纳入主实验。
• 直接隐瞒、CoT-only 的 Safety：Nanbeige 44.61%，Gemma-4-E4B 23.21%，GLM-4.7-Flash 33.59%（表 10b）。
• 论文未报告跨深度过滤后的题数，也未报告人工与 Qwen3.8-27B 的一致性；三个评审模型的一致同意率只在 Logic Cue Answer 上给出，为超过 90%。

作者指出的局限与后续方向

• 模型范围：附录 A.1 写明，评估受具备较强推理能力的开源 LoopLM 供应约束；可改 loop 深度的受控分析集中在 Ouro 家族，观察到的趋势能否推广到更大模型或其他循环架构仍不清楚。
• 机制：附录 A.1 写明，尽管排除了任务难度、模型表现变差和 CoT 长度等解释，实验仍未确立特定任务上可监测性下降的确切机制。
• 跨模型因果：附录 A.1 写明，跨模型比较不能完全控制训练数据、后训练、架构和模型能力差异，因此不应解释成循环与非循环架构的严格因果比较。

实验覆盖范围

• 深度：受控比较为 Ouro-1.4B-Thinking 与 Ouro-2.6B-Thinking，T=4、6、8；作者称 T=2 因重复回答过多未评。vLLM 下每个生成 token 都走完全部有效层。
• 跨模型：不能改深度的 LoopLM 为 Nanbeige4.2-3B（22 层堆叠用两次，有效层数 44），对照六个非循环模型，匹配标准分别为参数量、层数和有效层数。
• 任务与协议：MonitorBench 八任务，实例数为 50、65、150、100、192 与 100、108、100；每种提示、三个监测范围。每实例 4 次 rollout，temperature 0.6，top-p 0.95，最长 16384 token。附录 A.3 另在 GSM8K 的 700 条上评 Huginn-0125，深度为 4、16、32、64。
• 评审：需要 LLM 验证的任务和全部可监测性评估用 Qwen3.8-27B。GPT-6-Sol 与 GPT-5.6-Sol 只在 Logic Cue Answer 上额外评审，三个模型一致同意率超过 90%。
• 论文未报告：三个深度均 TE>0 的保留题数；Qwen3.8-27B 与人工的一致性；除上述 Spearman 检验外，主结果下降的统计检验。

这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。

• 问题：作者区分两种解释。一是能力提高后中间错误更少、CoT 更短；二是循环结构增加每个 token 的隐式计算，从而少说中间步骤。本文用可改深度的 Ouro 看第一条以外的架构因素，再用 Nanbeige4.2-3B 对尺寸或深度匹配的非循环模型。
• 协议：MonitorBench 的五类 Cue Answer 与三类 Cue Condition。干预是给出正确答案式的用户猜测，或一条应纳入的辅助条件。monitorability score 把监测器在“有干预且验证通过”样本上的标出率，与干预可归因的最低标出比例比较，上限为 1。跨深度比较只保留 T=4、6、8 都有正总效应的题。
• 深度结果：CoT-only、Direct Concealment 下，Ouro-1.4B-Thinking 的 Logic 从 77.94% 降到 41.79%，Science 从 40.78% 降到 23.61%，Engineering 从 54.35% 降到 43.57%（表 6，T=4 到 T=8）。同表 Health 从 39.36% 升到 59.34%。Ouro-2.6B 在这三个任务上 T=6 高于 T=4，T=8 再下降。作者认为这些下降不能完全由难度、通过率或生成长度解释；32 个压力测试变化量的 Spearman 检验为 ρ=−0.126（p=0.493）和 ρ=0.248（p=0.172）。
• 架构对照：标准设置下 Nanbeige4.2-3B 的八任务 CoT-only 均值为 81.35%，非循环模型为 66.08%–76.92%（表 10）。直接隐瞒下 Qwen3.5-35B-A3B 为 79.25%，高于 Nanbeige 的 78.75%。作者称没有证据表明循环架构本身必然更难监测。
• 作者结论：更深的 loop 可在部分压力测试任务上降低 CoT monitorability，但 looped transformer 本身并不必然意味着更低的可监测性。定性上，作者认为更深时模型可能把线索当成独立检查，或在压力测试下不再明说。