研究提出三项指标衡量 LLM 不思考行为，发现被要求停止思考时仍持续显式推理

要度量的是：关闭思考或要求只给答案时，终答前是否仍有可见的显式推理，以及表面代理为什么不够。

• 场景：作者认为把额外 token 用于中间计算能提高多种任务表现，但增加延迟和 token 消耗；人也常先直觉作答、需要时才推敲。因此需要能控制何时直接回答。Figure 2(a) 概括了现有系统的思考开关、推理力度和提示侧直接作答请求。
• 现有不足：作者称实践中的 no-thinking 多由三类表面代理推断：提示处于 no-think、没有独立推理轨迹或尖括号 think 块、输出变短。这些代理把控制条件、格式或长度当成推理已被抑制。
• 核心观察：作者称关闭思考、去掉特殊标记或把输出写短，仍可能在普通回答通道留下针对该题的紧凑推理；不含任务内容的套话却会被表面代理计成推理。Figure 1 左侧的 MMLU 例中，要求只给选项时 DeepSeek-V4-Flash 与 Qwen3-235B-A22B 仍写出与题相关的前置文本。
• 本文做法：把 no-thinking 定义为回答级可观察行为，而不是潜在计算。用空思考率、题与前置文本的相关度、显式推理率，分开“只有答案”“相关但非推理”和“可见显式推理”，并比较干预、基准、模型族和规模。

高效与自适应推理

• 测试时计算：Snell 等（引用 [31]）和 Brown 等（[3]）讨论增加测试时计算以提升推理。作者把本文与“优化计算量”区分开。
• 长度、预算与压缩：L1（[1]）、token-budget prompting（[11]）、budget forcing（[23]）和简洁轨迹自训练（[24]）控制可见推理的长度或预算；C3oT（[18]）与 Chain of Draft（[45]）压缩中间推理；Sui 等（[32]）给出综述。论文此处是描述，没有逐篇实验对照。
• 何时延长推理：Chen 等（[4]）以及 Wu 等（[43]）、Zhang 等（[49]）讨论过长轨迹不一定有益，有用长度取决于任务难度和模型能力。Thinkless、AdaptThink、混合推理模型和多阶段强化学习（[9, 47, 16, 34]）训练模型决定是否需要延长推理；视觉语言模型也有选择性推理（[36, 21]）。

可见轨迹、隐推理与忠实性

• 隐空间与不忠实解释：Coconut（[12]）在连续隐空间推理。Turpin 等（[35]）和 Lanham 等（[20]）讨论链式思考不一定忠实反映产生答案的计算。作者据此把范围限在暴露的思考或回答通道，不对不可核验的潜在认知下结论。
• 隐藏轨迹：Trace Inversion（[48]）在看不到隐藏 CoT 时，由黑盒输入、答案和可选摘要合成可用于蒸馏的轨迹。Panfilov 等（[27]）研究专有 API 露出的加密推理块可转到同供应商更弱模型并解成明文。论文只作描述。
• Prompt repetition（[22]）：在输入侧重复提示，以提升非推理模型，并评测终答准确率、长度和延迟。作者称它不检查是否仍有与题相关的可见文本，也不区分转述、相关断言和推理。

指令遵循

• 训练与约束评测：指令微调（[41, 30, 5]）、人类反馈对齐（[26]）和 Constitutional AI（[2]）训练模型遵循开放指令；Self-Instruct（[39]）和 Alpaca（[33]）扩展指令分布。IFEval（[51]）、FollowBench（[17]）以及复杂或多约束指令评测（[13, 28]）检查输出格式和内容约束。
• 作者的接法：把“不产生可见推理”当作一种可核验的输出约束，并看表面合规是否去掉与题相关的内容，而不只是匹配所要求的格式。

基线方法与基准

• 基线：Table 2 的六种问题无关干预。思考侧参照是 Think-On（M1）和 CoT（M3）；no-think 一侧以原生 Think-Off（M2）为基线，再加 Soft（M4）、Strict（M5）和结构前缀 Prefix（M6）。
• 基准：布尔为 BoolQ、StrategyQA；选择题为 MMLU、MMLU-Pro；开放式为 GSM8K、MATH。

作者将本文定位为：不问如何分配测试时计算，而问所要求的 no-thinking 是否实现在可观察回答里，并用 ETR、QRel.、EIR、任务准确率和同一题的答案空间对照来评测输入侧与输出侧干预。

整体是回答中心框架：干预包住题目，模型给出可观察回答，再按三级标准看终答前文本，准确率另评终答。作者不把该定义延伸到模型内部的潜在推理。

问题设定与分解

• 可观察回答：语言模模型 π 对干预后的题目产生 π(S(Q))=(T,A)。T 是终答前全部可读文本，A 是最后可解析的终答；这一分解不对未观察到的内部状态作主张。
• 严格边界另扫全文：终答之后若还有实质文本，不算只有答案。附录 E 审计复述题目和答案在前的边界情形。
• 题目与答案空间：每个样本写成问题、可选上下文和可接受答案空间。布尔为 yes/no，选择题为选项标签，开放式允许自由生成。
• 两类干预：问题无关干预只改指令、输出约束或思考配置，题目不变；问题相关干预改题目表面形式或答案空间，例如把开放题改成选择题。

三级回答评测

• Level 1，空思考率 ETR：对固定模型、干预和基准的 N 条输出，ETR=100%×1/N∑_i e_i。e_i 仅当终答可解析、且完整可见输出在允许的答案包装之外没有实质文本时为 1。空的 T 不能抵消格式不合法的终答。作者称 ETR 是最干净的操作边界，但 T 非空后分不清套话、转述和针对该题的推理。
• Level 2，QRel.：用指令感知的 Qwen3-Embedding-4B 把题编码为查询、把 T 编码为候选段，ℓ2 归一化后取余弦。空 T 记 0；报告值是全部 N 条的算术平均，空 T 的 0 也计入。作者称它度量与作答相关的程度，不是推理本身；转述或相关断言也可以得分高。
• Level 3，EIR：盲审只看题目和 T，隐藏模型身份、干预、终答、对错和 QRel.。非空 T 标成五类之一：泛泛或离题、仅转述、相关但非推理、显式推理、无法判断，并记录 T 中的支撑片段；片段不进指标。只有“显式推理”记 1，包括演绎、计算、比较、排除、用规则、由证据到结论或因果；短、浅或最终错误的一步也可以算。空 T 不送审，记 0。EIR 是全部输出上该二元分的百分比。
• 准确率独立：任务准确率只评 A。作者称关于可见推理和思考惯性的结论依赖 EIR 与 ETR，QRel. 只是相关度信号。

六档思考控制

• 共用题干：六档使用同一任务题干和终答请求，只改思考开关和问题无关干预。强度从鼓励思考（−）、原生 no-thinking（0）到最强抑制（+++）。
• 思考侧参照：M1 Think-On 打开官方思考接口且不加额外输出控制。M3 CoT 关闭该接口，但加上逐步思考指令，用来在普通回答通道重新引出推理。
• no-think 一侧：M2 Think-Off 关闭 enable_thinking，不加输出侧控制，作为抑制干预的基线。M4 Soft 允许很短的引导、禁止解释。M5 Strict 要求直接给终答、不要推理。
• 前缀是另一支：M6 Prefix 不追加自然语言指令，而在生成开头预填答案模板。作者把它当成不同于 Strict 的分支，而不是 Strict 的更强版。

聚合与校验设计

• 同一分母：每个模型–基准–干预设置上，Acc.、ETR、QRel.、EIR 都在全部输出上聚合，不按 T 非空再筛选。
• 评审设置：EIR 的主评审是 GPT-5.5，temperature 为 0。附录 D 用另一模型族的 Claude Opus 4.8，在六个模型、六个基准、六种模式上用同一盲审输入和五类量表复核。
• 人工研究的角色：盲注同时检查三级指标是否与人判断一致，以及答案空间和干预上的主要趋势在人工标注下是否还在。协议和结果放在第 4 问。

实验设置

• 被测模型：Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B、DeepSeek-V4-Flash（284B）、GPT-5.4、Gemini-3-Flash。选择标准是暴露显式思考控制。Qwen3 三档用于族内规模比较；4B 与 32B 为本地、可成对开关。附录 B.2：Gemini 的 Modes 2–6 用 minimal，并称为 near-off 而不是 strict off。
• 基准与规模：布尔 BoolQ、StrategyQA；选择 MMLU、MMLU-Pro；开放 GSM8K、MATH。附录 B.1 的划分用量：BoolQ 验证 3,270，StrategyQA 测试 687，MMLU 测试 14,042，MMLU-Pro 测试 12,032，GSM8K 测试 1,319，MATH 测试 5,000。本地 4B/32B 用完整划分；四个 API 模型每个模式对 BoolQ、MMLU、MMLU-Pro、GSM8K、MATH 各抽 1,000，StrategyQA 用全部 687，即每模型每模式 5,687 条、六模式 34,122 条。
• 干预：M1–M6，见第 3 问。附录 C：Bool、MCQ、Open 的分组行是该答案族两个数据集的按题加权平均。
• 指标与评审：Acc.、ETR、QRel.、EIR，分母都是该设置的全部输出。QRel. 主编码器为 Qwen3-Embedding-4B，last-token pooling，最大序列长度 32,768。EIR 主评审 GPT-5.5，temperature 0；交叉评审为 Claude Opus 4.8。
• 解码：端点暴露温度时用 temperature 0.0；API 重跑各模式最大 token 均为 8,192。附录 B.2 称中心等预算比较中至多 0.35% 的输出达到该上限。
• 人工：统一盲注样本 600 条，每个基准 100 条，并保持该基准全语料的空 T / 非空 T 比例。五名标注者独立看全部 402 条非空前置文本；198 条空 T 按定义给相关度 1 分、无可见推理。标注只见题目和 T。

主结果

下表是原生 no-thinking（M2）下、按答案空间聚合的 EIR。Qwen 三行来自 Table H.2，其余来自 Supplementary Figure H.1。Figure H.1 把 Qwen3-235B-A22B 四舍五入为 12.2%、68.7%、99.7%。Gemini 的 M2 是 minimal。

Swipe horizontally to read the table

模型	Bool EIR	MCQ EIR	Open EIR
Qwen3-4B	1.26%	49.30%	99.86%
Qwen3-32B	0.00%	37.11%	99.56%
Qwen3-235B-A22B	12.15%	68.70%	99.70%
DeepSeek-V4-Flash	5.5%	81.0%	99.9%
GPT-5.4	0.0%	5.3%	99.5%
Gemini-3-Flash	24.2%	88.9%	99.7%

• 作者称的楼梯：可见显式推理在 no-thinking 控制下仍在，且 Bool 最低、MCQ 居中、Open 最高。表中 Open 列最低为 GPT-5.4 的 99.5%，最高为 DeepSeek-V4-Flash 的 99.9%；引言写的也是该模型在关闭思考的开放式回答中保留可见显式推理的比例为 99.9%。GPT-5.4 的 MCQ EIR 为 5.3%，低于其他模型的 MCQ 格。
• ETR 并不同步贴零：Figure H.1 的 M2 ETR，Qwen3-235B-A22B 为 Bool 86.4%、MCQ 24.6%、Open 0.0%；DeepSeek-V4-Flash 为 93.2%、1.1%、0.0%；GPT-5.4 为 99.9%、94.7%、0.2%；Gemini-3-Flash 三类都是 0.0%。作者称原生关闭思考主要在布尔题上有高 ETR，不保证只有答案。
• 反向干预：作者称 M3 在思考开关仍关时，常把 QRel. 和 EIR 拉回靠近 M1，四个有完整长度轨迹的模型长度也回升；六模型平均 EIR 仍保持 Bool < MCQ < Open。作者称 GPT-5.4 是这一回升的主要例外，在 Bool 和 MCQ 上仍保持高的只答合规和相应低的 EIR。

干预强度与准确率

• 测了什么：Figure 5 比较 M2、M4、M5、M6。作者称布尔准确率在这些变体上大体停在 85% 上下，选择题变化较小，开放式跨模式变化最大。作者称 M6 若是比 M5 更强的只答约束，ETR 应升、QRel. 与 EIR 应降；实际 MCQ 与 Open 的平均 ETR 从 M5 降到 M6，三类答案空间的平均 QRel. 与 EIR 都回升。
• 全语料 EIR：Table D.3、GPT-5.5，M2 到 M5：Bool 从 5.15% 到 0.12%，MCQ 从 45.57% 到 25.39%，Open 从 99.69% 到 62.00%。作者称 M5 相对 M2 在每个答案空间都降低可见显式推理，但开放式仍留下大量显式推理，并伴随最清楚的准确率代价。
• 作者给出的平均权衡与个例：引言写，五个具备完全关闭思考的模型上，严格只要答案使平均 ETR 从接近 0 升到大约 40%，平均准确率下降大约 15 个百分点。3.3 节对“具备 disabled-thinking 条件的模型”使用同一对大约数，并称布尔和选择题没有对应的准确率权衡。Table H.1 不是每个模型都下降：Qwen3-4B 的 GSM8K 从 89.9% 到 90.0%，MATH 从 69.1% 到 69.6%；Qwen3-32B 的 GSM8K 从 93.4% 到 44.4%，MATH 从 72.3% 到 66.1%。

答案空间改写、学科与人工

• 同一题改接口：Figure 6，Qwen3-32B、M2，MMLU/MMLU-Pro 中匹配的数值题。MCQ 到布尔：准确率 77.8% 到 78.9%，ETR 10.5% 到 62.5%，QRel. 0.709 到 0.314，EIR 86.95% 到 36.90%。改成开放式：准确率 52.6%，ETR 0%，QRel. 0.810，EIR 90.14%。作者称候选可见的形式比开放生成更容易产生只有答案的回答，不能只用基准族差异解释。
• 固定四选一后的学科：Table 4，M2。作者称四个模型上都是 STEM 准确率最高、ETR 最低，ETR 范围为 0.3%–36.4%；STEM 的 QRel. 为 0.509–0.784，EIR 为 59.7%–85.5%。例：Qwen3-32B 的 Humanities ETR 95.5%、EIR 4.1%、Acc. 71.6%，STEM 为 36.4%、59.7%、91.3%。表注：API 模型的 Acc./ETR 用完整 MMLU 聚合，QRel./EIR 用保留的 1,000 条领域子集。
• 人工单元格：Table 5 的六个抽样 M2/M5 答案空间格，分母为格内全部抽样输出。人工平均显式推理率，M2 为 Bool 4.0%、MCQ 30.4%、Open 100.0%；M5 为 0.0%、11.8%、57.1%。作者称这复现了答案空间楼梯，以及最强自然语言只答指令下开放式仍常见可见推理。

其他消融与分析

• Level 2 全语料（Table D.1）：Qwen3-Embedding-4B 的 M2 均值为 Bool 0.047、MCQ 0.406、Open 0.854，M5 为 0.001、0.045、0.546；all-MiniLM-L6-v2 方向相同。平衡的 3,600 条上，BGE-base-en-v1.5 与 E5-base-v2 也保持 Bool < MCQ < Open，且每个答案空间 M5 < M2（Table D.2）。
• Claude Opus 4.8 的 M5 Open EIR 为 61.02%，对照 GPT-5.5 的 62.00%（Table D.3）。两者有可用标签的 572,645 条上，五分类一致率 96.92%，显式推理对其他类别 97.30%（Table D.5）；43 条供应商空白（0.0075%）只排除在直接一致率之外。
• 近逐字重复 301/572,688（0.053%）；作者称若这些 QRel. 全改为 0，全局均值最多变 0.00053。paraphrase-only 为 355/572,688（0.06%），不计入 EIR。含可解析 boxed 的 535,208 条中，答案在前的严格检出为 149 条（0.028%）。
• 人工与自动指标：ETR 与人工检查的空 T 指示在 600 条中一致 565 条（94.2%）；其余 35 条来自终答还必须可按允许格式解析。QRel. 与五名标注者的平均条目级 Spearman ρ 为 0.829，all-MiniLM-L6-v2 为 0.809（Table 6）。与 GPT-5.5 的平均二元一致率为 98.8%，与 Opus 为 96.7%。非空文本上五名标注者的 Krippendorff α：五分类 0.873，显式推理对其他 0.948，五点相关度 0.919（Table D.8）。
• 表面与选项（Table I.3、I.5）：选项打乱或数字标签下，Table I.3 的 Cons. 从 80.7% 到 95.8%。匹配数值题去掉选项后，Qwen3-32B、M2 的开放式准确率 52.6%，表中 Open–MCQ 为 -25.2 个百分点；Parse 98.0%，Exact 49.0%。

作者指出的局限与后续方向

• 单位是可见回答（5.1 节）：作者称分析故意以可观察回答为单位，以便本地模型和专有 API 有共同行为基础；主张涉及可见输出，不表示隐状态中没有与任务相关的计算。供应商信号在可用时纳入，但不当作内部推理的等价描述。
• 推广仍开放（5.1 节）：作者称六模型、六基准的设计是在支持时用确定性解码隔离答案空间结构；向多语言、代码、工具使用、多轮和随机设置的推广，以及对仍在变化的专有端点的稳健性，仍是开放问题。
• QRel. 的角色（5.1 节）：作者称 QRel. 是相对精确 ETR 边界的相关度补充，不是独立的推理检测器。
• EIR 的依赖（5.1 节）：作者称 EIR 把显式推理与转述、相关但非推理文本分开，但仍依赖可见文本量表和评审校准；附录 D 用另一评审族检验这一依赖，附录 E 审计近逐字复制、语义转述和回答顺序。
• 后续方向（5.2 节）：作者提出训练校准式停止，而不是一律抑制，并联合优化准确率、只答合规、可见相关度与推理、延迟和实际 reasoning-token 成本；语言与交互任务上的扩展可检验一般性，内部状态分析可看计算是消失、转入隐藏通道，还是只是未显示。
• 高风险场景（5.2 节）：作者称简洁输出可能降低成本和披露，但解释对核验和查错仍然重要。目标是让何时、如何暴露中间计算变得可控、可审计，而不是普遍抑制这类计算。

实验覆盖范围

• 被测模型为 Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B、DeepSeek-V4-Flash、GPT-5.4、Gemini-3-Flash，共 6 个。附录 B.2 将 Gemini 的 minimal 当作 near-off，而不是 strict off。
• 基准为 BoolQ、StrategyQA、MMLU、MMLU-Pro、GSM8K、MATH。本地 Qwen3-4B/32B 用附录 B.1 的完整划分；四个 API 模型每个模式抽样 1,000 条（StrategyQA 为全部 687）。
• 指标为 Acc.、ETR、QRel.、EIR。QRel. 主编码器为 Qwen3-Embedding-4B；EIR 主评审为 GPT-5.5（temperature 0），Claude Opus 4.8 在六个模型、六个基准、六种模式上复核。人工样本为 600 条、5 名标注者。
• 暴露温度的端点使用 temperature 0.0，API 重跑最大 token 为 8,192。问题结构对照包括 MMLU 学科，以及 Qwen3-4B/32B 上的选项打乱、数字标签、布尔核验和开放数值生成。
• 论文未报告各干预的延迟或实际 reasoning-token 成本；5.2 节把这两项列为后续要联合优化的量。论文也写明，当前定义不对潜在计算作主张。

作者把 no-thinking 定义为可测量的回答行为，而不是从思考开关、特殊标记或输出长度推断。

• 问题：延长思考能提高表现，也增加延迟和 token。作者认为关闭开关、去掉思考标记或把输出写短，仍可能在终答前留下针对该题的推理。
• 方法：输出拆成终答前文本 T 和终答 A。ETR 检查是否严格只有答案；Qwen3-Embedding-4B 的 QRel. 度量 T 与题的相关度；盲审 GPT-5.5 的 EIR 只把显式推理计为 1。六档干预从原生开/关思考，到逐步思考、软硬只答约束和答案前缀。
• 思考惯性：六个模型、三类答案空间。作者称显式 no-think 控制不能稳定去掉可见显式推理。DeepSeek-V4-Flash 在关闭思考的开放式回答中，该比例为 99.9%。Supplementary Figure H.1 与 Table H.2 的 M2 Open EIR 最低为 GPT-5.4 的 99.5%，Bool 与 MCQ 则因模型而差得很大；Gemini-3-Flash 的 M2 是 minimal，三类 ETR 均为 0.0%。
• 权衡：全语料上，M2 到 M5 的 EIR 在开放式从 99.69% 降到 62.00%，布尔从 5.15% 降到 0.12%，选择从 45.57% 降到 25.39%（Table D.3）。作者称五个完全关闭思考的模型上，严格只要答案使开放式平均 ETR 从接近 0 升到大约 40%，平均准确率下降大约 15 个百分点；布尔和选择题的准确率大体平稳。Table H.1 中 Qwen3-4B 的 GSM8K 准确率并未下降。
• 答案空间：同一批数值题上，Qwen3-32B、M2 改成布尔后 ETR 从 10.5% 升到 62.5%，改成开放式则 ETR 为 0%、准确率 52.6%（Figure 6）。600 条人工标注与主评审的显式推理二元一致率平均为 98.8%。
• 作者的结论：直接作答取决于答案空间是否提供支持，而不只取决于开关或规模；可见合规不应被当成推理成本已经下降。作者认为应按任务决定直接回答还是保留显式计算。