论文提出 Nudgeability：推理模型会跟随置信信号却不追踪自身能力

能调用工具的推理模型，在收到一句表达信心或怀疑的话之后，会不会改变“自己答还是调用工具”，而这种改变是否对准它自己答对不了的题。

• 场景：作者称，推理与行动交错时，是否求助可以出现在轨迹之中：模型已形成暂定答案、尚未承诺行动。自行作答会在解不出时失败，把已经会做的题委派出去则没有必要。有用的反思机制必须改变“对的题”上的行为，而不是只在平均意义上增减工具使用。
• 现有缺口：作者把自我反思拆成三个不必同答的问题：信号从哪来（口头报告、输出分布、隐藏状态或单独预测器）、如何呈现（数值、confidence token 或提示注入）、以及收到信号后后续行动是否改变。作者认为，有信息量的信号可能在行为上不起作用，而无依据的陈述也可能强烈引导模型。
• 核心观察：作者不把插入句当作真实自评，也不主张模型对其不确定性有特权访问。信号是外生的，第一人称形式保持固定。Nudgeability 因此不衡量信号来源的质量，也不建立更强意义上的内省；它只测一个信号放进正在进行的推理轨迹后，能否成为委派的控制面。
• 本文提出：Nudgeability（可推动性），沿两维度量：敏感性（sensitivity）是信心与怀疑把委派率推动多强；对准性（targeting）是委派是否在无辅助解不出的题上增加、在能解开的题上减少。测量是配对、无需后训练的：同一提示词与推理前缀之后只改这一句，再比较反事实续写。

作者在引言与 Appendix A 中按“来源、表示、行为效应”组织相关工作，并称现有方法常同时处理其中不止一个问题，而本实验故意固定前两项以识别第三项。

口头反思与不确定性来源

• Reflexion（Shinn 等，2023）与 Self-Refine（Madaan 等，2023）——把任务反馈或模型生成的文字反馈送回模型，用于后续决策或修改先前输出。
• Kadavath 等（2022）、Farquhar 等（2024）、Kossen 等（2024）、Ghasemabadi 与 Niu（2025）——分别从口头或概率报告、采样答案的语义多样性、隐藏表示估计答案正确性。作者称这些工作关心正确性信息在何处、能多准地恢复；Nudgeability 问的是候选信号被提供之后，下一步行动是否响应、是否与无辅助能力一致。
• Song 等（2025）——作者引用其标准：内省证据需要对自我信息的特权访问，而不只是看起来自我觉察的行为。作者因此称，实验者提供的信心与怀疑句不能说明模型提取、估计或如实报告了自身不确定性。

把反思信号表示进计算

• Chuang 等（2025）的 confidence token、Guo 等（2026）的推理时不确定标记、Zhang 等（2025）的 Soft Thinking、Li 等（2025）的激活神经反馈——分别用离散 token 做路由、在轨迹中训练模型表达不确定性、把概率加权的输出分布喂回推理，或干预内部方向并测试模型能否监测和调节这些激活。
• 作者称这些方法把特定信号来源和特定表示绑在一起。本文的自然语言句子被作者描述为一种刻意简单的表示：无需微调，可插在已有轨迹的已知位置。作者称并不主张第一人称散文独一无二地有效；敏感性与对准性也可以用来问未来的 confidence token、隐藏状态读出或连续反馈。

推理轨迹干预与忠实性

• Thinking Intervention（Wu 等，2025）与 动态早退（Yang 等，2025）——在推理轨迹中插入或修改 token，或改变推理在何处终止，从而改变行为。
• Lanham 等（2023）、Turpin 等（2023）、Nikeghbal 等（2026）——编辑、截断或扰动思维链以测最终答案是否依赖所展示的轨迹；偏差研究显示看似合理的解释可能漏掉影响答案的因素；自我与跨模型反驳显示答案稳定性可依赖论证的表面来源。
• 作者列出与这些工作的四点区别：只在固定前缀的同一边界改变“所表达的信心”这一个语义特征；测量的是离散的智能体决策而不是只看答案内容；在同一问题与轨迹上配对反事实；并用无辅助表现判断诱导的行动改变是否发生在应当委派的题上。作者称贡献不是“推理文本能引导输出”这一观察本身，而是一套评估它把委派推动多强、多有选择性地推动的配对框架。

工具使用、路由与弃答

• ReAct（Yao 等，2023）把推理与工具调用等行动放进同一生成轨迹。Wu 等（2026）区分工具调用的必要性、效用与可负担性，并用隐藏状态控制器优化 call/no-call。作者称该工作问如何构造有效路由策略；本文则把决策留在推理模型内部，并干预一个可能影响它的信号，二者互补。
• Madhusudhan 等（2025）与 Wen 等（2025）讨论弃答（abstention）：提示、置信阈值或思维链能否让模型在可能答错时不答。作者称弃答是结束或推迟作答，工具调用则可能靠获取信息或计算继续同一次尝试；二者都要区分不应信任无辅助答案的情形。对准性指标把这一联系写明：干预诱导的委派应在无辅助失败的题上增加、在解开的题上减少。

基线与数据：行为参照是无工具基线（unaided competence）和带工具、不插入句子的基线；对准性还相对匹配的随机选择基线 WTrand。任务为 MuSiQue（Trivedi 等，2022）的两跳阅读理解，以及 StrategyQA（Geva 等，2021）的隐含多步是非题。

作者把本文定位为：在共同的自然语言接口上、无需后训练地测量行为效应，并把敏感性与对准性分开；作者不声称散文是内生信号的最佳表示。

作者定义 Nudgeability：在同一条已生成的推理前缀上，于固定的思考结束边界前插入一句第一人称的信心或怀疑陈述，只重新生成其后的续写，再比较模型是直接作答还是调用工具。工具调用在任何条件下都不执行，只记录所承诺的行动。

问题设定与行动空间

• 对象：推理语言模型 M，问题 i 有可验证答案。工具 T 写在提示词里，并经模型原生的工具调用接口提供。主实验的条件 c 包括：不中断的无工具基线 NT、不中断的带工具基线 B，以及无句子拼接 ∅、信心 +、怀疑 −、中性 0。
• 行动：思考边界之后的承诺行动为 A ∈ {SELF, TOOL, OTHER}。OTHER 是完成但格式错误的承诺；在 token 预算内未承诺的生成视为截断并移出该估计量的观察集。每个估计量使用各自的成对完整保留集，因此报告的样本量是该对比的保留计数，不是统一的数据集大小。
• 能力标签：无工具基线给出 si：无工具答案正确为 1，错误为 0。未知或截断的无工具答案没有能力标签，不进入需要 si 的估计量。作者称这是单次运行的操作性无辅助表现，不是任意重采样下的潜在能力。带工具基线的行动 AB 是衡量干预诱导行动变化的参照。

配对干预

• 拼接：xi 含系统提示、工具描述和问题；ri 是该模型带工具推理前缀，止于原来的 think-close 边界之前。拼接把句子 ν 接到这个固定前缀上，只重新生成续写。主条件是开放续写：句子之后不插入 think-close，模型可以继续推理再承诺行动。封闭条件作为对照，在句子后立刻插入该模型的 think-close。
• 句子：主对比是一句表达信心与一句表达怀疑的第一人称陈述；另有一句中性陈述和无句子拼接 ∅，与主对比分开分析。Appendix C 给出各家族的 think 格式和完整句子；本文不把这些句子当作攻击载荷来复述。四种 voice 保持“对答案有无信心”的内容，只改归属：第一人称、第二人称、审稿人、专家。
• 识别：同一配对内，问题、系统提示、工具、推理前缀、拼接边界和解码配置相同，只有插入句不同。作者称因此对比的是在该固定边界把信心换成怀疑的效应。选择普通英语句子，是因为它是所有被评模型共享的接口，不需要可学习的 confidence token、激活访问、微调或其他后训练。作者称这有利于可移植和实验控制，并不主张散文是最终内生信号的最佳表示。

敏感性与对准性

• 敏感性 S：在同时有完整信心续写和怀疑续写的保留集 IS 上，S 等于怀疑条件下的委派率减去信心条件下的委派率，单位是百分点。S > 0 表示怀疑相对信心把行为推向委派。完成的 OTHER 在该估计量中算作非工具结果。两臂共享前缀和再生成过程，共同效应在对比中抵消。
• 对准行动：a⋆(si) 在 si = 1 时为 SELF，在 si = 0 时为 TOOL。对每种极性，翻转 fi 表示带工具基线行动与干预后行动不同；对准良好的翻转还要求干预后行动等于 a⋆(si)。WT 是两种极性上对准良好翻转次数占全部翻转事件的比例。分母计的是翻转事件而不是唯一问题，同一题在信心和怀疑下都改变行动则计两次。涉及 OTHER 的转移不进分子也不进分母。
• 故意宽松：该定义不额外要求怀疑必须造成 SELF→TOOL、信心必须造成 TOOL→SELF，也不要求工具调用成功或最终答案变好。作者称更严的定义会把更多翻转判为失败，从而给出更不利的估计。句子语义决定敏感性对比，能力标签决定行动在此处测量的有限意义上是否有用。
• 提升 L：WTrand 是在相同行动机会和翻转量下随机分配得到的 WT，L = WT − WTrand。Appendix E 给出 WTrand 的计算。作者对剖面的读法是：S = 100 pp 表示信心后总是自行作答、怀疑后总是委派；S = 0 为平均上不改变委派；S < 0 为逆向。L = 0 表示翻转落点与随机参照相同；完全跟随信号时每个可翻转问题都被翻转，从而 L 按构造为 0。作者区分惰性（S ≈ 0）、逆向（S < 0）、顺从（S 大且 L ≈ 0）、有选择（L > 0）和误导（L < 0）。作者认为有能力意识的模型应是中等 S 配上大的 L。

对照与辅助量

• 一次只改一个因素（Appendix B）：voice 改说话者；oracle 用免费且保证正确的 ask_expert 替换限定范围的工具，以把“不愿委派”和“组织工具请求的难度”分开；continuation boundary 比较开放续写与在句子后立刻封上思考块。无句子、中性、voice、oracle 和封闭条件是对照，不是主效应的额外成分。
• 辅助量（Appendix D）：无插入句时的委派能力差 Γ = P(AB=TOOL | s=0) − P(AB=TOOL | s=1)。在带工具基线仍选择 SELF 的配对中，Dself 是无辅助做对但这次自行作答做错的比例，Rself 是无辅助做错但这次自行作答做对的比例。oracle 下的残余自行作答比例记为 ρ；另有条件性过度自信 ω，以及用 Φ 表示 oracle 相对限定工具多买到的委派。

解码与统计

• 开源实验为贪心解码，名义上每个模型–任务 1000 题；服务端模型名义 n = 250；采样解码与重复标签检查为 n = 100。采样解码使用 temperature 1.0、top-p 0.95、三个解码种子。问题按固定种子从 MuSiQue 与 StrategyQA 抽样。统计是这些记录的确定性后处理；bootstrap 见 Appendix E 与 F。作者计划在发表时发布代码。

实验设置

• 模型：开源主队列九个：Qwen3（4B、8B、14B、32B；FP8）、Gemma4（E2B、E4B、31B；W4A16）、GLM-Z1（9B、32B；BNB4）。家族、规模与量化没有完全交叉，比较是描述性的。另经供应商 API 评测 DeepSeek-V4-Pro 与 MiniMax-M3，单独报告、不并入开源队列。
• 任务：MuSiQue 两跳阅读理解，提示中提供相关段落，工具是从所给段落中选最相关段落的检索助手。StrategyQA 为隐含多步是非题，限定工具可检索作答所需的外部证据。作者称二者对比的是开放网页查证与在已有上下文中的有界检索，并在预探后选取，使无辅助正确率既不贴近天花板也不贴近地板。开源模型无辅助正确率在 MuSiQue 上为 51.2–82.8%（中位数 63.1%），在 StrategyQA 上为 61.7–83.0%（中位数 75.8%；Appendix G）。
• 条件：每个问题有无辅助提示和带工具提示。拼接条件复用带工具基线的推理前缀，插入后保持推理块开放。支持性实验把限定工具换成 ask_expert，提示将其描述为返回正确的演算答案。
• 指标：S 为怀疑减信心的委派率差（百分点）；WT 为诱导翻转中行动符合 a⋆(si) 的份额；L = WT − WTrand。另报告 Γ、oracle 下直接作答比例、ρ、ω、Φ，以及 Dself、Rself。
• 样本量与解码：开源名义 n = 1000，服务端 n = 250，采样与重复标签检查 n = 100。保留量因估计量而异；Table 1 给点估计，完整 bootstrap 区间、nS/nWT、翻转事件数 H/F 与随机基线在 Appendix G.1。† 表示该 L 的 95% 问题 bootstrap 区间不含 0。中位数按任务对九个开源模型计算。
• 评审：答案可验证；行动从模型特定思考边界后的承诺续写中读取。论文未使用单独的 LLM 评审模型给委派打分。

主结果

Table 1 的 S（pp）、WT（%）、L（pp）。开源名义 n = 1000，服务端 n = 250。

Swipe horizontally to read the table

模型	MuSiQue S	WT	L	StrategyQA S	WT	L
Qwen3-4B	14.0	58.2	18.8†	22.2	42.3	1.4
Qwen3-8B	22.4	42.5	1.9	19.0	39.5	3.8†
Qwen3-14B	31.0	41.7	5.2†	33.9	49.2	2.9
Qwen3-32B	38.3	37.2	6.8†	38.3	54.7	1.7
Gemma4-E2B	24.2	36.9	-7.9†	7.3	51.2	5.9
Gemma4-E4B	66.5	29.1	-0.4	25.8	30.6	0.6
Gemma4-31B	1.3	33.3	-6.2	17.3	44.1	11.1†
GLM-Z1-9B	3.7	35.9	-2.2	10.1	42.9	3.0
GLM-Z1-32B	5.6	27.3	-3.3	7.2	45.5	2.0
开源中位数	22.4	36.9	-0.4	19.0	44.1	2.9
DeepSeek-V4-Pro	66.8	28.7	4.6†	70.0	47.7	-1.1
MiniMax-M3	66.4	27.1	1.2	53.0	30.4	-0.1

• 方向：作者报告，18 个开源模型–任务实验的信心–怀疑对比符号都符合预期：怀疑相对信心增加工具使用。跨两任务合并的摆幅中位数为 20.6 pp。服务端模型方向相同，最大摆幅超过 60 pp；Table 1 中其 S 为 53.0–70.0 pp。
• 对准：作者称，开源实验合并后，诱导翻转的对准良好份额中位数为 42%，相对 WTrand 的中位提升只有 +2 pp。大的 S 可以与弱的或负的 L 并存。Figure 2 把每个模型–任务的 S 对 L 作图，横竖须为 S 与 L 各自的 95% 问题 bootstrap 区间，不是联合置信区域。
• 剖面：作者称实验占满除逆向以外的剖面（S 全部 > 0）。GLM-Z1（S = 3.7–10.1 pp）与 Gemma4-31B 在 MuSiQue（1.3 pp，基线委派率 0.7%）接近惰性。最大响应是顺从的：Gemma4-E4B 在 MuSiQue 与服务端模型移动 53–70 pp，提升在 −1.1 到 +4.6 pp。作者称为最清楚的有选择剖面：Qwen3 在 MuSiQue（4B、14B、32B；L = +5.2 到 +18.8 pp）以及 Gemma4-31B 在 StrategyQA（+11.1 pp）；Gemma4-E2B 在 MuSiQue 为误导（L = −7.9 pp）。L 在全部 StrategyQA 实验上为正，在 MuSiQue 的九个中有五个为负；跨实验 S 不预测 L（Spearman ρ = 0.13）。多数诱导翻转为 SELF→TOOL：合并 72%，且在 18 个开源实验的 17 个里占多数。

采样解码与模型自身路由

• 采样：三个模型、两个任务、三个解码种子（每实验 n = 100；temperature 1.0，top-p 0.95），18 个种子特定摆幅全部为正，六个按问题聚类的合并区间都不含 0。作者称采样改变响应幅度，但不改变这一子集上的方向。
• 无插入句的路由：带工具基线在 18 个开源实验的 17 个里，对无辅助失败的委派多于对成功的委派，中位 Γ = +5.6 pp（Appendix G.8）。作者称诱导翻转很少利用这一信息。
• 免费且保证正确的 oracle：模型仍在 19–96% 的问题上直接作答，差异主要由任务驱动（MuSiQue 上 64–96%；StrategyQA 上大多 19–44%；Appendix G.8）。作者称 oracle 是上界而不是可部署策略。

其他消融与分析

• 无句子再生成（Table 6）：相对带工具基线，中位 |∅ − AB| = 0.3 pp，最大 3.6 pp。作者称切割并再生成本身接近惰性。
• 中性句相对 ∅：中位数 −0.9 pp，但并非总是惰性；Qwen3-32B 在 StrategyQA 上为 −31.4 pp。作者因此用信心对比怀疑来定义 S。
• voice（Table 8，名义 n = 1000）：第一人称推动委派至少不弱于专家归属的实验为 16/18。专家端点只在 StrategyQA 的 Qwen3-14B（47.9 vs 33.9 pp）和 Qwen3-32B（39.2 vs 38.3 pp）上更高；另有 GLM-Z1-9B 在 MuSiQue 上按报告的比较规则为打平或接近打平（3.5 vs 3.7 pp）。
• 封闭思考块（Appendix G.7）：18 个实验仍有 S > 0，幅度改变。
• oracle 分解（Table 9）：MuSiQue 上 Φ 从 Qwen3-8B 的 −1.8 pp 到 Gemma4-E4B 的 +7.7 pp，ρ 为 64.3–96.2%。StrategyQA 上 Φ 多为负（Qwen3-14B 为 −20.2 pp，Qwen3-32B 为 +0.2 pp），ρ 为 18.9–78.8%。作者称这隔离的是在保证正确选项下的委派意愿，并不意味着限定工具没有价值。
• 自行作答的正确性转移（Appendix G.9，正文给出的合并数）：全部自部署实验合并，一组为 8.9%（595/6703），另一组为 13.9%（383/2760）。论文在此处报告的是比例及分子分母；正文未在该片段中重述两列分别对应 Dself 还是 Rself 的表头，故不把列名外推。

作者指出的局限与后续方向

• 不评估执行工具后的答案（Discussion and Limitations）：主观察是模型是否调用工具，而不是执行该调用会不会改善最终答案。限定工具可能失败、返回无关证据，或代价超过预期收益。WT 与 L 按无辅助能力给决策方向打分，不估计下游奖励。只有模拟 oracle 按构造固定了委派的价值。
• 任务、家族与因素未交叉（同一节）：评测覆盖两个问答任务、三个开源模型家族和两个服务端模型。模型家族、规模、量化与服务栈没有完全交叉，因此表面上的规模或家族模式是描述性的。MuSiQue 的有界检索和 StrategyQA 的面向网页的搜索，没有覆盖已部署智能体所使用的工具范围。
• 自然语言只是一种表示（同一节）：作者称 confidence token、连续反馈或隐藏状态干预可以在同一套指标上评估，并可能给出不同剖面。框架旨在让这些表示在后续行为层面上可比。
• 从注入信号到内生反思（同一节）：作者提出的下一步是合上信号质量与行为响应之间的环。来自采样输出的不确定性估计、semantic-entropy probe、隐藏状态预测器或激活级监测器，可以映射进同一干预接口并用 S、WT、L 评估。把语义不确定性探测扩展到推理模型，会检验现有控制面有多少能转成对准能力的委派。激活监测与控制是一条不必经过自然语言报告的互补路线。
• 代码：Reproducibility Statement 称代码将在发表时发布。

实验覆盖范围

• 被测模型为九个开源推理模型（Qwen3 四个规模、Gemma4 三个、GLM-Z1 两个）以及 DeepSeek-V4-Pro、MiniMax-M3；任务为 MuSiQue 两跳与 StrategyQA。
• 主结果为贪心解码下的 S、WT、L（Table 1）；采样解码检查覆盖三个模型、两个任务、三个种子，每实验 n = 100，temperature 1.0、top-p 0.95（Appendix G.5）。
• 对照包括无句子拼接、中性句、四种 voice、开放与封闭思考边界，以及用 ask_expert 替换限定工具（Appendix B、G.7–G.10，Table 6、8、9）。
• 无工具正确率、带工具基线的 Γ、oracle 下仍直接作答的比例，以及自行作答的正确性转移，写在 Appendix G.8 与 G.9。服务端模型的服务路线写在 Appendix G.2。
• 每个估计量的保留样本量、翻转事件数和 95% 问题 bootstrap 区间写在 Appendix G.1 与 F；论文未在正文 Table 1 中列出每个模型的 nS 与 nWT。

Nudgeability 度量推理模型对轨迹内一句外生信心或怀疑语言的行为响应：敏感性是委派率被推动多强，对准性是这些改变是否落在无辅助能力所要求的行动上。

• 问题：工具使用要求模型决定何时求助。作者把反思拆成信号来源、表示方式和后续行为效应，并只研究第三项。插入句不是自称的真实自评；测量的是它能否成为委派的控制面。结果取 call/no-call 本身，而不是下游答案正确率。
• 做法：在带工具推理前缀的固定边界拼接句子，开放续写后读取 SELF、TOOL 或 OTHER；任何条件下都不执行工具。S 是同一保留题上怀疑减信心的委派率。WT 是诱导翻转里行动符合“会做则自答、不会做则委派”的份额，L 是 WT 相对匹配随机选择的差。
• 主结果：九个开源模型、两个任务上，信心到怀疑的摆幅中位数为 20.6 pp，18 个实验符号一致。DeepSeek-V4-Pro 与 MiniMax-M3 的 S 为 53.0–70.0 pp。对准良好翻转的中位数为 42%，中位 L 为 +2 pp。72% 的合并诱导翻转是 SELF→TOOL。StrategyQA 上 L 全为正，MuSiQue 上九个开源实验有五个 L 为负；S 与 L 的 Spearman ρ = 0.13。
• 对照：无句子再生成的委派差中位数绝对值为 0.3 pp。第一人称在 16/18 个实验上至少不弱于专家归属。思考块在句子后立刻封闭时，18 个实验仍有 S > 0。免费且保证正确的 oracle 下，模型仍在 19–96% 的题上直接作答。无插入句时，17/18 个开源实验已经对失败题委派更多，中位 Γ 为 +5.6 pp。
• 作者的结论：模型可通过信心语言被稳定引导，但对引导该用在哪里只有弱的选择性。实用的反思系统需要两者：基于正确性的不确定性信号，以及有选择地使用该信号的行动响应。只改进不确定性的产生或表示并不够。