RL-ARC：用推理引导的不确定性校准大型推理模型

RLVR训练推理模型时不把置信度纳入奖励，容易过自信；已有校准训练在分布偏移下仍过自信，并常牺牲推理精度。

• 场景：大推理模型的能力主要来自强化学习，代表范式是 RLVR，只按预测对错给二元奖励（Lambert et al., 2025）。作者称这类训练会强化过自信推理（Kirichenko et al., 2025; Mei et al., 2026），从而限制医疗、金融等高风险场景（Lin et al., 2022）。
• 现有不足：把不确定性估计写进训练可改善校准（Leng et al., 2025; Liu et al., 2025; Damani et al., 2026），但论文称这些方法主要校准答案置信度，不看推理过程是否正确（Khalid et al., 2025; Chen et al., 2026）。作者称直接优化校准目标常带来 accuracy-calibration trade-off；Figure 1 的图注把该现象画在 OOD 上更突出。
• 核心观察：作者把置信度分成两种。推理置信度是对推理过程正确或真实的自评估，答案置信度是对预测正确的自评估；前者被当作校准后者的辅助信号。
• 提出的方法：RL-ARC 在强化学习中按预测对错使用推理置信度：正确样本上正则化答案置信度，错误样本上惩罚过自信。作者希望模型按题目自适应估计置信度，在 ID 与 OOD 上改善校准，且不明显牺牲推理性能。

口头化与其他不确定性估计

• Tian et al. (2023)、Xiong et al. (2024)、Dong et al. (2024) 让模型显式说出对自身答案的置信度。论文称其简单、人可解释，并与性能和回答质量相关，但仍过自信，且识别自身错误的能力有限。
• 基于多次采样准确率的方法（Lin et al., 2024; Xue et al., 2025）用多次生成的准确率估计不确定性。论文称推理成本高，且估计会随提示词设计而不稳定（Zhao et al., 2021; Tonolini et al., 2024）。
• 基于 token 概率的方法（Kadavath et al., 2022; Kuhn et al., 2023）从生成概率估计不确定性。论文称开放生成中适用性有限，缓解时往往要额外推理成本。

校准感知训练

• Liu et al. (2025)、Damani et al. (2026) 的 RLCR、Wu et al. (2026) 的 Behavioral Calibration 把不确定性目标放进推理训练，使自评估置信度对齐预测对错。论文称它们仍有精度与校准的权衡，且在 OOD 上仍易过自信。
• Yoon et al. (2025) 被论文用来说明现有 LM 能自我评估可靠性，但置信度常与真实正确性对不齐，并伴有过自信（Tian et al., 2023; Xiong et al., 2024; Mei et al., 2026）。

推理训练中的过自信

• RLVR（Lambert et al., 2025）只用预测正确性提升推理。论文称这类 RL 不计入输出置信度，会强化过自信推理（Kirichenko et al., 2025; Mei et al., 2026）。
• Leng et al. (2025) 等工作把不确定性估计写进奖励。论文将其列为有希望的方向，但认为只校准答案置信度仍不够。

基线方法与基准

• 基线方法：Base（预训练模型的口头置信度）、RLVR w/ Confidence（Xiong et al., 2024）、RLVR w/ Probability（Kuhn et al., 2023）、RLVR w/ Post-hoc（Li et al., 2025，外置置信度估计器）、Behavioral Calibration、RLCR。
• 基准/数据集：训练主用 Big-Math（Albalak et al., 2025），另用 HotpotQA；评测含算术推理、复杂推理与事实问答。

作者把本文定位为：对齐自评估置信度时，不只看预测对错，还看推理过程的正确性或真实性，使模型在估计置信度时计入推理中识别到的错误。

RL-ARC（Reinforcement Learning with Auxiliary Reasoning Confidence）在可验证奖励的强化学习上，同时引出推理置信度与答案置信度，并按预测是否正确调节校准项。

问题设定与形式化

• 标准 RLVR 的答案奖励是二元正确性。Brier 分数是置信度与正确性的平方误差：Brier(y, c_a, y^∗)=(1_y=y^∗−c_a)²。作者沿用把奖励写成正确性减去 Brier 的做法，使高分同时要求答对且置信度合适。
• RL-ARC 的总奖励是 R(z, ca) 减去推理项。z 为预测是否正确，R(z, ca)=z-(z-ca)^2。正确时推理项为 Ω_arc(z, c_a, c_r)=λ_pos(c_a−c_r)²；错误时该项为 λneg 乘 cr 的平方。λpos、λneg 控制 cr 的强度。

置信度引出

• 推理置信度 cr：模型对推理过程正确或真实的口头自评估。
• 答案置信度 ca：模型对预测正确的口头自评估。
• 二者与推理、预测一起生成。训练提示要求解题时显式估计置信度；Figure 9 给出模板，正文未转写全文。

按对错调节的目标

• 正确样本：R 鼓励高 ca，同时缩小 ca 与 cr 的差距。作者称这避免只因预测正确就给高置信，而要求推理过程也正确。
• 错误样本：z=0 时 R 惩罚高 ca；再减去 λneg cr^2，使导向错误预测的高推理置信度也降低奖励。作者称这用于缓解过自信。
• 默认 λpos=0.4、λneg=0.15（Appendix A.2）。

训练设置

• 算法为 GRPO（Shao et al., 2024）。骨干为 Qwen2.5-7B、Qwen3-8B，以及 Llama-8B distilled from DeepSeek-R1。各方法共用超参。
• 主训练集为 Big-Math 中难度适中的 30,000 题。实现时排除 LLaMA-8B 易解题目，只保留数值答案（Appendix A.1–A.2）。第二种训练分布使用 HotpotQA。
• Table 6：输入最长 1024，输出最长 4096，rollout 组大小 8，rollout 温度 0.7，1 个 epoch，batch size 1536，学习率 5e-6，线性衰减，warmup ratio 0.2。训练在四张 NVIDIA H100 或 A100 上完成。

正确性与校准如何判定

• 数学题用 math-verify；HotpotQA 用 exact match；StrategyQA、GPQA、SimpleQA、NQ-Open、TriviaQA 用 LLM-as-a-judge。论文未给出评审模型名称。
• 校准指标为 Brier、ECE（10 个 bin）和 AUROC。选择性预测用 AURC 与 risk-coverage 曲线。
• Reasoning Calibration：先由 LLM 判断推理是否支持标准答案，再按 cr 分箱计算 ECE。Shallow Reasoning 是 OOD 上预测正确但推理不正确的比例。

实验设置

• 骨干：Qwen2.5-7B、Qwen3-8B、Llama-8B distilled from DeepSeek-R1。优化算法均为 GRPO，超参相同（Table 6）。
• 训练数据：主实验用 Big-Math 的 30,000 题；另用 HotpotQA 作为复杂推理训练分布。Appendix A.2 写明排除 LLaMA-8B 易解题，只留数值答案。
• 评测集：§4.1 的算术评测含 Big-Math（评测 1,000）、GSM8K（1,319）、MATH-500（500）、AMC23（40）、AIME24（30）、AIME25（30）。OOD 含 StrategyQA（229）、GPQA（448）、HotpotQA（1,000）、SimpleQA（4,326）、NQ-Open（3,610）、TriviaQA（2,000）。Qwen2.5-7B 的分项表 Table 11 未列 AIME25，Qwen3-8B 的 Table 13 列出了 AIME25。
• 基线：Base、RLVR w/ Confidence、w/ Probability、w/ Post-hoc、Behavioral Calibration、RLCR。Table 2、3 只报告 Base、RLVR、RLCR、RL-ARC。
• 指标与判定：Accuracy、Brier、ECE（10 bin）、AUROC、AURC，以及 Reasoning Calibration、Shallow Reasoning。数学用 math-verify，HotpotQA 用 exact match，若干任务用 LLM-as-a-judge。论文未写评审模型名，也未报告重复次数。附录表的 Acc 用比例，Table 1–4 的 Acc 用百分数。
• 默认系数：λpos=0.4，λneg=0.15。

主结果

表格较宽，可左右滑动

模型	条件	RL-ARC Acc	RL-ARC ECE	RLVR Acc	RLCR ECE
Qwen2.5-7B	ID平均	56.53%	0.18	56.86%	0.22
Qwen2.5-7B	OOD平均	47.27%	0.16	47.58%	0.20
Qwen3-8B	ID平均	66.10%	0.15	66.58%	0.16
Qwen3-8B	OOD平均	51.61%	0.17	47.24%	0.22
Llama-8B（DeepSeek-R1蒸馏）	ID平均	56.69%	0.25	59.49%	0.29
Llama-8B（DeepSeek-R1蒸馏）	OOD平均	43.30%	0.19	40.48%	0.28

据 Table 1（两个 Qwen）与 Table 2（Llama）。Qwen 的 RLVR Acc 在 Table 1 中与三种置信度提取方式相同。

• 作者称 RL-ARC 在 ID 与 OOD 上改善校准，且不明显牺牲只优化正确性的 RLVR 的精度。Table 1 中 Qwen2.5-7B 的 ID AUROC，post-hoc 为 0.72，RL-ARC 为 0.60；该 post-hoc 的 OOD AUROC 为 0.51。作者称在 ID 上另训的外部估计器不一定迁移到 OOD。
• Qwen 的 RLVR w/ Confidence 的 ECE，Table 1 中 Qwen2.5-7B 为 ID 0.40、OOD 0.50，Qwen3-8B 为 ID 0.32、OOD 0.48。Qwen3-8B 的 OOD Base Acc 为 51.37%。
• Llama-8B 的 OOD Base Acc 为 45.96%（Table 2）。作者称该骨干用 RL-ARC 后 OOD 精度仍下降，但相对其他训练方法有所缓解。其 ID AUROC 为 0.81，RLCR 为 0.80。

训练分布

• 测了什么：Qwen2.5-7B 分别在算术推理与复杂推理上训练，报告 ID（Avg.）与 OOD（Avg.）（Table 3）。论文未逐项说明复杂推理训练时 ID 平均含哪些基准；附录 Table 17、18 把该设置下的算术与事实问答评测都标为 OOD。
• 结果：复杂推理训练下，RL-ARC 的 ID Acc 为 55.10%、ECE 为 0.06，RLCR 为 54.70% 与 0.07，RLVR 为 56.30% 与 0.43。OOD 上 RL-ARC Acc 为 45.42%、ECE 为 0.16，Base Acc 为 45.41%，RLVR Acc 为 39.51%、ECE 为 0.60。
• 作者解读：作者称两种训练分布上，相对其他训练方法，RL-ARC 在 OOD 上同时改善校准与精度。算术推理训练一行与 Table 1 的 Qwen2.5-7B 相同。

OOD 任务与置信度形态

• 测了什么：Qwen2.5-7B 在三类复杂推理与三类事实问答上的平均（Table 4），以及 OOD 置信度分箱（Figure 3）。
• 结果：复杂推理上 RL-ARC 的 Acc 为 53.36%、ECE 为 0.14，RLVR 为 54.86% 与 0.45，RLCR 为 51.83% 与 0.16。事实问答上 RL-ARC 的 Acc 为 41.19%、Brier 为 0.27、ECE 为 0.19，AUROC 与 RLCR 同为 0.54。例外：GPQA 上 RL-ARC Acc 为 0.38，RLVR w/ Confidence 为 0.48（Table 15）；SimpleQA 上 RL-ARC 的 AUROC 为 0.45，Base 为 0.50（Table 16）；GSM8K 上 RL-ARC 的 ECE 为 0.25，RLVR w/ Confidence 为 0.10、Base 为 0.22（Table 11，Acc 为比例）。
• 作者解读：作者称事实问答上精度与校准最好。作者称 Figure 3 中 RL-ARC 把 OOD 样本分到低、中置信度，而不是集中在高置信度；转换文本看不到柱高。附录 B.2 称 ID 上与 RLCR 的分配相近，OOD 上差异更大。

过自信缓解与推理过程

• 测了什么：Figure 4 的 risk-coverage 曲线，Table 8 的 AURC，以及 Figure 6 的推理校准与浅层推理。
• 结果：作者称 Figure 4 在 AIME24、GSM8K、GPQA、NQ-Open 的多数覆盖率上，RL-ARC 的 selective risk 更低或相当，低覆盖率区间更明显；文本未给出曲线端点。Table 8 未写骨干，AURC 为 ID 上 RL-ARC 0.16、RLCR 0.20、RLVR 0.22，OOD 上 0.34、0.35、0.44；其 Acc 与 Table 1 的 Qwen3-8B 行相同。Figure 6 纵轴为相对 Base 的百分点，转换文本看不到柱高，正文未给 Reasoning Calibration 与 SR 的原始数值。
• 作者解读：作者称高置信输出更可能正确。作者称 Figure 6 中 RL-ARC 的答案校准与推理校准提升更大，推理校准增益大于答案校准，浅层推理降幅最大，且当时没有对推理正确性做直接监督。

其他消融与分析

• Table 5（Qwen2.5-7B，OOD）：只开 λneg 时 Acc 47.11%、ECE 0.15、AURC 0.46；只开 λpos 时 Acc 47.51%、ECE 0.21、AUROC 0.55；两者都关时 Acc 46.02%、ECE 0.20。
• Table 7：打乱 RL-ARC 置信度并保持直方图后，ID 的 ECE/Brier 为 0.19/0.25，OOD 为 0.19/0.27；未打乱为 ID 0.18/0.23、OOD 0.16/0.26。
• Table 9：算术平均的 OOD Acc 48.61%、ECE 0.25；几何平均 Acc 47.65%、ECE 0.23；本文目标 Acc 47.27%、ECE 0.16。
• Table 10：默认 λneg=0.15、λpos=0.40 的 ID Acc 为 56.53%、ECE 为 0.18；同表 ID Acc 最高为 λneg=0.20、λpos=0.60 的 57.64%，其 OOD ECE 为 0.17。
• Appendix B.6：作者称缓解精度与校准冲突的较优配置多为 λpos/λneg>1，加大推理置信度的影响不一定继续改善校准。
• Qwen3-8B 的 AMC23（Table 13，Acc 为比例）：RL-ARC Acc 为 0.85，RLVR 为 0.90；ECE 为 0.18，RLVR w/ Confidence 为 0.09，Brier 为 0.06，为该表最低。

作者指出的局限与后续方向

• 实验限于两种训练设置：有限的数学推理样本，或有限的复杂推理样本（Limitations）。
• 为与基线公平比较，全部 LM 只用 GRPO。作者认为加入更多样的训练数据与更强的 RL 算法，可能进一步提升性能（Limitations）。
• 主要关注 LM，尤其是 Qwen 家族。作者认为把 RL-ARC 扩展到多模态推理模型是后续方向（Limitations）。
• 推理校准和浅层推理频率使用 LLM-as-a-judge。作者观察到用它评估推理正确性会引入误差，并把更准确的推理正确性评审留作未来工作（Limitations）。

实验覆盖范围

• 被测骨干为 Qwen2.5-7B、Qwen3-8B、Llama-8B distilled from DeepSeek-R1，共 3 个（§4.1、Table 2）。
• 训练分布为 Big-Math（正文称 30,000 题）与 HotpotQA；优化算法为 GRPO，各方法共用 Table 6 的超参（§4.1、Appendix A.2）。
• 正文列出的评测含算术基准 Big-Math、GSM8K、MATH-500、AMC23、AIME24、AIME25，以及 OOD 的 StrategyQA、GPQA、HotpotQA、SimpleQA、NQ-Open、TriviaQA（§4.1）。
• 指标含 Accuracy、Brier、ECE（10 bin）、AUROC、AURC、Reasoning Calibration、Shallow Reasoning；数学用 math-verify，HotpotQA 用 exact match，若干任务用 LLM-as-a-judge（Appendix A.1、A.3）。
• 论文未报告重复次数，也未写明 LLM-as-a-judge 的具体模型名（Appendix A.1、A.3）。

RL-ARC 是校准感知的强化学习框架，用推理过程的口头置信度调节答案置信度。

• 问题：RLVR 只奖励答案对错。作者称这会强化过自信；只校准答案置信度的训练在 OOD 上仍过自信，并常损失推理精度。
• 方法：对同一题引出推理置信度 cr 与答案置信度 ca。预测正确时缩小二者差距；预测错误时惩罚高 ca，并让高 cr 额外降低奖励。优化器为 GRPO，默认 λpos=0.4、λneg=0.15。
• Qwen2.5-7B：OOD 平均上 RL-ARC 的 Acc 为 47.27%、ECE 为 0.16；同表 RLVR w/ Confidence 的 Acc 为 47.58%、ECE 为 0.50，RLCR 的 ECE 为 0.20（Table 1）。
• Qwen3-8B：OOD 平均上 RL-ARC 的 Acc 为 51.61%、ECE 为 0.17；Base 的 Acc 为 51.37%，RLVR w/ Confidence 的 Acc 为 47.24%（Table 1）。
• Llama-8B：DeepSeek-R1 蒸馏模型的 OOD 平均 Acc 为 43.30%，Base 为 45.96%，RLVR 为 40.48%，RL-ARC 的 ECE 为 0.19（Table 2）。作者称该骨干的 OOD 精度仍下降，但相对其他训练方法有所缓解。
• 作者结论：推理置信度可作校准训练的辅助信号，使模型按题目估计置信度，并在不明显牺牲推理性能时改善 ID 与 OOD 校准。分项并非每格都更好：Qwen2.5-7B 在 GSM8K 上的 ECE 为 0.25，Table 11 中 RLVR w/ Confidence 为 0.10。