CREDO：用可微读出替代文本采样校准推理模型置信度

RLVR训练出的推理模型答案可以验对，但口述置信度没有被校准，而且把置信度采样成文本会同时带来方差和不可微。

• 场景与代价：数学和代码答案可用验证器自动判对错，因此RLVR的奖励就是正确性。作者称这类模型会系统性过度自信；下游若按口述置信度路由，自信但错误的答案会穿过本应拦住它的过滤器。校准要求报告为v时，条件正确率等于v。
• 现有不足：近期方法让模型在答案后写出一个数值置信度，再用严格适当评分规则做奖励。作者称这些方法都把置信度当文本采样：报告在随机时持续有方差，实践中还会塌到少数几个取值，对错答案共享同一置信；采样使报告对参数不可微，校准损失只能经标量奖励进入策略梯度，梯度估计还多一层报告方差。作者认为改奖励设计去不掉这两项代价。
• 核心观察：报告要么被采样、校准信号只能走score-function估计，要么由输出分布确定性算出、校准梯度可以直接到达。作者据此提出三条要求：报告是输出分布的确定性泛函、取值不困在词表网格上、校准损失对报告可微且报告能在生成该rollout的前向中精确算出。
• 提出的方法：CREDO（Confidence REaDOut）在RLVR优化正确性的同时，用一对保留token的相对概率作置信读出，并以可微回归训练；再按置信与结果的差距给答案学习加权，使准确率与校准一起提高。增益延伸到弃权与选择性预测。

作者在第5节把相关工作分成置信估计和RLVR内的校准两类，引言里还点名了口头置信这条路线上的代表方法。

直接询问与概率/样本估计

• Lin et al. (2022)：微调模型说出一个数字作为不确定性；作者转述Xiong et al. (2024)、Tian et al. (2023)的结论，这类数字会系统性过度自信。
• 概率、内部表示与样本一致性：Fomicheva et al. (2020)、Kadavath et al. (2022)、Azaria & Mitchell (2023)、Orgad et al. (2025)从模型自身概率或内部表示读置信；Kuhn et al. (2023)、Aichberger et al. (2025)、Geng et al. (2024)从样本一致性估计不确定性。引言称生成概率反映的是生成文本的似然，而不是答对的概率。
• Chuang et al. (2025)：在监督微调下学习confidence-token读出，用于路由和拒绝。作者称CREDO用同一形式的读出，但是在RLVR里on-policy训练，对着混合校准目标，并把它反馈成答案学习的信号。

RLVR中的校准与自奖励

• 似然或token统计进策略优化：Wang et al. (2026)、Liu et al. (2025)、Zhao et al. (2026)把由回答似然或token级统计得到的置信纳入策略优化。
• 口述数值并用奖励打分：RLCR（Damani et al., 2026）把适当评分规则折进单一奖励；DCPO（Ma et al., 2026）把答案token与置信token分开计分。Xu et al. (2024)、Bani-Harouni et al. (2026)、Stengel-Eskin et al. (2024)、Leng et al. (2025)、Zhang et al. (2026)、Fan et al. (2026)把数值报告扩展到问答、偏好调优或生成式推荐。作者称在这些数值报告方法里，置信度都是作为文本采样、再经标量奖励训练。
• LaSeR（Yang et al., 2025b）：在RLVR中把last-token分数与验证器奖励对齐，并把由分数导出的优势混进策略更新。作者把CREDO与它区分开：CREDO瞄准的是校准而不是自奖励，回归的是归一化两token读出，并用置信–结果差异重标答案优势。

基线与评测数据

• 基线方法：未训练的Base、只做正确性的GRPO（Shao et al., 2024），以及训练校准项的RLCR与DCPO。基线的口头数字另用数字期望再读一遍，记为-d行。
• 基准/数据集：数学在DeepScaleR上训练，评测其域内划分、MATH-500、AIME 2024–2026、AMC 2023–2024；代码在DeepCoder上训练，评测其域内划分、LiveCodeBench v5与v6、HumanEval+。

作者把本文定位为：不改口头通道的奖励设计，而换成确定性、可微的读出通道，并让该读出反过来给答案段加权。

整体上，CREDO仍处在GRPO形式的RLVR循环里，只更换置信通道：读出由保留token对给出，校准用回归直接反传，策略梯度继续负责正确性与文本上的信用分配，差异加权再把读出送回答案学习。

问题设定与口头通道的代价

• GRPO目标：对问题x，策略采样一组G个rollout，验证器给出ai=1[yi≡y∗]。策略最大化裁剪目标，组内奖励标准化成优势；标准设置里ri=ai，同一rollout的每个token共享同一优势。验证器信号对参数不可微，训练走策略梯度。
• 校准定义：模型还需报告q∈[0,1]，且E[a|q=v]=v。训练目标用严格适当评分规则，正文以Brier分数(q−a)²为例。作者称只依赖正确性的奖励对置信无差异，不会把自信的错误压下去。
• 口头通道：发射为q̂=parse(s)，s从置信槽的策略中采样。代表奖励是RLCR的r=a−(q̂−a)²，以及DCPO把推理段奖励设为a、置信段奖励设为−|q̂−RIG|，其中RIG把组平均正确率与a按λ混合。作者给出两条命题：随机口头报告在平方损失下多付的代价恰好是条件方差v；采样报告没有无偏的pathwise梯度，损失只能按其取值被查询。

读出与校准损失

• 三段格式：每个rollout以答案、置信分析、置信槽结束。槽内第一个生成位置上，词表中预留的{H,L}作为两个事件。
• 读出：把下一token分布限制到这一对再归一化，c=π(H|h′)/(π(H|h′)+π(L|h′))=σ(zH−zL)∈(0,1)。c只依赖输出分布且连续变化，并在生成该rollout的前向里算完。
• 回归目标：对读出可用的rollout集合V，Lcal为(ci−ti)²的平均，ti=γ ai+(1−γ)āgroup。组内项把二元目标向组平均正确率收缩。梯度为∇Lcal∝2(c−t)c(1−c)∇(zH−zL)，给定rollout时估计方差为零。
• 最优读出：命题3在独立rollout假设下给出，未过滤的逐条风险的贝叶斯最优读出是c∗=λμ+(1−λ)p(x)，λ=γ+(1−γ)/G，且对任意γ都有E[c∗|x]=p(x)。减小γ会降低给定问题上的目标方差，但把c∗向当前策略的题目级准确率p(x)收缩。作者因此把混合目标当作带正则的正确性监督，而不是方程2意义上的校准本身。

策略损失与差异加权

• 分段奖励：Fi表示三段都存在且可解析。rians=β Fi+ai，riconf=Fi(1−(ti−ci)²)。两者各自在组内标准化成Âans与Âconf，只作用在对应片段；分段信用分配来自Ma et al. (2026)。策略梯度给两段文本打分，槽上的数值由Lcal的精确导数训练，二者共享参数但不共享信用。
• 差异加权：si=|ai−ci|，wi=clip(1+κ(si−s̄group), w−, w+)，再把答案优势乘上wi。标准化用的是未加权奖励，裁剪前权重组内均值为1，因此只在组内重新分配学习。总损失为L=−J+α Lcal，token优势在答案段为wi Âans、在分析段为Âconf。

训练与判定设置

• 主实验模型与日程：在Qwen3-8B上比较Base、GRPO、RLCR、DCPO与CREDO。训练两个epoch，学习率2×10−6，每题8个rollout，温度1.0。每次运行使用seed 43，主比较另加seed 44和45。
• 指标：准确率，以及ECE、由报告诱导的排序AUROC、同时看报告值与结果的Brier。附录B给出提示模板、其余超参与评测协议；正文未在第4.1节列出α、β、γ、κ的默认数值，这些系数的扫描见第4.3节与Table 15。

实验设置

• 被测模型：主实验为Qwen3-8B。附录C.1在1.7B与4B上重复数学比较。基线为Base、GRPO、RLCR、DCPO；-d行不重新训练，只把采样到的数字换成该基线数字分布上的期望。
• 数据：数学用DeepScaleR训练，评测域内划分、MATH-500、AIME 2024–2026、AMC 2023–2024，共七个集合。代码用DeepCoder训练，评测域内划分、LiveCodeBench v5与v6、HumanEval+，共四个集合。各集合样本量论文未在正文给出。
• 训练：两epoch，学习率2×10−6，每题G=8，温度1.0。主比较种子为43、44、45；Table 2与Figure 4、Table 15为seed 43。
• 指标：Acc、ECE、AUROC、Brier。Table 1为各评测集与训练种子上的宏平均，并报告联合标准误；加粗为该列均值最优或落在其一个联合标准误内。选择性预测用AURC、acc@50/80/90和可操作阈值数Thr。
• 读出方式：基线按其口头数字评估，并另按数字期望评估；CREDO用其读出。域外是把检查点换到另一领域、不做适配。
• 评审：正确性由验证器判定。论文未报告人工一致性或LLM评审模型。

主结果

Table 1的域内宏平均（↑越高越好，ECE与Brier越低越好）：

Swipe horizontally to read the table

方法	数学Acc	数学ECE	数学AUROC	数学Brier	代码Acc	代码ECE	代码AUROC	代码Brier
Base	.439±.001	.472±.002	.644±.004	.453±.002	.455±.001	.418±.001	.690±.004	.395±.002
GRPO	.706±.009	.199±.027	.775±.062	.204±.029	.581±.007	.182±.070	.753±.061	.205±.066
RLCR	.682±.010	.159±.012	.831±.009	.171±.009	.553±.013	.075±.005	.815±.014	.146±.006
DCPO	.722±.008	.217±.008	.848±.012	.198±.003	.576±.003	.153±.024	.776±.025	.153±.024
CREDO	.752±.013	.103±.013	.933±.007	.086±.004	.600±.018	.064±.020	.850±.027	.127±.016

• 作者解读：域内CREDO在数学和代码的四项指标上都领先。基线中DCPO在数学上最准，但校准仍落后于CREDO；RLCR在代码上用准确率换更紧的ECE，是唯一在任一校准指标上与CREDO打平的基线。
• 数字期望：每个-d替换都提高AUROC一类排序指标，作者据此称采样给原本有信息的信号加了噪声。没有任何一次替换补上与CREDO的校准差距；作者称报告值是由训练路径塑造的，只改发射方式不会重新校准。
• 换域：OUT OF DOMAIN中各方法准确率相近，CREDO的校准优势仍在且最大。RLCR在域内代码ECE上与CREDO的打平没有在换域后保持。数学换域CREDO的Acc为.560±.007、ECE .117±.030、AUROC .855±.013、Brier .142±.013；代码换域Acc .504±.021、ECE .138±.016、AUROC .836±.009、Brier .165±.008（Table 1）。准确率上，数学换域GRPO为.564±.003，高于CREDO的.560±.007；代码换域DCPO为.508±.014，高于CREDO的.504±.021。

通道塌缩

• 测了什么：Figure 2比较口头通道与读出通道的有效水平数1/∑v p²v、最高频取值占比，以及完全相同报告造成的AUROC损失（tie tax）。浅色为数学、深色为代码。
• 结果：图上标注的有效水平数，口头侧为1.7、2.6、1.7、2.8、3.8、1.9、2.0，CREDO一侧为111.5与88.3。最高频占比口头侧标有0.77、0.77、0.72、0.58、0.53、0.52、0.42、0.17、0.09、0.03，CREDO未在该组给出与之并列的塌缩高占比。tie tax标注含0.267、0.186、0.181、0.130、0.116、0.116、0.075、0.033、0.004、0.002。Figure 1c的作者称：GRPO、RLCR、DCPO的口头报告集中在少数取值上，对错答案共享这些值；CREDO的读出铺满整个范围。
• 作者解读：塌缩在未训练Base上已经可见，GRPO、RLCR、DCPO的有效水平数都是个位数，训练并没有把取值铺开。

消融与下游弃权

• 去掉组件（Table 2，seed 43）：完整CREDO在数学上Acc .753、ECE .094、AUROC .933、Brier .088，代码上.614、.052、.869、.117。α=0时数学ECE升至.241、Brier至.232、Acc降至.696，代码ECE .172、Brier .172、Acc .611。去掉不确定性分析段后，数学Acc .709、代码Acc .587，ECE仍为.096与.048。置信段优势置零后，数学Acc .696、代码Acc .576。κ=0后数学Acc .721、ECE .122，代码Acc .572。作者称：没有可微回归时读出失去直接监督、校准垮掉；关于置信的推理主要改善答案而不是只改善置信；差异加权是唯一把读出送回答案段的组件，去掉它在代码上造成最大的准确率下降，数学上的校准也变差，尽管加权只作用在答案优势上。
• 选择性预测（Table 3、Figure 5）：数学上CREDO的AURC为2.62±0.04%，acc@50/80/90为.986±.001、.962±.001、.927±.002，可操作阈值372；DCPO为4.98±0.65%、阈值22；RLCR 5.88±0.67%、15；GRPO 7.92±0.67%、21；Base 29.64±0.30%、34。代码上CREDO的AURC为16.80±1.57%，阈值932；DCPO 21.26±0.95%、10；RLCR 21.36±1.00%、12；GRPO 21.50±3.08%、17；Base 45.10±0.50%、16。作者称数学上CREDO的风险–覆盖曲线全程低于各基线；代码上覆盖很低时RLCR更低，其上则CREDO最低。在所评估的覆盖预算上，CREDO答得最准且两边的合计误差最低，只有最紧的两个代码预算与DCPO统计上打平。作者称口头报告只留下十几个到二十来个操作点，读出提供数百个；代码上DCPO最高置信取值已经覆盖一半样本池。
• 尺度：作者称附录C.1在1.7B和4B上重复数学比较，CREDO在每个尺度的四项指标上都领先，校准优势随模型变大而变宽。具体数值在所附文本的表中未完整列出。

其他消融与分析

• κ（Table 15，seed 43）：0时数学Acc .721、Brier .102，代码Acc .572、Brier .132；0.5时数学.749/.101，代码.614/.117；1时数学.730/.100，代码.591/.124。作者称中等κ都优于κ=0。
• α：0时数学ECE .241、Brier .232，代码ECE .172、Brier .172；0.03时数学Acc .753、Brier .088，代码Acc .614、Brier .117；0.10时代码Acc .577、ECE .042。作者称α=0时校准训练关闭、ECE与Brier垮掉，测过的正值都能恢复校准。
• γ：0.5时数学Acc .753、Brier .088，代码Acc .614、Brier .117；γ=1时代码ECE .034，低于γ=0.5的.052，但代码Acc为.587。作者称测过的值里γ=0.5在两边给出最好的准确率与Brier，γ=1的代码ECE更低。
• 附录C.2–C.4：作者称单独交换发射方式或训练路径都恢复不了完整方法；把同样的加权加到RLCR和DCPO上，无论驱动信号是解析出的数字还是连续数字期望，增益都不如CREDO大、也不如CREDO稳；两种备选奖励形状里，加性形式在数学上最好或并列，在代码上有竞争力。所附文本未给出这些附录表的逐格数字。
• 例外：域内代码ECE上RLCR为.075±.005，CREDO为.064±.020，作者把RLCR视为与CREDO打平的基线；换域后这一打平消失。域外准确率并非CREDO在每个域都最高，见Table 1的GRPO与DCPO。

作者指出的局限与后续方向

• 不绑定二元标签：结论写明，因为CREDO用回归训练置信，它并不绑定二元正确性标签；带分级奖励模型的开放式任务是自然的下一步（第6节）。
• 生成中的反馈：结论写明，更进一步可以把置信信号在生成过程中反馈回去，让不确定的步骤在答案定稿前被重新考虑，走向“知道自己何时是对的”的推理器（第6节）。
• 论文没有单独的Limitations小节。正文对混合目标的讨论是方法性质：提示级均值一致一般并不蕴含方程2的校准，混合目标被当作带正则的正确性监督（第3.2节、命题3），这里不把它改写成作者列出的局限清单。

实验覆盖范围

• 模型与领域：主结果在Qwen3-8B上，数学与代码两个可验证领域各做域内与换域；附录C.1把数学比较重复到1.7B和4B（第4.1–4.2节）。
• 基线与读出：比较对象为Base、GRPO、RLCR、DCPO，以及不重新训练、只改成数字期望的-d读法（Table 1）。
• 种子与组大小：主比较使用seed 43、44、45；消融与系数扫描为seed 43；训练时每题8个rollout、两epoch、学习率2×10−6、温度1.0（第4.1节）。
• 下游与组件：测了弃权式选择性预测的风险–覆盖、AURC和可操作阈值数（第4.4节、Table 3、Figure 5），以及去掉回归、分析段、置信段优势、差异加权（Table 2）和κ、α、γ扫描（Table 15）。
• 论文未报告：各评测集的样本条数、主实验默认的α、β、γ、κ具体取值（扫描表给出了被测档位）、以及人工评估与自动判定的一致性。

CREDO把RLVR里的置信从“采样一个数字”改成“读一对保留token的相对概率”，并用可微回归和差异加权同时拉准确率与校准。

• 问题：GRPO式RLVR只按验证器的对错给奖励，不推动模型把报告的置信对齐到真实正确率。已有RLCR、DCPO等方法让模型把置信写成文本再用标量奖励训练；作者认为采样既留下条件方差、又让取值塌到少数几个点，还切断了校准损失的直接梯度。
• 方法：rollout分成答案、置信分析和置信槽。槽上c=σ(zH−zL)。校准损失把c回归到γ ai+(1−γ)乘组平均正确率。答案段与分析段仍由策略梯度按各自分段奖励更新；答案优势再乘以组内中心化后的|ai−ci|权重。总损失是策略目标加上α倍校准损失。
• 主结果：Qwen3-8B、三个种子的宏平均上，域内数学CREDO的Acc为.752±.013、ECE .103±.013、AUROC .933±.007、Brier .086±.004；域内代码Acc .600±.018、ECE .064±.020、AUROC .850±.027、Brier .127±.016（Table 1）。换到对方领域后准确率与基线相近，校准优势仍最大。把基线改成数字期望能提高AUROC，但补不上与CREDO的校准差。
• 其余证据：seed 43上去掉回归会使两边ECE、Brier明显变差；去掉差异加权使代码Acc从.614降到.572。选择性预测中，数学AURC为2.62±0.04%对DCPO的4.98±0.65%，可操作阈值372对22；代码AURC 16.80±1.57%，阈值932对DCPO的10（Table 3）。
• 作者结论：口头通道的两项代价来自采样本身；确定性读出加上把它反馈到答案学习，能在数学和代码上同时得到最好的准确率与校准，并让弃权阈值更细。开放式分级奖励，以及在生成过程中回传置信，被写成后续方向。