基于生成式奖励模型的不确定性感知逐步验证

生成式过程奖励模型在数学多步验证中不可靠，作者要用不确定性量化标出不确定的步骤。

• 场景：复杂推理常用思维链，再在生成结果上做强化学习。作者称只按最终答案给奖励时，中间步骤有误仍可能得到正确答案，形成 false positives，并削弱对推理过程的信任。
• 现有不足：过程奖励模型（PRM）要逐步标注。作者称人工、蒙特卡洛或 LLM-as-a-judge 要么昂贵要么有噪声。作为人类判断的代理，PRM 还可能被过度优化；作者引用 DeepSeek-AI（2025），称策略可能利用奖励模型缺陷获得高奖励。
• 假设：作者认为，发现验证器在某一步不确定，可以减少错误反馈，并提高奖励信号的可解释性。作者称，问答上的不确定性量化已有工作，复杂多步奖励建模中如何使用则据其所知尚少有了解。
• 本文做法：作者提出 CoT Entropy，在数学推理上做不确定性感知的逐步验证，与已有不确定性估计比较，并把预测不确定性拆成知识不确定性与偶然不确定性。实验用提示的 judge-LM，不是作者微调后的 PRM。

论文没有单独的 Related Work。引言和方法里讨论的工作可分成四组。

过程监督

• 逐步奖励：Lightman 等（2023）、Wang 等（2024）、Uesato 等（2022）用 PRM 对每一步给反馈，粒度细于只判最终答案。
• 标注途径：人工标注（Lightman 等，2023）、蒙特卡洛采样（Wang 等，2024）、LLM-as-a-judge（Zheng 等，2023）。论文称这些做法昂贵或有噪声。
• 评测与利用：Zheng 等（2024）的 ProcessBench 评测 PRM 识别逐步错误的能力。DeepSeek-AI（2025）被用来说明策略可利用奖励模型缺陷。

结果监督与推理

• 思维链与训练：Wei 等（2022）用 chain-of-thought 逐步解题；Pang 等（2024）在生成的思维链上用强化学习微调。
• 信用分配：Zhang 等（2024）讨论正确最终答案配有缺陷推理的 false positives；Zhang 等（2025）讨论这会削弱对推理过程的信任。

不确定性估计

• 任务范围：Shorinwa 等（2024）综述大模型的不确定性量化。作者称近期工作多见于问答等较简单任务。
• 被比较的方法：Farquhar 等（2024）的 semantic entropy 在语义簇上计算熵；Kadavath 等（2022）提出 P(True)；Grewal 等（2024）用嵌入相似度做 SEU。
• 与投票的差别：Wang 等（2022）的 self-consistency 对样本做多数投票。作者称本文使用近似后验预测分布，而不是点估计。

基线与数据

• 基线方法：Random、Naive Entropy、P(True)、SEU-MiniLM、SEU-NV-Embed、CoT Entropy（Discrete）。SEU 的嵌入模型为 MiniLM（Wang 等，2020）与 NV-Embed（Lee 等，2024）。
• 基准/数据集：PRM800K（Lightman 等，2023），题目来自 MATH（Hendrycks 等，2021）。

作者称本文把不确定性量化用于数学多步验证中的生成式奖励模型，并用思维链上的熵估计 judge-LM 对逐步判断的不确定程度。作者在贡献列表中称 CoT Entropy 是一种新的不确定性量化方法。

作者把提示的 Qwen2-Math-72B-Instruct 当作 judge-LM，用 CoT Entropy 估计它对每一步有无错误的不确定程度，再据此筛掉不确定的验证。

逐步验证如何定义

• 生成器对问题 Q 自回归生成步骤序列。最终答案与标准答案一致，才算答对。奖励模型可以只看最终答案，也可以看整条推理；本文只做后者。
• 每步有二元变量：0 为无错，1 为有错。逐步奖励是无错概率 r_t = p_θ(E_t=0 ∣ Q, s_{≤ t})。解级奖励是各步该概率的乘积。形式化里，无错对应特殊 token。
• 离散预测取概率最大的类，再与逐步标签比较。标注在第一个错误步终止。作者称，若每步错误率恒定，该下标服从几何分布。

judge-LM 的判断分布

• 提示询问当前步是否含有错误。yes、no 的 token 概率在两类上重新归一，得到该步的预测分布，再映射成不确定分数。
• CoT 提示要求先输出理由，再输出有无错误。输入是题目、此前步骤和待评步骤。附录 A.1 给出了完整提示词。作者称试过多种模板，JSON 解析成功率被当作模型是否理解任务的指标。
• 作者称验证需要细粒度推理，思维链有助于在二元判断前发现直接判定可能漏掉的错误，并使反馈针对当前步。

CoT Entropy

• 目标是判断分布的熵。方法用多条理由做边缘化来近似：p(e ∣ x_{≤ t}) = ∑_c p(e ∣ x_{≤ t}, c) p(c ∣ x_{≤ t})。这里 x 含题目、已生成步骤和 CoT 提示。
• 计算分三步：采样批评当前步的理由和随后的判断；按判断是有错还是无错分成两簇；把通向同一判断的类概率相加，再计算熵。簇数固定为 2。
• 每步用温度 0.1 采样 1 条作为预测标签，用温度 1.0 采样 10 条做聚类。作者称判断以理由为条件，不同于先下结论再补解释，也不同于多数投票。
• 离散变体用决策的经验频率代替 token 概率，不读取概率。作者称它是 black-box 方法。

不确定性拆分与筛选指标

• 作者按 Malinin and Gales（2020），把总预测不确定性拆成认知不确定性与偶然不确定性。前者是判断与理由的互信息，后者是给定理由后的条件熵。理由后验用蒙特卡洛采样近似。
• 不确定分数对照逐步标签。AUROC 针对“这次验证是否正确”。因有错步占少数，选择性指标用 F1：保留最有置信的一定比例输入后计算 F1，再在多个阈值上汇总。

实验设置

• 被测模型：judge-LM 为 Qwen2-Math-72B-Instruct。作者称选用 instruct 版本是因为经验上它更理解验证任务。SEU 另用 MiniLM 与 NV-Embed 做句向量。
• 数据：PRM800K 中，GPT-4 预生成的 MATH 解答带有逐步标签。测试划分 500 题里取 150 题，共 1,152 步，平均每解 7.7 步。负类视为有错，positive 与 neutral 转为无错；129 步（11.2%）为有错。
• 采样：预测标签为温度 0.1 的 1 次采样；聚类为温度 1.0 的 10 次采样。各方法 5 个随机种子，报告均值和标准差。
• 基线：Random 在 0 与 1 之间抽不确定分数；Naive Entropy 为同等次数生成的长度归一化 token 对数概率；P(True) 为 0-shot，让模型把贪心验证结果与 10 个备选比较；另有两种 SEU 和 CoT Entropy 的离散变体。
• 指标：AUROC、AUPRC、AU-F1C、Rejection-F1。作者称无信息 AUROC 约为 0.5；AUPRC 的无信息基线等于正确验证步比例 0.786。AU-F1C 从 30% 起算，Rejection-F1 报告 60% 到 100%。
• 判定：对照数据集标签，没有另用一个模型打分。论文未报告标注者之间的一致性。

主结果

表格较宽，可左右滑动

方法	AUROC	AUPRC	AU-F1C
Random	0.521±0.024	0.786±0.010	0.279±0.019
Naive Entropy	0.408±0.013	0.742±0.004	0.265±0.009
P(True)	0.329±0.015	0.671±0.007	0.302±0.007
SEU-MiniLM	0.661±0.029	0.862±0.055	0.304±0.010
SEU-NV-Embed	0.616±0.011	0.759±0.009	0.330±0.010
CoT Entropy	0.680±0.017	0.885±0.005	0.348±0.009

据 Table 1，均为 Qwen2-Math-72B-Instruct 在 PRM800K 子集上、5 次运行的均值和标准差。

• 作者称 CoT Entropy 在三项上最高，能区分验证正确与否。
• Naive Entropy 与 P(True) 的 AUROC、AUPRC 低于 Random；P(True) 的 AU-F1C 高于 Random。
• SEU-MiniLM 的 AUROC、AUPRC 高于 SEU-NV-Embed，AU-F1C 较低。这与后文对 Rejection-F1 的比较不是同一指标。

Rejection-F1

• Figure 1 横轴为 60% 到 96% 的拒绝阈值，纵轴是保留样本的 F1。100% 对应全部 1,152 步，作者称该虚线等于未过滤测试集，也相当于随机基线。60% 对应 691 步，作者称该档误差条更大。
• 作者称从右到左 F1 上升，这些方法大体给出有意义的置信估计；CoT Entropy 在所有阈值上最高。正文和图注没有列出各柱的 F1 读数。
• 作者称无聚类的 Naive Entropy 差于随机；离散变体低于 CoT Entropy。作者假设原因是相同判断的概率仍随推理路径变化，并称这与 Farquhar 等（2024）里离散与非离散差距小的情况不同。作者称 CoT Entropy 高于依赖外部嵌入的 SEU，同时称 Rejection-F1 仍有改进空间。

不确定性分解

• Figure 2 比较总预测不确定性、认知不确定性与偶然不确定性的 Rejection-F1。作者称三类都高于随机基线，总不确定性最高。
• 作者称这符合验证任务：希望找出任何可能导致预测错误的点，不论原因；并称这不同于以认知不确定性为主的贝叶斯主动学习。
• 作者称认知不确定性与错误的对应好于偶然不确定性，且几乎与总不确定性一样。作者据此认为，被识别的错误大多与模型知识不足有关，而不是标注者分歧这类标签噪声。正文未给出各曲线的端点读数。

有无思维链的验证表现

• 附录 Table 2：无 CoT 的 F1 为 0.352±0.010、准确率 0.838±0.003；有 CoT 的 F1 为 0.400±0.003、准确率 0.774±0.002。
• 全预测无错：F1 为 0.0、准确率 0.889。全预测有错：F1 为 0.197、准确率 0.112。
• 作者称无 CoT 的准确率更高，很大程度上是因为模型主要预测无错；在这一不平衡集合上，F1 更能反映检出错误步的能力。

其他消融与分析

• CoT Entropy（Discrete）出现在 Figure 1 和正文比较中，Table 1 未报告其 AUROC、AUPRC、AU-F1C。
• 温度、采样条数和种子数是固定设置，论文未报告对这些变量的消融数字。
• 讨论 Figure 1 时，作者称 NV-Embed 优于 MiniLM；Table 1 里 SEU-MiniLM 的 AUROC 与 AUPRC 更高。

作者指出的局限与后续方向

• judge-LM 的提示词还可以进一步优化（第 6 节）。
• 作者计划用估计出的不确定性，在强化学习训练中应对并可能缓解 reward hacking，同时辅助推理时搜索（第 6 节）。
• 作者计划微调一个生成式奖励模型，以检验它能否给出更准确的验证不确定性估计（第 6 节）。

实验覆盖范围

• 被评测的 judge-LM 为 Qwen2-Math-72B-Instruct；对照方法为 Random、Naive Entropy、P(True)、SEU-MiniLM、SEU-NV-Embed，以及 CoT Entropy 及其离散变体（第 4–5 节，Table 1，Figure 1）。
• 数据是 PRM800K 测试划分中的 150/500 题、1,152 步，题目来自 MATH，解答由 GPT-4 预生成；作者写明因计算约束做了这一子集（第 4.1 节）。引言提到 ProcessBench，实验未在该基准上报告结果。
• 每步低温采样 1 次、高温采样 10 次；各方法 5 个种子，报告均值和标准差（第 4.2、4.3 节）。
• 选择性指标为从 30% 起的 AU-F1C，以及 60% 到 100% 的 Rejection-F1；不确定性分解包括总预测、认知与偶然三类（第 4.4、5.2 节，Figure 2）。
• 第 5 节报告的是验证时的不确定性估计。附录 A.2 只比较了同一 judge-LM 有无 CoT 提示的 F1 与准确率。论文未报告标注者之间的一致性。

作者研究数学多步解答的逐步验证：生成式裁判什么时候对自己的判断没有把握。

• 只按最终答案给奖励时，作者称错误中间步骤仍可能拿到高奖励。PRM 能逐步打分，但标注昂贵或有噪声，而且策略可能利用奖励模型的缺陷。
• 做法是 CoT Entropy。Qwen2-Math-72B-Instruct 被提示为 judge-LM，对每步采样多条先批评后判断的路径，按有错或无错聚成两簇，边缘化后计算判断熵。不确定的步骤可以被筛掉。
• 在 PRM800K 测试子集的 1,152 步、5 个种子上，Table 1 中 CoT Entropy 的 AUROC、AUPRC、AU-F1C 分别为 0.680±0.017、0.885±0.005、0.348±0.009，三项都大于同表其他方法。
• 同表里 Naive Entropy 的 AUROC 为 0.408±0.013，P(True) 为 0.329±0.015，都低于 Random 的 0.521±0.024。无 CoT 时准确率更高、F1 更低（Table 2）。
• 作者称按不确定分数筛选后，逐步验证更稳健；被标出的错误大多对应模型的知识不确定性，而不是标签噪声。作者计划以后把该估计用于强化学习与推理时搜索，并微调生成式奖励模型。