从仅结果奖励的强化学习中诱导过程监督

如何在没有步骤标注时，训练出能做步骤级验证的生成式过程奖励模型。

• 场景：过程奖励模型（PRM）给推理轨迹和智能体轨迹提供步骤级反馈，用于测试时扩展和细粒度信用分配。作者称人工步骤标注昂贵且难扩展。
• 现有不足：蒙特卡洛方法要大量 rollout，并用“存在正确续写”定义步骤质量。作者引用 Zhang et al. (2025a) 的说法：能走到正确答案，并不等于该步本身正确。判别式模型多用标量打分头；已有生成式 PRM 仍依赖人工步骤或更强评判模型。
• 观察：被提示成结果奖励模型时，模型会在思维链里检查中间步骤，再判最终答案。Figure 2 中 Qwen3-4B-Instruct-2507 在 thought 里标出错误步，并据此判断最终答案不正确。
• 问题与做法：作者问，加强结果验证能否反过来加强过程验证。据此提出 TIPS（Thinking-Induced Process Supervision）：奖励只看结果预测是否正确，用 GRPO 更新整段生成，把步骤验证当作副产品；并给出思维链必须携带步骤正确性信息的下界。

过程奖励模型

• 人工逐步验证：Lightman et al. (2023) 用人工步骤标注训练 PRM。作者称 PRM 优于只验证最终结果，但人工标注昂贵且难扩展。
• 自动过程标签：Math-Shepherd（Wang et al., 2024）与 SCAN（Ding et al., 2026）用蒙特卡洛估计构造步骤标签；Zhang et al. (2025a) 与 UniversalPRM（Tan et al., 2026）用更强模型蒸馏。作者称这些判别式做法通常把 LLM 用作编码器加标量头，生成式推理用得少。
• 结果监督与生成式评判：ImplicitPRM（Yuan et al., 2025）和 AutoPSV（Lu et al., 2024）只从轨迹结果学过程分数；作者称其信号常常不能定位步骤错误（Table 1）。GenPRM（Zhao et al., 2025）和 ThinkPRM（Khalifa et al., 2026）先生成理由再做步骤判断，但仍依赖人工步骤或更强评判模型。

面向 LLM 的强化学习

• 策略后训练：自 DeepSeek-R1（DeepSeek-AI, 2025）之后，论文把 RL 用于数学、工具智能体、检索和代码作为背景，没有逐篇批评。
• 奖励模型上的 RL：Chen et al. (2026b)、Whitehouse et al. (2025)、Guo et al. (2025)。作者称这些工作用 RL 提高 ORM 准确率；本文不是只做一个更强的 ORM，而是让只含结果的 RL 副产出 PRM。

实验对照

• 基线方法：提示即评判的开源骨干，以及 GPT、Claude、o1-mini；已发表判别式 PRM 包括 Math-Shepherd、Qwen2.5-Math-PRM、RLHFlow-PRM、EurusPRM、UniversalPRM、SCAN-PRM；已发表生成式 PRM 为 GenPRM、ThinkPRM。同设置重实现 AutoPSV、ImplicitPRM 和 SCAN-PRM。
• 基准：ProcessBench；AgentProcessBench（HotPotQA、GAIA、BFCL、τ2-Bench）；Best-of-8 用 GSM8K、MATH、College Math、Minerva、OlympiadBench。

作者把 TIPS 放在只使用轨迹级结果标签的生成式 PRM 上：不直接监督步骤标签，而用结果奖励强化思维链中的步骤检查。

TIPS 训练一个生成式奖励模型：先写思维链，再输出步骤标签和结果标签；奖励只使用结果真值。作者的直觉是，若检查中间步有助于判对结果，这类思维链会在组内比较中得到更高优势。

输入、输出与奖励

• 输入：题目 q，以及含 n 个中间步的候选回答 x。
• 生成：πθ 先采样思维链 Z，再给步骤标签 Ŷt∈{0,1}（该步在前文条件下是否有效）和结果标签 D̂∈{0,1}。真值只有轨迹结果 D。
• 奖励：过程标签不进入奖励。r=1[D̂=D]，判对为 1，否则为 0。

GRPO 与训练设置

• 更新范围：对每个输入采样一组 G 个 rollout。优势为该条奖励减去组内平均奖励，且不除以组内标准差（Appendix C）。裁剪替代目标作用在整段 token 上，包括思维链、步骤标签和结果标签。
• 未报告的量：论文未给出 G 和裁剪阈值 ε 的数值。
• 已报告设置：最长生成 16K token，KL 系数为 0，AdamW，1 epoch，batch size 32，学习率 1×10−6；8 张 80GB A800，框架为 verl（Appendix E）。
• 训练数据：数学域 3,200 条，来自 SCAN-Pro（由 MATH 训练集构建）。智能体域 2,905 条，来自 HotpotQA、GAIA、τ2-Bench 和 BFCL；与 AgentProcessBench 的任务提示 5-gram Jaccard 相似度高于 0.8 的轨迹被去掉。

信息论分析

• 假设 1：推理前表示 R 不能完全决定结果，即 H(D|R)≥ε>0。作者称这排除了单次表示就足以判决的退化情形。
• 下界：结果预测写成确定性解析 D̂=g(R,Z)，随机性只来自 Z。定理 1 用 Fano 不等式把结果错误率 Pe 连到思维链中的结果信息；定理 2 再把它转成关于步骤标签 Y 的信息。合写为 I(Z;Y∣ R)≥ H(D∣ R)−H_b(P_e)−H(D∣ Y,R)。证明在 Appendix D。
• 作者的解释：验证并非平凡、结果错误低、且结果由步骤正确性决定时，思维链必须编码过程信息。GRPO 会强化那些靠跟踪步骤有效性才判对结果的 rollout，尽管奖励从未看见步骤标签。
• 作者列出的变弱条件：从 R 已能预测结果；RL 没有降低 Pe；步骤与结果耦合松；骨干写不出忠实的逐步推理。作者称第 4.4 节检查这些情形。

测试时用法

• 步骤输出：推理时直接把生成的 Ŷ 当作步骤标签。训练仍只需要带结果标签的轨迹。
• Best-of-8：先保留被预测为结果正确的轨迹，再选平均步骤有效性分数最高的一条。基线沿用各自默认设置。这一规则写在第 4.4 节。
• 提示词：Appendix F 给出数学域完整提示词。输入是题目和从 0 编号的段落化解答，模型先推理，再输出含逐步标签和最终标签的 JSON。论文未给出智能体域的完整提示词。

实验设置

• 被测骨干：Qwen3-4B-Instruct-2507、Qwen3-4B-Thinking-2507、Qwen3-8B-Thinking、Qwen2.5-7B-Instruct、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B、SmolLM3-3B、OctoThinker-8B-Hybrid-Base。提示评判对照包括 GPT-5.4-Instruct、Claude-4.7-Opus、o1-mini。
• 训练数据：数学 3,200 条（正文写作 3.2K），来自 SCAN-Pro；智能体 2,905 条，并按 5-gram Jaccard 高于 0.8 相对 AgentProcessBench 去污染。论文未报告两个评测基准各自的样本条数。
• 数学指标：ProcessBench 官方 F1，任务是找出第一个错误步，或判断全部正确。Best-of-8 用 Qwen2.5-7B-Instruct 为每个问题采 8 条，各 PRM 在同一组回答上选最高分，报告所选答案准确率；另报 Majority Vote@8 和作为上界的 Pass@8。
• 智能体指标：AgentProcessBench 的 FirstErrAcc，子集为 HotPotQA、GAIA、BFCL、τ2-Bench。
• 基线：提示即评判；Table 1 中的已发表判别式与生成式 PRM；同骨干重实现的 AutoPSV、ImplicitPRM（3.2K 与 197K）和 SCAN。论文未写 ProcessBench 另用哪个模型打分。
• 重复：Appendix H 的 AIME 2026 与 HMMT February 2026 为 mean@4。论文未报告 ProcessBench、AgentProcessBench 和 Best-of-8 的重复次数，也未报告 GRPO 组大小。

主结果

ProcessBench 平均 F1 是主结果。下表只列 Table 1 的一部分，含平均最低的一行。

表格较宽，可左右滑动

模型	GSM8K	MATH	Olympiad	OmniMath	Avg.
o1-mini	93.2	88.9	87.2	82.4	87.9
TIPS-Qwen3-4B-Thinking-2507 (3.2K)	89.5	87.7	83.5	80.0	85.2
GPT-5.4-Instruct	89.8	84.6	74.1	69.1	79.4
Qwen2.5-Math-PRM-72B	87.3	80.6	74.3	71.1	78.3
TIPS-Qwen3-4B-Instruct-2507 (3.2K)	84.6	82.6	74.5	69.0	77.7
AutoPSV-Qwen3-4B-Instruct-2507 (197K)	63.6	48.4	34.3	34.8	45.3
RLHFlow-PRM-Deepseek-8B	38.8	33.8	16.9	16.9	26.6

据 Table 1。省略行包括 Claude-4.7-Opus（79.3）、GenPRM-32B（77.6）、UniversalPRM-7B（74.3）、提示版 Qwen3-4B-Instruct-2507（63.8）、提示版 Qwen3-4B-Thinking-2507（60.3）、ImplicitPRM-197K（41.5）、AutoPSV-3.2K（28.6）、ImplicitPRM-3.2K（26.7）。

• 作者认为，先前结果监督 PRM 的偏好并未建立在对中间步骤的显式分析上。同骨干 197K 的 ImplicitPRM 平均 F1 为 41.5；3.2K 的 AutoPSV、ImplicitPRM 为 28.6、26.7。
• 作者认为 TIPS 的提升不是单纯扩大结果数据，而是显式思维链把结果监督转成过程证据；并认为这与数学中最终结果常由中间步决定相一致。
• 提示版 Thinking 平均 F1 为 60.3，低于提示版 Instruct 的 63.8。作者称 TIPS 之后这一差距反过来，且 Thinking 版超过所评已训练 PRM 和 Claude-4.7-Opus。平均 F1 高于表中 GPT-5.4-Instruct，但 GSM8K 一列并非如此；仍低于表中 o1-mini。Instruct 版平均 F1 低于 72B 的已发表 PRM。

智能体轨迹

• 测了什么：三个骨干在 AgentProcessBench 上加 TIPS 前后的 FirstErrAcc（Table 2）。
• 结果：Instruct 平均从 42.5 到 45.0（+2.5）；4B-Thinking 从 43.7 到 49.1（+5.4）；8B-Thinking 从 41.5 到 46.0（+4.5）。HotPotQA 上 8B-Thinking 从 56.8 到 53.6（-3.2）；GAIA 上该模型从 31.6 到 48.8（+17.2）。
• 作者的解读：作者认为平均增益在思维模型上更大，并认为智能体失败还可能来自缺动作、证据不足或无效探索，不一定对应一个明确的错误步，所以结果反馈更不局部。

Best-of-8 重排

• 测了什么：Qwen2.5-7B-Instruct 生成 8 条候选，比较重排后的答案准确率（Table 3）。
• 结果：TIPS-Thinking 平均 73.3，TIPS-Instruct 72.8；提示版 Thinking 72.8，提示版 Instruct 71.6；SCAN-PRM（197K）69.2，ImplicitPRM（197K）68.8，AutoPSV（197K）67.4；Majority Vote@8 为 67.8，Pass@8 为 78.1。GSM8K 上 TIPS-Instruct 为 95.0，提示版 Instruct 为 95.1。
• 作者的解读：作者认为未经 PRM 训练的提示式评判已高于所列 MC 与结果监督 PRM。作者报告 TIPS-Thinking 比 197K ImplicitPRM 高 4.5 个百分点，仍比 Pass@8 低 4.8 个百分点。

人工评估

• 测了什么：从 ProcessBench 抽 60 条，每个子集 15 条；两名博士标注者检查 TIPS-Qwen3-4B-Instruct-2507 的反馈（Appendix G）。
• 结果：首个错误定位正确为 47/60（78.3%）。这些案例中，理由解释了底层错误的为 38/47（80.9%）。两者同时成立为 38/60（63.3%）。
• 作者的解读：作者认为这为 TIPS 既能定位、也能解释推理错误提供了额外证据。

其他消融与分析

• Figure 5：数学上三骨干的增益比 Δprocess/ΔORM 为 0.85、1.75、0.98，Pearson r 为 0.98、0.98、1.00；智能体上为 0.23、0.50、0.49，r 为 0.96、0.78、0.96。
• Figure 6：Qwen2.5-7B-Instruct 的 ΔORM 终值为 +41.1，ProcessBench F1 在 step 30 达峰 +25.7，step 90 为 +9.4；DeepSeek-R1-Distill-Qwen-7B 的 ΔORM 为 +17.0，F1 峰值 +15.8（step 60），终值 +15.1（step 90）。作者认为前者后期用捷径拟合结果，步骤判断变弱。
• Table 4（Qwen3-4B-Instruct-2507，第一 epoch 末）：CoT 的 Base F1、PRM gain、ORM gain 为 63.8、13.9、17.6；label-only 为 47.5、0.7、-5.6。平均长度 1828.7 对 47.9，熵 0.31 对 0.002。
• Appendix H：作者报告 TIPS 使 Thinking、Instruct 的 ProcessBench F1 提高 24.9 和 13.9 个百分点。同骨干 solver RLVR 的 AIME 2026 / HMMT Feb. 2026 / ProcessBench 为 55.8 / 33.3 / 62.8；TIPS-Instruct 的求解分数为 53.3 / 31.8，ProcessBench 为 77.7。Qwen3-30B-A3B-Thinking-2507 的 ProcessBench 为 80.3。
• Figure 4：作者称 TIPS 提高了 DeepSeek-R1 蒸馏模型、Llama 系、SmolLM、Qwen2.5-7B-Instruct 和 Qwen3-8B 的 ProcessBench F1。文本转换后柱上数字与模型对不齐，不逐条引用。
• 作者提出无过程标签的早停：ORM 准确率进入平台且回复长度下降时停止，并称实验中缓解了退化；论文未报告该启发式单独的对照数字。

作者指出的局限与后续方向

• 模态：只研究纯文本推理和智能体轨迹，没有评测必须依据图像、视频或其他非文本观察的过程验证（Appendix A）。
• 耦合：TIPS 依赖足够的 outcome–process coupling；最终任务成功只与局部步骤间接相关时，诱导出的过程信号更弱（Appendix A）。
• 骨干表达：方法依赖骨干用生成的 thought 表达验证行为。较弱骨干或 label-only 提示下，结果监督 RL 可能提高结果预测，但不一定给出忠实的步骤判断（Appendix A）。
• 标签性质：Appendix B 写，TIPS 的过程标签由结果奖励间接诱导，可能有偏、未校准或不可靠，不应在高风险场景当作真值。
• 后续训练：结论写，后续可以把 TIPS 与轻量蒙特卡洛先验或思维链蒸馏结合起来（Conclusion）。
• 后续评测：作者写，后续应在更广的智能体和多模态应用中研究鲁棒性、校准和误用风险（Appendix B）。

实验覆盖范围

• 数学评测包括 ProcessBench 的官方 F1，以及 Qwen2.5-7B-Instruct 采样的 Best-of-8，数据集为 GSM8K、MATH、College Math、Minerva、OlympiadBench；Appendix H 另报 AIME 2026 与 HMMT February 2026 的 mean@4。
• 智能体评测为 AgentProcessBench 的 FirstErrAcc，子集是 HotPotQA、GAIA、BFCL、τ2-Bench；训练语料 2,905 条，并用 5-gram Jaccard 高于 0.8 去污染（Appendix E、Table 2）。
• 骨干包括 Qwen、DeepSeek-R1 蒸馏、OctoThinker 和 SmolLM 的 instruct 与 thinking 变体；主数学结果使用 3,200 条结果标注轨迹（第 4.1 节、Appendix E）。
• 人工评估是 ProcessBench 上 60 条、每子集 15 条、两名博士标注者，对象为 TIPS-Qwen3-4B-Instruct-2507（Appendix G）。
• 论文写明训练 1 epoch、batch size 32、学习率 1×10−6、最长生成 16K、KL 系数 0；未报告 GRPO 组大小 G、裁剪阈值和主评测重复次数。Appendix F 给出数学提示词，未给出智能体域完整提示词。

TIPS 用只含结果对错的强化学习训练生成式奖励模型，让步骤级验证出现在思维链里。

• 问题：PRM 需要步骤级反馈，但人工逐步标注难扩展；蒙特卡洛标签开销大，而且“存在正确续写”不等于该步正确。
• 方法：对题目和候选轨迹，模型先生成思维链，再给每步 0/1 标签和整条轨迹的结果标签。奖励只在结果预测等于真值时为 1。GRPO 把组内相对优势加到思维链和全部标签的每个 token 上。测试时直接读取步骤标签。
• ProcessBench：TIPS-Qwen3-4B-Thinking-2507 用 3.2K 条结果标注轨迹，平均 F1 为 85.2；Instruct 版为 77.7。o1-mini 为 87.9，GPT-5.4-Instruct 为 79.4（Table 1）。Thinking 版 GSM8K 为 89.5，低于 GPT-5.4-Instruct 的 89.8。
• 下游与智能体：Best-of-8 中，策略模型为 Qwen2.5-7B-Instruct，TIPS-Thinking 平均准确率 73.3，Pass@8 为 78.1（Table 3）。AgentProcessBench 上 4B-Thinking 的平均 FirstErrAcc 从 43.7 到 49.1；8B-Thinking 在 HotPotQA 从 56.8 到 53.6（Table 2）。抽查 60 条中，Instruct 版 47/60 定位到首个错误（Appendix G）。
• 作者的结论：作者认为思维链和骨干原有的逐步验证先验承载了诱导信号；结果与步骤耦合弱，或模型只用捷径判断最终对错时，转移会变弱。作者写后续可以把 TIPS 与轻量蒙特卡洛先验或思维链蒸馏结合起来。