结果奖励 RL 买到了什么：按时完成、可靠性与罕见的 Reach
What Outcome RL Buys: Finishing, Reliability, Rarely Reach
论文速读
据论文全文整理（AI 生成），以原文为准
研究者比较了 20 个已发布的结果奖励 RL 模型（1.5B 至 32B，只奖励最终答案是否正确）与其起点思考模型在物理和数学固定 token 预算下的表现，将 pass@1 提升分解为按时完成（finishing）、可靠性（reliability）和 reach 三部分。
- Outcome RL 能提升 pass@1，但已有工作显示大 k 时 pass@k 反而落后于基座，且每个 pass@1 都在某个 token 预算下计分，单一数字混合了按时答完、答对和解决新问题三件事。作者要区分 RL 带来的收益是行为改变还是新知识，并检验能否通过供给知识让模型学会基座不会的内容。
- 把固定预算下的 pass@1 变化精确拆成 finishing（预算内答完）、reliability（答完后答对）和 reach（解决基座八次全错的问题，并扣除反向镜像）三项。读取 20 个已发布 RL 模型与其 thinking 基座在物理和数学题上的对比，并在 8B 模型上做小规模 RL 探针，用五种渠道供给物理 setup。
- 基座常撞预算时，变化主要是 finishing（4k 和 8k 下约 82%），给基座更多 token 后它能自行补上大部分差距；基座已能答完时收益主要是 reliability，且所用步骤基座样本中已写出。reach 在四个集合上最多约 2.1 个百分点，抽查 144 个仅 RL 解出的物理题只有 3.5% 站得住。小规模探针中供给 setup 在训练中改变模型，但未显示能迁移到留出问题。
- 已发布模型研究和小规模探针在规模、采样与评分上都有边界，且只覆盖 thinking 基座；探针每个处理组仅一个种子、一个模型家族、一个领域，未测长时训练和大规模蒸馏。reach 定义把基座从未答对但留有未完成样本的收益计为行为，物理题经过基座过滤，MATH-500 未对单方失败问题重采样，严格答案匹配对更大模型更严，部分 reliability 收益来自答案形式。
研究者比较了 20 个已发布的结果奖励 RL 模型（1.5B 至 32B，只奖励最终答案是否正确）与其起点思考模型在物理和数学固定 token 预算下的表现，将 pass@1 提升分解为按时完成（finishing）、可靠性（reliability）和 reach 三部分。结果显示，在 4k 和 8k 预算下，基座常在作答前耗尽预算时，82% 的变化来自 finishing；token 充足时收益主要是可靠性；而 reach，即解出基座解不出的题，至多贡献 2.1 个百分点，在检查的 144 道 RL 模型独解的物理题中仅 3.5% 经重采样和核查后成立。在 Qwen3-VL-8B-Thinking 上的小规模对照实验以五种方式提供题目物理设定，但未显示其迁移到 plain RL 之外的留出题。
推荐理由论文提供了按 token 预算分解 pass@1 提升的方法，结果奖励 RL 收益主要来自行为改变而非新知识的发现，可作为解读训练报告的参考。