DCRL：通过策略-奖励流形对齐解耦与耦合强化学习

规则奖励和静态奖励模型在大语言模型推理强化学习里，会与不断变化的策略失配。

• 场景：作者认为强化学习已是提升大语言模型推理的主要范式，效果取决于奖励系统能否就具体问题可靠评价回答。
• 规则奖励的不足：奖励来自手工规则、启发式或程序验证器。作者认为它抓不住复杂或开放任务的真实质量，模型会追求表面满足并出现 reward hacking。几何上，作者写成：基本不考虑推理流形里的评价子流形。
• 奖励模型的不足：它从偏好数据学习，作者认为比规则更灵活，但策略迭代会利用其中的误差，造成过度优化，与真实任务目标偏离。几何上，作者写成：评价子流形不随策略的推理流形一起变。
• 几何观察：作者把预训练诱导的流形写成逻辑演绎、评价、表征三个子流形的并。生成回答被解释为与评价子流形解耦，打分被解释为与逻辑演绎子流形解耦；两类系统的问题被解释为训练中的策略–奖励流形失配。
• 提出的框架：作者认为评分细则应随训练演化，奖励模型应与策略共同更新。据此提出 Decoupling and Coupling Reinforcement Learning（DCRL）：用三段式逻辑提示词细化奖励 rubric，并在训练中用更新后的策略参数替换奖励模型。作者称据其所知，这是首次从推理的几何性质讨论奖励建模。

论文第 2 节只分两类；引言另引了人类反馈强化学习、reward hacking 和流形文献。被点名的批评落在两类奖励系统上，不落在下面每一篇的作者自述上。

规则验证奖励

• DeepSeekMath（Shao et al., 2024a）：用符号答案匹配产生规则奖励，用来强化数学推理。
• Math-Shepherd（Wang et al., 2024a）：按中间步骤的规则验证给出可自动检查的步骤级监督。
• CodeRL（Le et al., 2022）与 RLEF（Gehring et al., 2024）：分别把单元测试是否通过、编译和执行反馈当作确定性规则奖励。这一节只描述做法。

学得的奖励模型

• Skywork-Reward-V2（Liu et al., 2025a）：用大规模人机协同偏好数据做奖励建模；论文写它由此建立开源奖励模型基线。
• ReasonFlux-PRM（Zou et al., 2025）与 CodePRM（Li et al., 2025）：前者给长思维链加轨迹感知的过程奖励；后者用执行反馈做代码的过程级评价。
• CompassVerifier（Liu et al., 2025b）与 DeepSeek-GRM（Liu et al., 2025c）：前者训练带客观正确性信号的专用验证器；后者用 Self-Principled Critique Tuning 训练通用生成式奖励模型，使评测时能自适应生成奖励。

引言中的背景引用

• 反馈优化范式：Stiennon et al. (2020)、Ouyang et al. (2022)、Bai et al. (2022)、Lightman et al. (2023) 被列为用规则或学得奖励优化策略的背景，论文未逐篇对比。
• hacking 与过优化：写规则脆弱和奖励模型被利用时，引用 Skalse et al. (2022)、Wen et al. (2024)、Gunjal et al. (2025)、Rafailov et al. (2023) 等。对象是两类系统。
• 流形与静态奖励：几何说法来自 Brahma et al. (2015)、Magai and Ayzenberg (2022)。写评价子流形不随策略更新时，引用 Yuan et al. (2024)、Wu and Lu (2025)、Xu et al. (2025)、Feng et al. (2026)。

基线与基准：零样本参照为 Qwen3-4B、Qwen3-32B、Qwen3-235B；奖励范式对照为规则奖励，以及不用 rubric 提示的静态 Qwen3-4B 奖励生成器；另有 ReasonFlux-7B、DeepSeek-GRM-16B、Skywork-Reward-V2。基准即 Table 1 的 GSM8K、OlyBench、AIME24、AIME25、CodeContest、L.C.Bench（LiveCodeBench）、CRUX、BBEH、MMLU-Pro、GPQA。主指标为 pass@5。

作者把区别放在：用三个耦合子流形解释奖励系统，先拆开优化评价与表征，再经强化学习耦合回去。作者称据其所知，这是首次这样讨论奖励建模。

DCRL 把评价、表征从耦合推理流形里拆出来单独优化，再在强化学习里与策略重新耦合。策略侧采用标准强化学习骨干，作者举 GRPO 为例；奖励侧用可演化 rubric，并在每个 epoch 末同步参数。

流形视角下的失配

• 三个子流形：逻辑演绎与策略分布耦合；评价编码判断函数；表征把回答和评价标准写成文本。Figure 1 把它们画成耦合曲面，并画出两种模式：生成回答、生成奖励。
• 两种解耦：作者把给定问题上的生成解释为与评价子流形解耦，把打分解释为与逻辑演绎子流形解耦。
• 作者给出的理由：奖励由评价与表征的耦合产生。细则或奖励模型若静止，评价–表征耦合会与策略变化中的逻辑演绎–表征耦合错位。因此作者主张直接用改进后的策略更新奖励模型，并演化奖励侧的表征。

三段式评分提示词

• 第 e 步的 rubric 写作 R_e = A ∪ T ∪ C_e，即公理、定理、推论三类提示词的并。
• 公理：k1 条，论文举例为数学、代码、常识都适用的评价原则，训练中固定。
• 定理：k2 条，域内不变；检测到推理领域转移时更新。
• 推论：第 0 步有 k3 条，之后按当前策略行为更新。论文未给出 k1、k2、k3，也未给出领域转移的检测规则。
• 奖励写作当前奖励模型在该 rubric 下对样本的函数值。附录 C 给出答案格式示例和给奖励模型的系统提示词；其中公理保持不变，定理只在领域变化时改，推论作为战术性启发式更新。这里不复述其中的评分约束。

策略更新与参数再耦合

1. 初始奖励模型与策略使用同一套参数。从当前策略采样轨迹。
2. 用当前 rubric 计算奖励。优势写成该奖励减去 be；论文未定义 be。策略更新写成新策略正比于旧策略乘以 exp(η 乘优势)。论文未给出 η。
3. 推论由奖励模型上的改写算子更新，输入含当前推论、平均优势和训练准确率，目标近似为 (1−λ_acc) 乘优势期望加 λ_acc 乘准确率项。领域转移时，定理按同一形式更新。论文未给出 λ_acc。
4. 每个 epoch 结束执行参数替换：奖励模型参数改为刚更新的策略参数。作者给出的理由是，奖励模型是整体推理流形的子流形，应与策略一起演化。

有界间隙

• 假设 3.1：推论提示词引起的奖励推理分布对提示词差是 Lipschitz 的，KL 不超过 L 倍提示词距离。
• 定理 3.2：单步推论变化的范数不超过常数 δ。附录 A 的论证是：一步至多改 m 个 token，每个嵌入范数不超过 M，因而 δ=2mM。论文未报告 m、M 的实测值。
• 定理 3.3：在上述条件下，策略与奖励推理分布的对称 KL 满足 G_t ≤ 2Lδ。论证要点是，同步后两者分布相同，之后只有有界的提示词更新能拉开差异。作者的解读是：间隙在训练中保持一致有界，奖励模型可以跟踪策略，从而避免流形漂移。

实验设置

• 策略与零样本参照：DCRL 的策略是 Qwen3-4B，表中记为 DCRL-4B。零样本参照为 Qwen3-4B、Qwen3-32B、Qwen3-235B；Table 2 将最后一者写作 Qwen3-235B-A22B。
• 奖励范式与其他基线：规则奖励；不用 rubric 提示的静态 Qwen3-4B 奖励生成器。另列 ReasonFlux-7B、DeepSeek-GRM-16B、Skywork-Reward-V2。论文未说明后三者是否在同一划分上重训，也未写规则奖励、静态奖励与 DCRL 是否共用 epoch 和采样设置。
• 规模：Table 1 共 10 个基准。分布内训练/测试：GSM8K 7,473/1,319，OlyBench 1,913/213，CodeContest 10,521/1,169，L.C.Bench 656/73，BBEH 2,499/279，MMLU-Pro 10,891/1,211。仅测试：AIME24 30，AIME25 30，CRUX 1,598，GPQA 198。论文写源基准按 9:1 划分；GSM8K 的表内规模与 9:1 不同，此处并列，以表为准。
• 协议：分布内分数来自各源基准自己的训练/测试划分。OOD 指定为：OlyBench 上训练的策略测 AIME24 与 AIME25，CodeContest 上的策略测 CRUX，BBEH 上的策略测 GPQA。Table 2 仍把这些格子都标成 DCRL-4B。论文未写六个源基准是分开训练还是合并训练。
• 判定与指标：数学为数值匹配，代码为单元测试执行，常识为最终答案精确匹配；全部报告 pass@5。流形对齐用 Linear CKA（作者称越高越对齐）和 Procrustes Distance（作者称越低越对齐）。论文未报告温度、重复次数或 LLM 裁判。
• 运行条件：附录 B.1 写 max_prompt_length=6000、max_response_length=6000、filter_overlong_prompts=True、truncation=error。硬件为 Intel Xeon Gold 6240 与 8 张 80GB A100，CUDA 12.8。

主结果

下表为 pass@5，数字据 Table 2。GPQA 的 DCRL 行对应 BBEH 上训练的策略；OlyBench、CodeContest 为源基准上的分布内结果。9 行里省略 ReasonFlux-7B，并保留多数列较低的 Qwen3-4B，以及 CodeContest 列最低的 Deepseek-GRM-16B。

Swipe horizontally to read the table

模型	GSM8K	OlyBench	CodeContest	L.C.Bench	GPQA
DCRL-4B	95.59	21.12	36.84	26.95	77.27
Qwen3-4B	92.58	10.73	17.28	11.74	48.22
Qwen3-32B	93.9	20.2	19.0	16.6	61.92
Qwen3-235B-A22B	96.74	54.08	35.79	42.58	67.01
Rule-based	94.81	13.88	26.18	22.14	60.75
Static Reward Model	94.54	14.27	32.64	24.37	64.75
Skywork-reward-v2	93.63	16.43	16.51	29.89	62.31
Deepseek-GRM-16B	92.80	20.19	13.11	23.42	66.70

• 作者称 DCRL-4B 在全部基准上高于 Qwen3-4B 与 Qwen3-32B，并接近 Qwen3-235B。未列入上表的列：AIME24 上 DCRL-4B 为 40.0、Qwen3-235B-A22B 为 44.18；AIME25 为 36.67 对 40.67；CRUX 为 79.12 对 78.94；BBEH 为 35.13 对 40.75；MMLU-Pro 为 71.20 对 71.35。其中只有 CRUX 高于 235B。加上上表里相对 235B 的高低并存，作者所说的“接近”不是每一列都成立。
• 作者称规则奖励和静态奖励模型没有处理流形失配。逐列核对 Table 2，这两行在 10 个基准上都低于 DCRL-4B。作者把改进联系到定理 3.3。论文没有统计检验，也没有单独的 reward hacking 指标。
• 省略的 ReasonFlux-7B 在 L.C.Bench 上为 27.44，高于表中 DCRL-4B 的对应格；Table 2 里它的其余九列低于 DCRL-4B。上表 L.C.Bench 列中，Skywork-reward-v2 也高于 DCRL-4B。

策略–奖励流形对齐

• 测了什么：Figure 2 在 OlyBench、CodeContest、BBEH 上比较 non-coevolve（静态奖励）与 coevolve（DCRL）。附录 B.2 用两侧输出文本做 TF-IDF 加截断 SVD，稀疏时回退 hashed bag-of-tokens，再算逐步 Linear CKA 和正交 Procrustes 距离。这是输出投影，不是直接观测潜在流形。
• 结果：正文没有给出曲线读数，也没有报告逐步均值、ΔCKA 或 ΔProc。作者称 coevolve 在三个基准上 Linear CKA 总体更高、Procrustes Distance 更低。
• 作者解读：奖励模型更能跟上策略的推理流形，与定理 3.3 的有界散度一致。

训练过程消融

• 测了什么：Figure 3 在同样三个基准上比较完整 DCRL、把三段式演化换成静态奖励模型的 DCRL-SRM、改用规则奖励的 DCRL-RB。纵轴是验证表现，正文没有给出读数。
• 结果：作者称完整 DCRL 在三个数据集上都高于两个变体。作者称图 3(a)、图 3(b) 中 DCRL 保持上升，两个变体的增益后来变平。正文没有单独描述图 3(c) 的曲线形态。
• 作者解读：解耦再耦合减轻了第 1、3 节所说的失配，并带来更可持续的优化。论文没有把变体变平解释成某个模型更弱。

其他消融与分析

• 论文未报告改变 k1、k2、k3、λ_acc、η、epoch 数或同步频率后的数值。
• 定理中的 L、δ、m、M 和间隙 Gt 都没有实测数。
• 附录 B 是预处理与对齐指标定义；虽说部分结果放在附录，所附文本没有另给结果表。

作者指出的局限与后续方向

• 智能体强化学习：附录 D 写，当前表述主要面向大语言模型的强化学习；扩展到智能体环境并不直接，因为还不清楚怎样适应其中动态、多步的决策。
• 计算与更新稳定性：附录 D 写，三段式提示词演化带来额外计算，表现可能对提示词设计和更新稳定性敏感，从而影响训练过程的稳健和效率。
• 结论把显式维持策略与奖励流形的结构对齐称为一个方向，没有列出具体后续实验。论文没有单独的 Future Work 节。

实验覆盖范围

• 实验章节报告的是大语言模型推理基准上的强化学习：Table 1 的 10 个基准，分数学、代码、常识；被训练的策略是 Qwen3-4B。附录 D 讨论了 agentic RL，实验章节没有给出对应结果。
• 主指标是 pass@5。判定为数值匹配、单元测试执行或最终答案精确匹配。论文未报告 LLM 裁判、人工一致性，也未报告 reward hacking 的直接指标。
• OOD 只写了三组映射：OlyBench 到 AIME24 与 AIME25，CodeContest 到 CRUX，BBEH 到 GPQA。
• 流形对齐和消融各使用 OlyBench、CodeContest、BBEH。Figure 2 与 Figure 3 的正文没有坐标读数；附录 B.2 定义了均值和差值，正文未报告这些汇总值。
• 论文未报告 epoch 数、be、η、λ_acc、k1/k2/k3、重复次数，以及 ReasonFlux-7B、DeepSeek-GRM-16B、Skywork-Reward-V2 是否在同一划分上重训。初始奖励模型按算法与策略同权重。

DCRL 是面向大语言模型推理后训练的强化学习框架，用来处理规则奖励和静态奖励模型跟不上策略的问题。

• 问题：作者把推理写成逻辑演绎、评价、表征三个子流形。生成与打分被看成两种解耦；细则或奖励模型若静止，作者认为会出现优化不稳和 reward hacking。
• 做法：评分提示词分成固定公理、领域转移时更新的定理、按优势和准确率改写的推论。策略按优势做指数型比例更新；每个 epoch 结束用策略参数替换奖励模型。作者举 GRPO 作为骨干例子，未写死实现细节。
• 界：定理 3.3 写策略与奖励推理分布的对称 KL 不超过 2Lδ。论证依赖提示词平滑，以及单步只改有限个、嵌入范数有界的 token。
• 主结果：Table 2 的 pass@5 中，DCRL-4B 在 10 个基准上都高于 Qwen3-4B、Qwen3-32B、规则奖励和静态奖励模型。相对 Qwen3-235B-A22B，CodeContest 为 36.84 对 35.79，CRUX 为 79.12 对 78.94，GPQA 为 77.27 对 67.01；OlyBench 为 21.12 对 54.08，L.C.Bench 为 26.95 对 42.58。CRUX 与 GPQA 分别来自 CodeContest、BBEH 上训练的策略。
• 例外与图：AIME24、AIME25 为 40.0、36.67，低于 235B 的 44.18、40.67；这两格来自 OlyBench 上训练的策略。L.C.Bench 上 Skywork-reward-v2 为 29.89、ReasonFlux-7B 为 27.44，高于 DCRL-4B。Figure 2 与 Figure 3 没有读数；作者称共演化更对齐，且 OlyBench、CodeContest 上完整 DCRL 的验证曲线持续上升，两个变体后来变平。
• 作者结论：作者称这样训练的 Qwen3-4B 超过 32B 并接近 235B，并认为维持流形对齐是后训练的一个方向。附录 D 同时写，智能体多步决策还不好直接套用；提示词演化有额外计算，且可能受提示词设计与更新稳定性影响。