ORPG：通过目标级策略梯度协调多奖励目标

多奖励策略优化需要一次联合更新，既反映各目标的学习信号，也尊重目标之间的既定关系。

• 场景：语言模型的一次回复常要同时满足多项要求。作者举出 helpfulness 与 safety 共同塑造助手行为，数学推理则要在可接受的生成成本下给出正确答案。强化学习用各自的奖励训练同一策略，因此要决定每个目标如何进入共享更新。
• 关系因任务而异：作者称 helpfulness 与 safety 可以地位对等，而降低生成成本应服从正确性。现有多奖励优化器在不同阶段合并目标：有的在组相对优势估计前合并奖励，有的保留奖励专属统计，梯度方法则把共享更新方向当作显式设计。
• 作者指出的缺口：分开的梯度还要决定如何合成一次更新。方向决定贡献是相互加强还是相互抵消，相对范数决定直接相加时的幅度。作者称仅做冲突投影会让相容梯度对保持不变（Yu et al., 2020），即使其中一条梯度主导该和。这促使作者在按任务优先级处理冲突的同时，也协调相容贡献。
• 本文提出：Objective-wise Reconciled Policy Gradient（ORPG）。每个奖励保留各自的裁剪策略目标，在同一可训练参数上计算梯度；相容梯度按余弦相似度做贡献协调，冲突梯度按任务优先级投影。作者在 helpfulness–safety 对齐和数学推理的 correctness–cost 上使用同一相容规则，二者的冲突优先级不同。

论文把相关工作分成梯度协调、多奖励策略优化和长度感知推理。

多目标梯度协调

• GradNorm（Chen et al., 2018）：用梯度幅度和相对训练速度调整任务权重。
• MGDA、梯度相似度、PCGrad：Sener & Koltun（2018）用目标梯度的组合寻找共同下降方向；Du et al.（2018）用梯度相似度约束辅助更新相对主目标的关系；PCGrad（Yu et al., 2020）投影冲突梯度。
• GradVac、CAGrad、Aligned-MTL：GradVac（Wang et al., 2021）把梯度关系调向目标余弦相似度；CAGrad（Liu et al., 2021）在平均梯度附近控制最差的局部目标改进；Aligned-MTL（Senushkin et al., 2023）用基于对齐的变换构造更新。作者称这些方法控制的量不同：任务权重、局部方向改进、成对关系，或梯度系统的条件数。

强化学习与多奖励策略优化

• PPO 与 GRPO：PPO（Schulman et al., 2017）用裁剪策略目标稳定更新；GRPO（Shao et al., 2024）从一组采样回复估计优势，不需要可学习的价值函数。
• 梯度与权重方法：GAPO（Li et al., 2025）重缩放目标梯度并求解最小范数组合；PAMA（He & Maghsudi, 2025）把修改后的策略目标与多目标权重计算结合；动态奖励加权（Lu et al., 2025）在训练中调整目标权重。
• 奖励与优势方法：MO-GRPO 与 GDPO（Ichihara et al., 2025; Liu et al., 2026b）在聚合优势前分别归一化奖励；分块优势估计（Pavlenko et al., 2026）把目标专属信号分到对应回复块；GD2PO（Liu et al., 2026a）过滤冲突的奖励级优势并重加权提示词组。作者称奖励和优势方法在策略求导前塑造学习信号，梯度方法则作用在该信号诱导的参数更新上。

长度感知推理与基线

• 长度方法：用长度目标、惩罚或回复选择表达生成成本（Aggarwal & Welleck, 2025; Liu et al., 2025a;b; Luo et al., 2025a; Shrivastava et al., 2025; Yi et al., 2025）。作者称该设定给出主–次关系：正确性决定答案质量，长度控制获得答案的成本。
• 基线方法：初始模型、GRPO、GDPO，以及 GD2PO 的 hard 变体。helpfulness–safety 的评测集为 Alpaca、HH-RLHF、PKU-SafeRLHF；数学评测为 AIME-24、AMC-22-23、MATH、Minerva-Math、OlympiadBench。训练分别用 Alpaca 与 DeepScaleR preview prompts。Table 4 还在目标级策略结构下比较 CAGrad 与 Aligned-MTL。

作者把 ORPG 定位为：保留每个奖励各自的裁剪策略目标，并把得到的完整策略梯度调和成一次联合更新；组合阶段决定优化器能显式处理哪些交互。

ORPG 为每个奖励保留独立的裁剪策略目标，在全部可训练参数上求梯度，再按梯度夹角做相容协调或按任务优先级做冲突投影，最后减去共享正则项。框架支持多个奖励；作者实现并评测的规则针对两个目标。

问题设定与分离目标

• 采样与优势：策略 π_θ 对提示词 x 由固定的 rollout 策略 π_old 采样一组 G 条回复。奖励 i 给每条回复一个优势 A_i，并广播到有效回复 token。GRPO 用组内奖励统计构造优势；具体构造见 Section 4 与 Appendix B.1。
• 裁剪目标：token 级重要性比 ρ 按式 (1) 定义。裁剪被积函数为 φ_clip(ρ, A) = min{ρA, clip(ρ, 1−ε^−, 1+ε^+)A}。每个奖励的目标 J_i 是对 φ_base 的期望归约。φ_base 含负优势保护：A<0 时取 max{φ_clip, κA}，否则取 φ_clip。两个场景都用 κ=3、ε^−=0.2、ε^+=0.28。
• 归约与总梯度：helpfulness–safety 对有效 token 取均值；数学任务先对回复内 token 取均值，再对回复取均值。记 g_i = ∇_θ J_i。调和算子 R 合并梯度后减去正则：g_total = R(g_1,…,g_m) − β∇_θ K(θ)。优化器把 −g_total 当作损失梯度。

相容贡献

• 部分归一化参考：对两个非零梯度，n_i 为 L2 范数，u_i 为单位方向，c 为余弦，s 为梯度和，S 为其范数。c≥0 时视为局部相容。参考 v_q = n_1^q u_1 + n_2^q u_2，再缩放到范数 S 得到 b_q，q∈[0,1]。q=1 恢复原和的方向，q=0 在单位方向上幅度相等；q=1/2 时幅度比是原范数比的平方根，落在对数坐标的等幅度与原比例之间。
• 插值与保范：λ∈[0,1] 控制最大混合强度，α=λc。先算 z=(1−α)s + α b_q，再令 R_+(g_1,g_2)=S z/‖z‖_2。余弦接近 0 时调整接近 0；最后的归一化保留原梯度和的幅度、改变方向。默认 q=0.5、λ=0.25，并保留和的范数。
• 球面方向折中：Proposition 1 称，在 ‖g‖_2=S 的球面上，式 (7) 是最小化 (1−α)‖g−s‖²_2 + α‖g−b_q‖²_2 的唯一解。λ=0、c=0、q=1、两梯度范数相等或方向相同时，输出等于 s。范数不等时，混合后的系数比落在原比例与其 q 次参考之间。

冲突消解与优先级

• 对等目标：内积 d=g_1^⊤ g_2<0 且目标对等时，使用两目标 PCGrad：每条梯度减去它在另一条梯度上的对立分量，再相加，如式 (9)。helpfulness–safety 使用对称冲突规则。
• 主次目标：保留主梯度 g_p，把次要梯度投影到与 g_p 内积非负的最近方向。冲突时的闭式为去掉次要梯度在主方向上的对立分量，再与 g_p 相加，如式 (11)。上升记号下，冲突对满足 g_p^⊤ R_− = ‖g_p‖²_2。该一阶性质针对正则化与优化器更新之前的调和方向。数学任务以 correctness 为冲突优先级。
• 退化情形：任一条梯度为零时，另一目标原样通过。两条对称投影都使用原始梯度对。

更新流程与训练细节

• 局部替代：每个 minibatch 上由当前梯度算出系数 ω_i，使调和梯度等于二者的加权和。系数在当次求导中 stop-gradient，局部替代是加权的各目标加上 −βK。系数每个 minibatch 重算，只在该次求导中固定。Appendix B.2 给出闭式。
• Algorithm 1：固定 π_old 并采样回复组，计算奖励并构造 A_1、A_2；每个 minibatch 分别形成裁剪目标 J_1、J_2，求梯度与三个全局 Gram 标量 n_1²、n_2²、d，再按相容、对称冲突或主次冲突分支更新。共享正则单独求导并只加一次；关闭时其梯度为零。随后对总损失梯度做范数裁剪并用 AdamW 更新。策略裁剪、梯度调和与最终梯度范数裁剪分属不同阶段。
• 优势构造：helpfulness–safety 的分数用留出校准子集的固定统计校准，组内中心化后共用一个尺度；奖励权重 1/1，正则关闭。数学任务的正确性用组相对优势并除以样本标准差加 10^−6；长度优势只在正确子集内中心化，其余为零。长度奖励是长度至多 τ=4000 的指示。若全组错误，次要目标不激活。数学任务使用相对冻结初始策略的 MSE log-ratio 正则，β=0.0005。两处熵系数均为 0。
• 实现范围：Appendix A.4 给出多目标相容参考的直接推广，并称完整的多目标规则还需要由联合几何确定 α，以及处理混合关系与任务优先级的冲突算子。本文实现并评测的规则只规定了两个目标时的这些选择。

实验设置

• 策略与框架：两个设定都从 Qwen3-4B-Instruct-2507 出发，使用 verl，训练全部策略参数，关闭 LoRA，精度 bfloat16、分片 FSDP。评测使用 100 step 的策略。默认数学运行在 8 块 H200 上累计 21.91 个训练步小时。除非另述，均值和样本标准差来自三次独立训练和三次 base 评测。
• Helpfulness–safety：奖励与代价模型为 Artessay 的 Qwen2.5-7B-SafeRLHF reward 与 cost 模型。训练用 Alpaca，校准与评测子集不相交；评测覆盖 Alpaca、HH-RLHF、PKU-SafeRLHF。冲突消解对称。每轮评测对每个完整集合的每条提示词生成一条回复，报告平均 Useful 与 Harmless，越高越好。
• 数学：训练用 DeepScaleR preview prompts；评测覆盖 AIME-24、AMC-22-23、MATH、Minerva-Math、OlympiadBench。奖励为二值正确性和长度至多 τ=4000 的指示。ORPG 与全部外部训练基线使用相同奖励定义和长度阈值。正确性拥有冲突优先级。准确率由每题四条回复估计 pass@1。
• 预算与 HV：Table 2 是 8192-token 预算下的准确率与平均回复长度。Table 3 的 hypervolume 汇总 2048、4096、8192 三个预算；较短预算的回复是同一次生成的精确前缀。每个数据集的 HV 是从 (0,0) 到 (准确率, 1−ℓ/8192) 的矩形并面积，效率裁剪到 [0,1]。Avg 先算各数据集指标再等权。
• 基线：初始模型、GRPO、GDPO、GD2PO 的 hard 变体。GRPO 在构造组相对更新前合并奖励；GDPO 先分别归一化奖励级优势再聚合；GD2PO 过滤冲突的奖励级优势并重加权提示词组。
• 优化超参：两处都训练 100 step、PPO epoch 为 1、AdamW、常数学习率且无 warmup。helpfulness–safety 的 batch/minibatch/组大小为 512/128/4，学习率 2×10^−6，提示词/回复上限 512/1024，温度 0.7。数学为 512/64/8，学习率 10^−6，上限 1024/8000，温度 1.0。梯度范数裁剪均为 1.0。数据集规模在 Appendix B.1 与 C.1，正文未给出条数。

主结果

据 Table 1，等权平均 Useful / Harmless（三次运行的均值）：

Method	Avg Useful	Avg Harmless
Base	3.345±0.009	4.441±0.010
GRPO	5.107±0.028	6.411±0.038
GDPO	5.174±0.005	6.435±0.047
GD2PO	5.168±0.005	6.458±0.013
ORPG	5.589±0.0004	6.904±0.001

• 作者称 ORPG 在三个评测集上 Useful 与 Harmless 都最高。平均 Useful 5.589 比 GDPO 高 0.415，平均 Harmless 6.904 比 GD2PO 高 0.446。各数据集内两项分数都提高，覆盖一般指令和两个安全向评测集。
• 数学准确率与长度：Table 2 中 ORPG 在 8192-token 预算下的等权平均准确率为 66.7%±0.3，平均长度 2554±22 token。相对 Base 的 65.5%±0.7 与 3165±12，作者称准确率提高 1.14 个百分点，每条回复少 611 个 token（19.3%）。外部基线的平均准确率从 59.35% 到 60.69%，短于 ORPG，但相对 Base 准确率下降。相对 Base，四个数据集准确率提高，AMC-22-23 的均值准确率相同（均为 82.4%）。作者称 ORPG 在每个数据集上的准确率都超过三个外部训练基线。
• 三预算 HV：Table 3 中 ORPG 平均 HV 为 0.523±0.002，Base 为 0.493±0.004，GD2PO 为 0.513±0.005。作者称 ORPG 取得比较方法中最高的平均全预算准确率和三预算 hypervolume，正确性与准确率–成本联合表现都得到改进。

调和组件

• 测了什么：Table 4 的各行都保留分离的策略目标。去掉两个组件等于直接梯度和（Sum）；去掉相容协调等于冲突投影加相容梯度直接相加（PCGrad）；去掉冲突消解则保留相容协调、对立梯度直接相加。CAGrad 与 Aligned-MTL 替换调和算子。分数是与 Table 1 相同的三数据集平均。
• 结果：ORPG 为 5.589±0.0004 / 6.904±0.001。去掉相容协调为 5.212±0.062 / 6.710±0.032，Useful 降 0.378、Harmless 降 0.193。去掉冲突消解为 5.563±0.0006 / 6.859±0.001。两者都去掉为 5.193±0.073 / 6.695±0.085。CAGrad 为 5.183±0.002 / 6.626±0.002，Aligned-MTL 为 5.065±0.002 / 6.501±0.005。
• 作者的解读：相容协调是较大的组件增益；去掉它的结果接近去掉两个组件，而只保留相容协调的变体接近完整方法。冲突消解进一步提高两项分数。数学上，完整规则在四个组件版本中 8192 预算准确率最高，比去掉冲突消解高 1.20 个百分点；逐数据集的准确率–成本比较在 Appendix D.2。五个配置在两项 HS 分数、全预算数学准确率和 HV 上都超过外部训练基线。默认配置在 HS 分数和全预算准确率上领先；q=0.75 的数学 HV 更高。

训练动态

• 外部基线：Figures 2(a–b) 的曲线是校准后的训练奖励，并做了末尾五步平均，与 Table 1 的原始评测分数尺度不同。作者称 ORPG 在两项奖励上形成优势并延续到中后期，约在 step 60–80 分离更明显。最后 20 步 ORPG 平均 Useful 1.522、Harmless 2.005；GDPO 为 1.157 与 1.458，GD2PO 为 1.158 与 1.462。Table 14 给出更细的 1.5217 / 2.0051、1.1568 / 1.4582、1.1577 / 1.4620。
• 组件轨迹：Figures 3(a–b) 中保留相容协调的两个版本在中后期奖励更高。最后 20 步，去掉冲突消解为 Useful 1.492、Harmless 1.999（Table 14 为 1.4924 / 1.9990），高于去掉相容协调（1.1738 / 1.7676）和去掉两个组件（1.1532 / 1.7368）。
• 梯度关系：Figure 4(a) 显示四个版本在大部分训练中逐步平均梯度余弦为正。作者称相容协调带来的奖励增益主要出现在冲突投影不改变梯度和的区间。去掉相容协调和去掉两个组件的冲突记录为零；ORPG 与去掉冲突消解的版本在训练后期遇到冲突，ORPG 的平均投影率为 6.5%。Figure 4(b) 最后 20 步的 Useful RMS：ORPG 0.887，去掉冲突消解 0.860，去掉相容协调 0.528，去掉两个组件 0.521（Table 14 为 0.8868、0.8600、0.5278、0.5207）。四个版本使用相同的组中心化与共享尺度。作者称更强的 Useful 信号与更高的 Useful 奖励一同出现。

其他消融与分析

• q 与 λ：Appendix D.3 扫描 q 与 λ。作者称默认配置在 HS 分数和全预算准确率上领先，q=0.75 取得更高的数学 HV；正文未逐项列出扫描表中的全部数值。
• 数学组件：完整规则的 8192 预算准确率比去掉冲突消解高 1.20 个百分点（Section 4.3）；Appendix D.2 报告准确率–成本比较，正文未给出该附录的逐数据集数字。
• 投影率：ORPG 平均投影率 6.5%（Section 4.4）；Appendix E.1 给出冲突与投影轨迹及阶段汇总。
• 训练开销：默认数学运行 100 个优化步累计 21.91 小时（175.31 GPU-hours），均值 788.9 秒/步；该计时不含排队、进程间隔、步计时器外的初始化、丢弃进度以及单独的验证和评测。Rollout 平均 211.1 秒/步，actor 更新 474.4 秒/步；组件计时可能嵌套，不是总时间的可加划分。
• 例外：Table 2 中 ORPG 在 AMC-22-23 的均值准确率与 Base 同为 82.4%，并未高于 Base。三个外部基线在全部五个数学数据集上的准确率都低于 Base，同时回复更短。

作者指出的局限与后续方向

• 多目标尚未形成完整规则：Appendix A.4 称，式 (3) 的目标级构造允许多个奖励，相容参考也有直接推广；但完整的多目标规则还需要由联合几何选择 α，以及处理混合关系与任务优先级的冲突算子。本文实现并评测的规则只规定两个目标时的这些选择。
• 后续方向：Conclusion 称，ORPG 为通过目标级梯度调和做多目标策略优化打开一个研究方向。作者未在 Limitations 小节逐条列出其他不足；正文没有单独的 Limitations 节。

实验覆盖范围

• 被测策略：两个任务都从 Qwen3-4B-Instruct-2507 训练，评测 100 step 策略；helpfulness 与 harmlessness 由 Artessay Qwen2.5-7B-SafeRLHF 的 reward 与 cost 模型打分（Section 4.1、Table 5）。
• 外部比较：GRPO、GDPO、GD2PO hard 变体与初始策略；目标级规则还比较去掉相容协调、去掉冲突消解、两者都去掉、CAGrad、Aligned-MTL（Section 4.1–4.3，Tables 1–4）。
• 任务与指标：helpfulness–safety 评测 Alpaca、HH-RLHF、PKU-SafeRLHF 的 Useful 与 Harmless；数学评测 AIME-24、AMC-22-23、MATH、Minerva-Math、OlympiadBench 的 pass@1、平均长度和三预算 HV。重复次数为三次独立训练加三次 base 评测（Section 4.1）。
• 优先级设定：helpfulness–safety 使用对称冲突规则；数学以 correctness 为冲突优先级，长度阈值 τ=4000，默认 q=0.5、λ=0.25（Table 5）。q、λ 扫描在 Appendix D.3，作者称 q=0.75 的数学 HV 更高。
• 训练动态：Figures 2–4 与 Appendix E 报告校准训练奖励、梯度余弦、投影率和 Useful advantage RMS；论文未报告 helpness–safety 与数学评测的人工一致性。数据集条数写在 Appendix B.1 与 C.1，正文摘录未给出具体条数。

ORPG 是一种多奖励策略梯度调和方法：每个奖励保持独立裁剪目标，相容时协调贡献幅度，冲突时按任务优先级投影。

• 问题：同一回复要同时满足多项要求。helpfulness 与 safety 地位对等，生成成本应服从正确性。只做冲突投影不会改变相容梯度对，即使一条梯度主导其和。
• 方法：c≥0 时，用部分归一化参考按 α=λc 与原梯度和插值，再归一化到原和的范数；作者把该更新刻画为固定半径球面上方向折中的唯一解。c<0 时，对等目标用对称 PCGrad，主次目标只投影次要梯度并保留主梯度。系数每个 minibatch 重算，正则单独加入。默认 q=0.5、λ=0.25。实现规则针对两个目标。
• 对齐结果：从 Qwen3-4B-Instruct-2507 训练。Table 1 中 ORPG 的三数据集平均 Useful 为 5.589、Harmless 为 6.904，分别比该轴最强外部基线 GDPO、GD2PO 高 0.415 和 0.446，且三个评测集上两项都最高。
• 数学结果：8192-token 预算下等权平均准确率 66.7%，比 Base 高 1.14 个百分点，平均长度少 611 token；AMC-22-23 的均值准确率与 Base 同为 82.4%。三预算平均 HV 为 0.523，高于 Base 的 0.493 和 GD2PO 的 0.513。外部基线更短，但平均准确率降到 59.35%–60.69%。
• 组件与结论：Table 4 中去掉相容协调使 Useful 降 0.378、Harmless 降 0.193，大于去掉冲突消解的降幅。训练后期平均投影率 6.5%，作者称主要增益出现在梯度大多相容的区间。作者的结论是：这些结果支持按局部梯度关系和任务级优先级来协调目标，包括地位对等的目标和带显式优先级的目标。