CorrGRPO：面向多奖励学习的相关性归一化 GRPO

多奖励 GRPO 用总奖励的组内标准差做优势归一化时，大尺度奖励会主导分母，压低小尺度奖励对优势幅度的影响。

• 场景与重要性：作者认为强化学习已被用于对齐语言模型并提升推理能力；GRPO（Shao et al., 2024）在同一提示词的一组 rollout 内对奖励做中心化并除以标准差，从而不需要单独的价值模型。实际目标常需要多项奖励：代码生成里可执行性、测试通过率与 AST 相似度可以互相加强；智能体训练则要在任务效用与安全之间权衡，过保守会拒答合法请求，过宽松会增加提示注入暴露（Debenedetti et al., 2024）。
• 现有机制的不足：把 r 个奖励加总后，GRPO 分母对应的方差等于全部成对样本协方差之和。固定边缘方差和中心化总奖励时，正相关越强优势幅度越小，负相关越强幅度越大。但协方差等于尺度与 Pearson 相关的乘积，大尺度分量会同时主导对角项和非对角项，使小尺度奖励即使能区分回答，也对归一化几乎没有影响。
• 核心观察：Figure 2 用 4 条轨迹、3 个奖励举例：r1 与 r2 的样本相关约 0.9756，r3 与二者相关约 0.1098，但 r3 的方差 14.1696 约占协方差和 S=15.5520 的 91.1%，其与其他奖励的协方差也大于 r1、r2 之间的协方差。
• 提出的方法：作者提出 CorrGRPO（Correlation-Normalized GRPO），分子仍用中心化总奖励，分母把成对协方差换成 Pearson 相关系数，使优势幅度随相关变化，同时不被大尺度分量单独主导，并保留训练目标规定的相对奖励权重。

作者在第 5 节把多奖励强化学习按信号如何聚合来组织，并在引言中把 GRPO 放在已有对齐与推理训练方法之中。

• 标量化多目标方法：MORLAIF（Williams, 2024）为各目标分别训练偏好模型，经标量化函数汇总分数后再做 PPO。Safe RLHF（Dai et al., 2023）在安全约束下最大化有用性，并用动态更新的 Lagrange 乘子适应目标权衡。动态奖励加权（Lu et al., 2025）通过超体积引导或基于梯度的优化调整标量化权重。
• 组相对多奖励估计：MO-GRPO（Ichihara et al., 2025）按奖励方差自动重加权，以平衡各奖励贡献。GDPO（Liu et al., 2026）在 rollout 组内对每个奖励独立归一化、汇总优势，再做 batch 级归一化以稳定整体幅度。RDPO（Bai et al., 2026）在聚合前结合幅度感知的分位数归一化与 Mahalanobis 白化，以减少相关奖励维度之间的冗余变化。
• 本文使用的基线与基准：代码实验比较基座模型、GRPO 与 GDPO，训练于 LeetCodeDataset，并在 HumanEval、MBPP、LiveCodeBench v6 上做无再训练评测。工具调用比较基座与 GRPO，训练于 RLLA-4K，外推到 API-Bank。智能体实验比较基座与 GRPO，在 AgentDojo 训练，并在 Agent Security Bench 与 InjecAgent 上评测。
• 定位：作者称 CorrGRPO 保留中心化总奖励及其规定的相对权重，只把基于协方差的归一化分母换成 Pearson 相关的聚合；附录 A 还称该优势可直接替换进 DAPO、CISPO，或只替换 GDPO 最后的 batch 标准差分母。

CorrGRPO 在每个提示词的 rollout 组内估计优势：分子保持加权后的中心化总奖励，分母用样本 Pearson 相关矩阵全部元素之和的平方根加稳定项，从而去掉协方差里的尺度乘积。

问题设定与形式化

• 组内优势：对提示词 q，从旧策略采样 n 条轨迹。r 个奖励分量的固定权重被吸收进各分量。结果监督下，轨迹 i 的全部 token 共享同一优势。GRPO 为 A_i^GRPO=(R_i−R̄)/√(Var̂(R)+ε)。
• 协方差分解：方差可加性给出分母等于全部成对样本协方差之和再开方。记中心化总奖励为 ΔR_i、协方差和为 S，则组内共享缩放系数为 g=(√(S+ε))^{-1}。正相关增大 S、减小优势幅度；负相关部分抵消变异、增大幅度。统计量随新采样轨迹重算，因而随提示词和训练进程变化。
• 尺度纠缠：S 可写成各分量方差加上两两标准差与相关的乘积。大尺度奖励同时主导方差项和分母对相关变化的敏感度。

相关归一化

• CorrGRPO 优势：式 (2) 把分母中的协方差换成 ρ̂_lm，其中 ρ̂_lm 为组内样本 Pearson 相关。每个非零方差奖励在相关矩阵对角上贡献 1，非对角项只反映依赖的强度和方向。Figure 2 中，r1 与 r2 的相关项 0.9756 约为 r3 每个弱相关项 0.1098 的 8.89 倍。
• 零方差处理：零方差分量对应的行和列（含对角）置零。附录 L.5 推导所得矩阵仍半正定，ε>0 时分母严格为正。实现上用除数 n−1 的样本协方差，并把相关和截断到不小于 0；代码里 ε=10^{-6} 放在截断之后，与正文公式中 ε 在平方根内的写法不同（附录 B）。
• 与 GRPO 的梯度关系：附录 A 与式 (6) 给出 A_i^{CorrGRPO}=c_q A_i^{GRPO}，c_q 由同一组的奖励统计决定、组内共享且在代理优化时固定。作者由此称，在相同策略参数处，CorrGRPO 保持每组非零奖励驱动梯度的方向，只按奖励依赖调整幅度；裁剪阈值不变。c_q 可随组变化，因此各组对 batch 梯度的相对贡献可以改变，KL 项系数保持原样。

三项任务的奖励

• 代码：式 (3) 将格式、语法、编译、运行成功、全部测试通过、AST 相似和效率按 0.05、0.05、0.05、0.25、0.60、0.30、0.20 相加。前四项执行奖励呈依赖链，R_pass 仅在全部测试通过时为 1。效率奖励只在全部通过时生效，并按相对参考实现运行时间裁剪到 [0,1]；参考时间是四次独立运行的均值。
• 工具调用：式 (4) 为函数名、参数名、参数值和格式四项。匹配分 S 映射为 R_fn=0.5(2S_fn−1)、R_pn=2S_pn−1、R_pv=1.5(2S_pv−1)，格式奖励为 0 或 1。参数匹配要求函数匹配，值正确要求参数名匹配。
• 智能体：式 (5) 对效用与安全等权相加。受攻击轨迹中，完成用户任务则 R_util=1，未达成攻击者目标则 R_sec=1，均由环境检查器判定。二者可以竞争：避免工具交互可能挡住攻击，也会使任务无法完成。

与其他优化器的衔接

• 替换方式：对 DAPO 与 CISPO，作者称可直接用 CorrGRPO 优势替换原组相对优势，并保留各自的策略目标与裁剪。对 GDPO，保留其逐奖励组归一化与聚合，只把最终 batch 标准差分母换成由逐奖励优势分量算出的相关范数。目标推导在附录 F.2。附录 F.1 报告了与 CISPO 的集成实验。

实验设置

• 代码模型与数据：Qwen2.5-Coder-Instruct 的 0.5B、1.5B、3B、7B。训练用 LeetCodeDataset 的 2,641 题，评测用其 228 题测试划分；无再训练评测 HumanEval、MBPP 和 LiveCodeBench v6（附录 M 写明 v6 为 175 题）。基线为基座、GRPO 与 GDPO。
• 代码指标：Executable 为无运行时错误的比例；Pass@1 为通过全部测试的比例；Efficiency 为合格程序中严格快于参考实现的百分比，合格指双方都通过全部测试且运行时间为正有限值。双方在同一 CPU 核上交替顺序重跑八轮，报告八轮百分比的均值。Avg. 为四个数据集 Pass@1 的算术平均。
• 工具调用：Qwen2.5-7B-Instruct、Qwen3-4B-Thinking-2507、Qwen3-8B；基座与 GRPO。RLLA-4K 划分含 3,920 条训练、80 条测试；组件指标在参考回答含工具调用的 71 条上计算。API-Bank 的 v1、v2、v3 用执行检查器评估最终调用正确性。
• 智能体：Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Qwen3-8B；基座与 GRPO。AgentDojo 按用户任务分组，1,584 条训练、411 条测试（21 条干净、390 条受攻击），攻击设置为 important_instructions 与 tool_knowledge。ASB 每模型 400 对干净/受攻击案例，观测提示注入；InjecAgent 用 base setting。
• 智能体指标：Clean Utility、Utility Under Attack、ASR，以及 Joint Accuracy。对 N 对案例，Joint Accuracy 为 (1−A_i) 乘以干净效用与受攻击效用的平均，再对案例取平均。InjecAgent 各项均为 ASR。
• 训练动态：Figure 4 报告验证集 mean@1，指数滑动平均平滑，decay=0.6。具体超参数在附录 I；论文正文未给出 rollout 数、学习率或重复次数。

主结果

代码 Pass@1 与平均分（Table 1，单位 %）：

表格较宽，可左右滑动

模型	方法	LeetCode Pass@1	Avg. Pass@1	Efficiency
Coder-0.5B	GRPO / CorrGRPO	3.07 / 3.95	25.96 / 28.05	60.71 / 67.86
Coder-1.5B	GRPO / CorrGRPO	6.58 / 8.77	35.59 / 36.39	40.00 / 46.71
Coder-3B	GRPO / CorrGRPO	12.28 / 14.47	43.29 / 45.56	56.00 / 60.00
Coder-7B	GRPO / CorrGRPO	15.79 / 24.12	47.28 / 51.49	44.70 / 51.42

• 作者解读：作者称 CorrGRPO 在每个规模上都取得最高的 LeetCodeDataset Pass@1 和四基准平均 Pass@1，高于 GRPO 与 GDPO。相对 GRPO，平均 Pass@1 分别增加 2.09、0.80、2.27、4.21 个百分点。
• 例外：Table 1 中 1.5B 的 LCB v6 Pass@1 为 CorrGRPO 10.29、GRPO 13.14；7B 的 HumanEval 上 GRPO 为 73.78，低于基座 78.66，CorrGRPO 与基座同为 78.66；3B 的 Executable 上 CorrGRPO 为 81.58，低于 GRPO 的 83.77。
• Pareto：作者称 Figure 3 中 CorrGRPO 占据全部非支配配置：7B 的 Pass@1 最高为 24.12%，0.5B 的 Efficiency 最高为 67.86%，3B 为中间前沿点（14.47% Pass@1、60.00% Efficiency）。

工具调用

• 测了什么：Table 2 比较 RLLA-4K 的函数名、参数名、参数值与 all-exact，以及 API-Bank v1–v3。
• 结果：相对 GRPO，RLLA-4K all-exact 从 63.38% 到 67.61%（Qwen2.5-7B）、57.75% 到 59.15%（Qwen3-4B-Thinking）、61.97% 到 63.38%（Qwen3-8B）。API-Bank 平均分分别提高 1.14、3.94、2.26 个百分点；最大单点是 Qwen3-4B-Thinking 的 v3，从 52.24% 到 64.08%。总平均分别提高 2.68、2.67、1.84 个百分点。
• 例外与作者解读：三个模型上 CorrGRPO 的参数值分数都高于 GRPO，但 Qwen2.5-7B 的函数名从 97.65 降到 95.07，Qwen3-4B-Thinking 的函数名从 94.84 降到 93.78、API-Bank v1 从 79.20 降到 78.45。作者称这些结果支持更准确的参数生成，以及训练域完整调用与向 API-Bank 的迁移同时提高。

智能体效用与安全

• AgentDojo 与 ASB：Table 3 中，相对 GRPO，ASB Joint Accuracy 从 14.88% 到 18.13%（Qwen2.5-3B）、31.38% 到 47.88%（Qwen2.5-7B）、57.38% 到 58.63%（Qwen3-8B）。AgentDojo Joint Accuracy 在 3B 从 60.13% 到 89.62%，在 7B 从 84.49% 到 86.03%；Qwen3-8B 从 80.26% 降到 79.62%。Qwen2.5-7B 的 AgentDojo Clean Utility 从 GRPO 的 90.48% 降到 85.71%，ASR 从 0.26% 升到 1.28%；Qwen2.5-3B 的 AgentDojo ASR 从 0.00% 升到 1.54%。作者称 ASB 上三项的干净效用和受攻击效用都更高。
• InjecAgent：总 ASR 相对 GRPO 从 8.80% 到 5.52%、13.53% 到 6.17%、13.94% 到 7.98%。作者称每个报告的攻击类别都下降，其中包括 Direct Harm 与 Data Stealing 的 S1、S2。
• 训练曲线：Figure 1 右图为 Qwen2.5-Coder-7B-Instruct 在 LeetCodeDataset 上的验证 Accuracy 与 Efficiency（Mean@1），横轴 Training Step 至 550。Figure 4 同时画出 GRPO、GDPO、CorrGRPO 在三个任务上的分项奖励与总奖励。作者在附录 A 称 Figure 12 显示 CorrGRPO 在训练中保持更高策略熵，在 AgentDojo 与 LeetCodeDataset 上熵下降更慢，并引用 Cui et al. (2025) 把较高熵与持续探索联系起来；该解释是作者的解读。

其他消融与分析

• 代码实验含 GDPO：Table 1 中四规模的 Avg. Pass@1，GDPO 为 25.95、35.40、43.41、48.88，CorrGRPO 为 28.05、36.39、45.56、51.49。
• 1.5B 基座 Efficiency 为 58.93，高于 GRPO 40.00、GDPO 45.00 和 CorrGRPO 46.71（Table 1）。
• 7B 基座 LeetCode Avg. Pass@1 为 47.64，高于 GRPO 的 47.28，低于 CorrGRPO 的 51.49（Table 1）。
• Qwen3-8B 在 ASB 上 CorrGRPO 的 ASR 为 22.50，高于 GRPO 的 19.50；Joint Accuracy 仍从 57.38 到 58.63（Table 3）。
• 附录 F.1 报告与 CISPO 的集成，正文未给出该实验的数值。
• 论文未报告统计显著性检验、随机种子重复次数，以及评审模型；上述指标由测试执行或环境检查器计算。

作者指出的局限与后续方向

• 奖励设定：Ethics Statement 写明，基于相关的归一化不能纠正有偏或设定错误的奖励，所得行为仍取决于所选目标及其权重。
• 部署安全：同一节写明，安全实验评测的是对基准提示注入攻击的抵抗；这些基准上的改进并不确立真实部署中的安全，也不确立对未见攻击的安全。部署需要针对应用的安全评测、适当的工具访问限制和人工监督。
• 能力的双重用途：Ethics Statement 写明，提升代码生成、工具调用和智能体安全相关能力可能有益于正当应用，也可能便利有害自动化或未经授权的工具使用。
• 论文未在 Limitations、Discussion 或 Conclusion 中另列方法失败模式或计划中的后续实验；Conclusion 只重申相关归一化的价值。

实验覆盖范围

• 模型与域：代码为 Qwen2.5-Coder-Instruct 0.5B、1.5B、3B、7B；工具调用为 Qwen2.5-7B-Instruct、Qwen3-4B-Thinking-2507、Qwen3-8B；智能体为 Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Qwen3-8B。三个域分别使用 7、4、2 个奖励分量。
• 数据划分：LeetCodeDataset 训练 2,641、测试 228；RLLA-4K 训练 3,920、测试 80（工具调用指标在 71 条上计算）；AgentDojo 训练 1,584、测试 411（21 干净、390 受攻击）；ASB 每模型 400 对；LiveCodeBench v6 评测子集 175 题。
• 对照：三个域都比较基座与 GRPO；GDPO 只出现在代码实验。外推评测不做再训练：HumanEval、MBPP、LCB v6、API-Bank、ASB、InjecAgent。
• 攻击设置：AgentDojo 使用 important_instructions 与 tool_knowledge；ASB 使用观测提示注入并将 context_ignoring 载荷附加到中间工具回复；InjecAgent 使用 base setting 与其标准提示词。
• 未报告项：正文未报告每组 rollout 数、优化步数以外的重复次数、显著性检验；附录 F.1 的 CISPO 集成实验未在正文给出数字。训练超参数放在附录 I。

CorrGRPO 是 GRPO 的多奖励变体：组内优势的分子仍是中心化总奖励，分母改为 Pearson 相关之和，避免大尺度奖励主导归一化。

• 问题：GRPO 的分母等于全部成对协方差之和，因而同时编码依赖和尺度。固定边缘方差时，正相关减小优势幅度、负相关增大幅度；但大方差分量可以占去协方差和的绝大部分。Figure 2 中 r3 的方差约占 S 的 91.1%，尽管它与另外两个奖励只弱相关。
• 方法：非零方差奖励在相关矩阵对角上各贡献 1，非对角项只保留相关的强度和方向；零方差行列置零。组内共享的正缩放使 CorrGRPO 与 GRPO 的奖励驱动梯度方向一致、幅度不同。代码、工具调用、智能体分别使用带依赖链的七奖励、四奖励和等权的效用加安全。
• 代码：Table 1 中 CorrGRPO 在四个 Coder 规模上都有最高的 LeetCodeDataset Pass@1 和四基准平均 Pass@1。7B 的 LeetCode Pass@1 为 24.12%，相对 GRPO 的平均 Pass@1 增加 4.21 个百分点；0.5B Efficiency 为 67.86%。1.5B 的 LCB v6 上 GRPO 更高。
• 工具与智能体：RLLA-4K all-exact 在三个骨干上都高于 GRPO，Qwen2.5-7B 从 63.38% 到 67.61%。AgentDojo 上 3B 的 Joint Accuracy 从 60.13% 到 89.62%；Qwen3-8B 的该项从 80.26% 降到 79.62%。InjecAgent 总 ASR 在三个模型上都低于 GRPO，7B 从 13.53% 到 6.17%。
• 作者结论：作者认为这些结果支持在多奖励优势估计中显式计入奖励间相关，并称经验 Pareto 前沿向外扩展。作者同时写明，该归一化不纠正错误奖励，基准上的安全改进也不等于真实部署或未见攻击下的安全。