EvoRS：面向开放式强化学习的奖励系统在线自演化框架

开放式强化学习里，奖励系统在训练过程中会因策略适应而不可靠，不能在训练前一次定死。

• 场景：作者指出，写作、角色扮演和办公工作流智能体等开放式任务没有可直接验证的答案，质量判断涉及多个相互影响的维度。现有方法因此使用基于 rubric 的奖励，由 LLM judge 或生成式奖励模型（GRM）给出可扩展的训练信号。
• 训练期失效：策略会持续适应当前奖励。作者把失效分成三类：有效性（validity）上，奖励黑客让策略在未产生预期行为时拿到高奖励；覆盖（coverage）上，新出现的 on-policy 行为没有被当前奖励系统表示；信息量（informativeness）上，奖励饱和或同查询组内更难区分，优化信号变弱。作者认为奖励可靠性是训练期性质，奖励系统应随策略演化。
• 现有动态 rubric 的缺口：作者称 Yu et al. (2025)、Shao et al. (2025) 等方法主要改评价标准，把评价转成奖励的打分机制和多信号组合往往固定。Figure 1 用无依据统计的例子说明：只加 grounding 标准，连续打分仍可能给高分，而惩罚机制可以更有选择地处理这类模式。
• 核心主张：奖励可靠性取决于完整路径，即评什么、怎么打分、多个信号如何组合。作者提出 EvoRS，用可执行 Reward-DAG 表示完整奖励系统，由智能体设计器根据 on-policy rollout 和奖励轨迹诊断失败、搜索有界候选状态，并用匹配回放决定下一状态。

论文在第 2 节把相关工作分成三组，并在引言里对照动态 rubric。

Rubric 奖励与动态 Rubric

• 静态与混合信号：Arora et al. (2025)、Kim et al. (2025a)、Wu et al. (2025)、Kim et al. (2024) 用连续 rubric 分数和基于原则的判断；Wei et al. (2025)、Lee et al. (2024)、Viswanathan et al. (2025) 做清单式验证；Wang et al. (2025)、Hong et al. (2026)、Liu et al. (2025a) 使用惩罚、约束或混合设计；Xu et al. (2025)、Jia et al. (2025)、Liu et al. (2025b)、Du et al. (2026) 使用成对偏好比较。
• 从原则到任务级 rubric：RL 中的 rubric 方法从宽泛原则（Bai et al., 2022；Sun et al., 2024；Yu et al., 2025）发展到任务或查询专用 rubric 与锚点（Gunjal et al., 2025；Huang et al., 2025）。
• 动态生成 rubric：Rezaei et al. (2025)、Lv et al. (2026)、Xu et al. (2026a)、Jia et al. (2026)、Shao et al. (2025)、Shen et al. (2026)、Ding et al. (2026) 根据任务信息、回答比较或在线策略输出生成或更新 rubric。作者称这些工作让评价标准更自适应，但把标准变成训练奖励的打分与组合过程通常不变，奖励信号的更广构造不在其范围内。

策略优化下的奖励可靠性

• 静态偏差与奖励黑客：Zheng et al. (2023)、Ye et al. (2025)、Shi et al. (2025)、Wang et al. (2026) 讨论 LLM judge 和奖励模型在静态评测中的系统偏差；Skalse et al. (2022)、Lambert and Calandra (2023)、Gao et al. (2023)、Moskovitz et al. (2024)、Hou et al. (2026)、Mei et al. (2026) 讨论优化下利用偏差、漏洞或未充分指定目标导致的奖励过优化或奖励黑客。
• Rubric RL 中的捷径与覆盖：Mahmoud et al. (2026)、Zhang et al. (2026b)、Li et al. (2025)、Zhao et al. (2025)、Singhal et al. (2024)、Lang et al. (2024) 指出显式标准可能暴露捷径，固定标准可能漏掉新出现的 on-policy 回答。
• 分布变化后的信息量：LeVine et al. (2023)、Chen et al. (2024)、Razin et al. (2025) 指出固定分布上的奖励模型准确率不能保证策略变化后信号仍然有信息量；有用的 RL 信号需要在 on-policy 回答之间、尤其是同一查询内做出有意义的区分。

自演化训练与智能体系统

• 改训练环的不同部分：CoEvolve 演化训练数据，ECHO 随策略演化自然语言 critic，ReSkill 在智能体 RL 中演化技能库（Yang et al., 2026；Li et al., 2026；He et al., 2026）。
• 运行时与训练侧脚手架：另一类工作修改智能体周围的运行时脚手架或训练环境；EvoTrainer 把这一方向扩展到跨策略版本的训练侧诊断与干预（Chen et al., 2026b；Zhang et al., 2026a；Huang et al., 2026a；Chen et al., 2026a）。作者称这些设置用经验找出当前训练配置缺什么，并引导有针对性、经过验证的改动；本文将同一原则用到奖励系统本身。

基线与基准

• 基线方法：RLAIF（Bai et al., 2022，固定任务级 rubric）、RaR（Gunjal et al., 2025，固定的查询专用 rubric）、RLER（Shao et al., 2025，用当前策略回答引出额外标准来增补任务 rubric）、OpenRS（Jia et al., 2026，由回答比较构造成对自适应 rubric）。
• 基准/数据集：写作使用 944 条过滤后的合成指令，评测用 WritingBench（Wu et al., 2025）；角色扮演使用 Mini-Max Role-Play Bench 的 5,000 条查询，评测用 CoSER（Wang et al., 2025）。

作者将本文定位为：不只改 rubric 标准，而是把标准、打分机制和信号组合一起作为可执行 Reward-DAG，在训练中根据 on-policy 证据演化。

EvoRS 把策略学习与奖励系统演化放在同一闭环：当前策略产生回答，当前 Reward-DAG 给出训练奖励和节点级轨迹；每 N 次策略更新后，设计器决定保留还是替换奖励状态。主实验中 N 为 5。

问题设定与奖励状态

• 闭环：训练中策略 πt 对开放式查询生成成组回答，奖励状态 Dt 评分，得到 GRPO 所用奖励和节点级奖励轨迹。这些回答与轨迹构成 on-policy 经验 Ot。Figure 4 把该过程画成策略 rollout、经 Reward-DAG 计算奖励、GRPO 更新，以及周期性的奖励系统演化。
• Reward-DAG：当前状态写成 D_t=(V_t,E_t,Θ_t)。Vt 是可执行奖励节点，Et 是依赖与执行顺序，Θt 是各节点的标准、打分机制，以及组合节点输出的规则。
• 两类节点：Rubric Node 产生奖励信号，Composition Operator 组合信号。节点信号为 h_v=M_mv(x,y;ρ_v,θ_v,J_ϕ)：ρv 可以是任务级固定标准，或由 Gψ(x) 按当前查询实例化；每个节点一次评一条回答，回答组用于 GRPO 以及后面的诊断和比较。组合算子只聚合、归一化、门控或路由已有信号，不再次评回答，输出标量 rD(x,y)。
• 执行与演化分离：智能体设计器只根据累积经验提出候选状态，不参与奖励计算。两次演化之间 Dt 固定，使同一训练阶段内的奖励计算一致，候选之间也可比。附录 C.2 给出执行模式和节点细节。

从失败证据到候选状态

• 诊断先于修改：作者举例，同查询内方差低，可能是标准太泛，也可能是打分饱和把不同回答压到相近分数。前者应改标准，后者应改打分机制。证据不支持明确诊断时，Dt 保持不变。
• 有界搜索：设计器在允许更新空间 A(Dt) 内探索修复方向。记忆与动态技能 Kt 来自以往演化步骤。每个方向被实例化为类型化更新，并得到候选状态。候选在观察到实际奖励行为之前只是假设。
• 机制并不等价：Table 1 列出连续打分（稠密分数，风险为饱和）、清单验证（通过率，风险为稀疏）、缺陷惩罚（失败惩罚，风险为过度惩罚）和成对比较（偏好信号，风险为成对依赖）。Figure 3 的图注称，同一批 on-policy 回答上，不同机制给出不同分数分布，影响密度、同查询可区分性和对失败的敏感度。作者称机制可以互补，例如清单保证必要条件，连续分数区分已通过清单的回答。

自验证与状态转移

• 匹配回放：当前状态和全部候选被应用到同一批回放样本 Bt，Bt 取自近期 on-policy 经验。固定回答后，比较候选是否修正被诊断的失败，以及它如何改变当前系统的奖励行为。
• 选择规则：选作 Dt+1 的候选，要在目标失败案例上更一致地纠正问题，同时保留干净案例上的奖励，以及组相对策略学习所需的查询内区分。没有候选带来有支持的改进时，保留当前状态。
• 记忆：被选中、被拒绝或无操作的轨迹写入运行期记忆，并蒸馏成动态演化技能，组成 Kt+1，供后续诊断使用。附录 C.3 给出完整演化循环；附录 C.2 规定回放构造和比较标准。

训练接口与可靠性审计定义

• 策略更新：所有方法共用同一 GRPO 流程、训练数据、rollout 预算和评测协议，并用同一本地 Qwen3.5-27B 作为 GRM 计算基于 rubric 的奖励。EvoRS 从与 RLAIF 相同的单节点连续奖励系统出发。
• 审计指标：HR 统计预先定义的奖励黑客模式出现情况，CFR 统计奖励可能覆盖不足的预定义硬失败，R-Var 衡量查询内奖励分离。HR/CFR 类别在方法比较前构造，并盲用于全部输出。设计器看不到这些审计类别。附录 D.5 给出细节。

实验设置

• 任务与数据：写作用 944 条过滤后的合成指令；角色扮演用 Mini-Max Role-Play Bench 的 5,000 条查询。附录 D.3 给出数据构造与分布。
• 评测：最终质量用 WritingBench 和 CoSER。CoSER 报告 Overall 以及 SC、AN、CF、SQ。评委为 GPT-5.6-Terra、DeepSeek-V4-Pro、GLM-5.2，Table 2 报告三者平均。完整协议在附录 D.6。
• 被训练策略与 GRM：主实验策略为 Qwen3-4B；GRM 为本地 Qwen3.5-27B。泛化实验把策略换成 Qwen3-8B，并把 GRM 换成 Qwen3.5-27B 或 RewardAnything-8B。
• 基线：RLAIF（固定任务级 rubric）、RaR（固定查询专用 rubric）、RLER（用当前策略回答增补标准）、OpenRS（成对自适应 rubric）。EvoRS 每五个 RL 步演化一次。
• 可靠性指标：HR、CFR、R-Var。Figure 5 另报告写作 HR、角色扮演 CFR、Zero-distinction 比例，以及与盲偏好排序的一致性；Zero-distinction 审计为 480 组。论文未在正文给出 HR/CFR 的分母和重复次数。
• 配置：训练数据分布与实验配置在附录 D.3 和 C.1。附录 C.1 含与其他方法的墙钟比较，正文未给出具体耗时。

主结果

Table 2 用三评委平均报告最终质量与奖励可靠性。质量越高越好；HR、CFR 越低表示黑客与覆盖失败越少；R-Var 为查询内分离，OpenRS 的 R-Var 未报告。

方法	写作 WB / HR / CFR / R-Var	CoSER Overall / HR / CFR / R-Var
Qwen3-4B base	54.894 / 7.7 / 27.8 / 未报告	60.909 / 6.06 / 13.0 / 未报告
RLAIF	56.276 / 13.8 / 21.8 / 0.0010	59.906 / 7.43 / 16.0 / 0.0029
RaR	56.547 / 14.7 / 29.5 / 0.0014	60.000 / 8.52 / 22.0 / 0.0061
RLER	56.170 / 11.0 / 23.9 / 0.0011	59.621 / 9.58 / 18.0 / 0.0137
OpenRS	56.427 / 10.1 / 31.1 / 未报告	58.598 / 8.83 / 15.5 / 未报告
EvoRS	57.001 / 6.5 / 19.9 / 0.0025	65.676 / 5.25 / 10.0 / 0.0063

• 写作：作者称所有 RL 方法都高于基座，EvoRS 的质量增益最大，为 2.107 分（57.001 对 54.894），并且是唯一把 HR 降到基座以下的方法（6.5 对 7.7）。
• 角色扮演：作者称固定或只部分自适应奖励的方法，Overall 不高于基座，且 HR 更高。增益在维度上不均匀：RaR 的 SC 为 60.704、CF 为 62.478，高于基座的 59.097 和 60.487，但 AN 从 64.172 降到 61.752，SQ 从 59.881 降到 55.068。EvoRS 的 Overall 比基座高 4.767 分，四个维度都最高：SC 63.615、AN 69.880、CF 63.381、SQ 65.829。
• 作者解读：作者称这支持维持一个对演化中的策略仍然有效的奖励系统，而不是继续优化固定标准。附录 D.6 给出分评委结果和成对不确定度估计，正文未列出这些数字。

训练过程中的可靠性

• 有效性与覆盖：Figure 5(a,b) 的图注称，EvoRS 在标注出的奖励系统转移（虚线）之后降低写作 HR 和角色扮演 CFR。正文称写作中静态与动态 rubric 基线的黑客模式上升，EvoRS 保持更低并在标注转移后进一步下降；角色扮演中 EvoRS 的 CFR 更低，并在 step-45 的覆盖修复后进一步下降。图中坐标为训练步，写作约到 120 步，角色扮演约到 90 步；正文未逐点抄出曲线数值。审计类别对设计器隐藏，作者认为轨迹反映的是从 on-policy 经验发现的失败。
• 信息量：Figure 5(c,d) 在 480 组审计上考察查询内区分。图注称 EvoRS 保持较低的 Zero-distinction，并与盲的同查询偏好排序有更强一致性。作者称演化后的奖励不只是分数更散，其区分仍与独立回答偏好对齐。附录 E.4 给出协议。Table 2 中 EvoRS 写作 R-Var 为 0.0025，高于表内其他已报告方法；角色扮演上 RLER 的 R-Var 为 0.0137，高于 EvoRS 的 0.0063。
• 案例：附录中的角色扮演覆盖修复记录：被选候选只更新 roleplay_query_rubric；比较反馈给出平均分从 0.6313 到 0.6390，组内标准差从 0.0765 到 0.0844，组内极差从 0.1969 到 0.2177。另有 step-90 探测把侧节点改成 flaw_penalty，回放发现空的缺陷抽取被映射成始终通过，该探测被当作诊断证据而不是成功修复。

跨策略与奖励模型

• 测了什么：Table 3 把策略换成 Qwen3-8B，GRM 分别为 Qwen3.5-27B 和 RewardAnything-8B，指标为三评委平均的 CoSER Overall。
• 结果：Qwen3-8B 基座为 64.545。Qwen3.5-27B 下 RaR 为 62.044、EvoRS 为 66.370。RewardAnything-8B 下 RaR 为 62.761、EvoRS 为 65.660。两种 GRM 下 EvoRS 都高于 RaR，也都高于该基座。
• 作者解读：作者称奖励系统演化的优势在该策略规模和这两种 GRM 上仍然存在。

其他消融与分析

Table 4 的 Δ 相对完整 EvoRS（WB 57.001，CoSER 65.676）：

• 只做标准级适应：WB 56.593（Δ −0.408），CoSER 61.155（Δ −4.521）。
• 从头固定最终 Reward-DAG：WB 56.308（Δ −0.693），CoSER 60.573（Δ −5.103）。作者称预先固定的完整奖励系统不能替代演化路径。
• 去掉候选选择：WB 56.959（Δ −0.042），CoSER 62.494（Δ −3.182）。
• 去掉更新拒绝：WB 56.807（Δ −0.194），CoSER 63.911（Δ −1.765）。
• 去掉演化记忆/技能：WB 56.918（Δ −0.083），CoSER 62.412（Δ −3.264）。
• 作者补充：去掉任一搜索能力都会降低最终质量，多轮角色扮演上的降幅更大；附录 E.1 的维度结果显示，有的变体 SC 或 CF 仍高，但 AN 和 SQ 下降较多。Figure 2 的图注称后期回答集中在更窄的分数区间，固定打分器的奖励方差和样本级可分性下降；正文未给出该图的坐标数值。

作者指出的局限与后续方向

• 领域：Limitations 称当前评测集中在写作和角色扮演，开放式语言生成上的奖励系统自演化已经建立，其余扩展留给未来工作。
• 智能体环境：作者称可执行 Reward-DAG 原则上可以纳入工具状态、交互历史和延迟结果，因而有潜力扩展到智能体 RL，但这一潜力仍需在工具使用环境中验证。
• 演化时机：实验中每 N 个 RL 步演化一次，以简化系统设计并控制计算成本。作者提出可改为根据累积失败证据决定时机，使演化时间适应变化中的策略，并称留给未来研究。
• 额外成本：周期性诊断和候选评估带来额外训练成本。附录 C.1 报告与其他方法的墙钟比较。作者认为自适应调度或批量候选评估可能进一步降低这一开销。
• 结论中的相关判断：Conclusion 称，训练前指定的完整奖励系统仍不如随策略演化的系统；动态 rubric 虽然改了评什么，但产生和组合奖励信号的方式不变，因而质量增益不均匀。这是作者对结果的解释，不是另列的实验局限。

实验覆盖范围

• 任务与规模：实验覆盖写作（944 条过滤合成指令，WritingBench）和角色扮演（Mini-Max Role-Play Bench 的 5,000 条查询，CoSER 的 Overall、SC、AN、CF、SQ）。
• 模型：主结果的策略是 Qwen3-4B，GRM 是本地 Qwen3.5-27B。Table 3 另报告 Qwen3-8B 策略，以及 Qwen3.5-27B、RewardAnything-8B 两种 GRM 上的 CoSER Overall。评委为 GPT-5.6-Terra、DeepSeek-V4-Pro、GLM-5.2，主表为三评委平均。
• 对照：基线为 RLAIF、RaR、RLER、OpenRS，共用 GRPO、训练数据、rollout 预算和评测协议。消融包括只改标准、固定最终 Reward-DAG、去掉候选选择、去掉更新拒绝、去掉演化记忆/技能。
• 可靠性审计：HR、CFR、R-Var 用于最终策略；Figure 5 跟踪训练步上的写作 HR、角色扮演 CFR、Zero-distinction 和盲偏好排序一致性，Zero-distinction 为 480 组。审计类别在比较前构造并盲用，设计器不可见。
• 论文未报告：正文未给出 HR/CFR 的样本分母、训练重复次数，也未在正文给出附录 C.1 的墙钟数字；OpenRS 的 R-Var 在 Table 2 中为空。分评委分数和成对不确定度在附录 D.6，维度级消融在附录 E.1，正文未列出这些数值。

EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。

方法把完整奖励系统写成可执行 Reward-DAG。智能体设计器阅读 on-policy rollout 和节点级奖励轨迹，诊断主要失败来自标准、机制还是组合；只在证据支持时，于允许更新空间内提出有界候选。当前状态与候选在同一批回放上比较，能修正目标失败、又保留干净样本奖励和查询内区分的候选成为下一状态，否则保持不变。设计器不参与两次演化之间的奖励计算。演化每五个 RL 步发生一次，起点与 RLAIF 相同的单节点连续奖励。策略更新使用 GRPO。

主实验训练 Qwen3-4B，GRM 为 Qwen3.5-27B，质量由 GPT-5.6-Terra、DeepSeek-V4-Pro、GLM-5.2 平均。Table 2 中，EvoRS 的 WritingBench 为 57.001，比基座 54.894 高 2.107；写作 HR 为 6.5，低于基座的 7.7，也低于各基线。CoSER Overall 为 65.676，比基座 60.909 高 4.767，SC、AN、CF、SQ 四项都高于基座和基线。若干基线的 Overall 不高于基座，且维度有升有降。Qwen3-8B 上，两种 GRM 的 EvoRS 都高于 RaR 和基座 64.545。Table 4 中，只改标准或从训练开始就固定最终 Reward-DAG，CoSER 分别下降 4.521 和 5.103。

作者的结论是：奖励可靠性是训练期性质；即使训练前给出完整奖励系统，也不如让它随策略演化。评测目前是写作和角色扮演，工具使用环境、按失败证据调度演化，以及降低周期性诊断的额外成本，被作者列为后续方向。