ProRubric：通过协议级评分标准缓解 Rubric-RL 中的奖励作弊

加性聚合下，Rubric-RL 可以分数更高、回答更差：覆盖率上升，而留出的医生标准上的适当性低于未训练模型。

• 场景：没有编译器或答案核对器时，Rubric-RL 让 LLM 评审逐条核对清单，再把判分合成奖励，最常见的是加权求和（RaR 所称 explicit aggregation）。作者认为临床标准是协议而不是计分：分诊做对不是三十条里的一条，漏掉也不能靠别处补回。
• 现有不足：作者称已有工作多在写更好的条目，聚合几乎没变。加权求和允许条目互相补偿，策略可以漏掉关键决策，再用没人要求的内容把分数买回来。作者把这称为 reward hacking（Skalse et al., 2022）。Mahmoud et al. (2026) 也看到分数反转，并把它归因于条目写得不够具体；作者称只改聚合就能移动这一反转。
• 核心观察：在临床咨询上，按 explicit aggregation 训练后，Qwen3-4B 的 rubric coverage g 从 26.6 升到 32.1，同一批查询上、对照留出的医生共识条目的 appropriateness c 从 54.1 降到 26.0。作者称标准报告只记下前一半。探索基线（Zhou et al., 2025）降得一样多。不给评审任何 rubric 时，评审更偏好未训练模型。
• 提出的方法：作者提出 Protocol-level Rubrics（ProRubric）。它保留条目所问的内容，只改聚合：离线把清单分成少数协议维度；一个维度仅当其全部条目成立、且失败条款未触发时才计分。优化器与上线策略不变，也不需要标注条目之间的关系。作者称它把 appropriateness 提高 10.8 点且不损失 coverage，并在两个模型尺度上七基准平均最高。
• 问题陈述：条目与优化器固定时，聚合方式是否决定优化奖励会不会让 c 与 g 一起上升。作者用 appropriateness 而不是 clinical utility，因为两条轴都由 DeepSeek-V4-Pro 打分，不是由临床医生打分。

Rubric 作奖励

• 细粒度检查与规则反馈：行为测试可追溯到 CheckList（Ribeiro et al., 2020）；基于规则的反馈可追溯到 Constitutional AI（Bai et al., 2022b）和 RLAIF（Lee et al., 2024; Yuan et al., 2024）。
• 评测接口与清单奖励：Prometheus（Kim et al., 2024）和 HealthBench（Arora et al., 2025）把 rubric 做成 LLM 评测的标准接口。清单与 rubric 奖励进入 RL 的工作包括 Gunjal et al. (2026)、Viswanathan et al. (2025)、Huang et al. (2025)、Jia et al. (2026)；数据集与生成器包括 Li et al. (2026)、Liu et al. (2026)、Shen et al. (2026)。
• 训练中的其他用法：RuscaRL（Zhou et al., 2025）在 rollout 中用 rubric 做探索脚手架；RISE-RL（Hou et al., 2026）按策略反复漏掉的条目选择轨迹；rubric-guided self-distillation（Rezaei et al., 2026）建在 on-policy self-distillation（Zhao et al., 2026）上，把 rubric 交给教师。作者称这些工作改变条目问什么、在训练何处进入，但作为奖励时判分仍是加权求和。

聚合条目

• RaR（Gunjal et al., 2026）：比较 explicit aggregation（逐条判分的归一化加权和）与 implicit aggregation（评审读完整清单后给一个分数）。
• 对加权和的质疑：Lv et al. (2026) 称独立效用计分会把信用传过未满足的前提，称为 false credit propagation，并用带前提与激活关系标注的 rubric graph 抑制它。Rubric Dropout（Yang et al., 2026）在训练中随机丢掉条目以抑制 reward hacking。SRaR（Xie et al., 2026）把 rubric 条目归到数学推理的单步，而不是折成一个标量。作者称 ProRubric 不需要标注关系，仍保留一个回复级奖励，并在策略从未训练过的条目上测量加权和的代价。

Reward hacking

• 代理过优化：作者把它视为 Goodhart’s law（Goodhart, 1975）的实例，并称 RLHF（Ouyang et al., 2022; Bai et al., 2022a; Skalse et al., 2022; Gao et al., 2023）与 DPO（Rafailov et al., 2024）中已有大量记录；奖励模型集成能减轻但不能消除 gaming（Eisenstein et al., 2024）。文本生成中它常表现为长度偏差（Singhal et al., 2024; Dubois et al., 2024; OpenAI, 2026）。
• Rubric RL 中的反转：Mahmoud et al. (2026) 报告基于 rubric 的验证器偏好 RL checkpoint，而无 rubric 的评审偏好基座模型，增益集中在完整性与基于出现与否的条目，并归因于 rubric 未写明重要失败模式。CHERRL（Wang et al., 2026）通过向评审注入偏差来复现 reward hacking。作者称自己把反转追溯到别处：评审与条目文本固定时，只改聚合就能在医学和对话中移动它。

基线与基准：主实验基线为未训练 Base、Rubric-RL（Gunjal et al., 2026）、RuscaRL（Zhou et al., 2025）、OPSD（Zhao et al., 2026，教师上下文按 RGSD）、以及 RubricHub 已发布回复上的 SFT。训练数据为 RubricHub 的 medical、writing、dialogue 子集和 RaR-Science。评测为 HealthBench、MedQA、WritingBench、Creative-v3、Arena-Hard v2、GPQA-Diamond、ResearchQA，适当性读 HealthBench-consensus。

作者把本文定位为：已有工作改的是条目内容和条目进入训练的位置，本文研究的是把判分变回一个数的那一步；与依赖关系标注的聚合不同，ProRubric 不标注条目关系。

ProRubric 不改条目在问什么，只改它们如何合成奖励：把清单分成少数必须同时成立的协议维度，每维再加一条失败条款。分组离线做一次，优化器与上线策略不变。

问题设定与形式化

一条 rubric 是清单 C = {(r_i, w_i)}，r_i 是自然语言要求，w_i ≠ 0，负权重表示应避免的行为。评审对提示词 x 和回复 y 给出 s_i(x, y) ∈ {0, 1}。标准 explicit aggregation 是归一化加权和，再裁剪到 [0, 1]：

R_atom(x, y) = clip_[0,1](∑_i w_i s_i / ∑_{i: wi>0} w_i)

含义是：正权重条目的加权命中比例，条目之间可以互相补分。

作者用两条轴读医学策略。rubric coverage g 是 HealthBench 上、按其自身逐例条目的分数，即训练在优化的代理。appropriateness c 是 HealthBench 上、由执业临床医生撰写且训练时留出的 physician-consensus 条目的分数，问的是对这个用户的决策是否做对。两条轴都由 DeepSeek-V4-Pro 打分。优化器用 GRPO。

合取维度

清单被划分成 K 个协议维度 I_1, …, I_K。正权重条目的合规 q_i = s_i；负权重条目 q_i = 1 − s_i，使惩罚项成为硬的“不得违反”约束。维度 k 仅当组内全部 q_i 为 1 时满足，权重为组内绝对权重之和。奖励是维度判分上的归一化加权和：

s̃_k = ∏_{i ∈ Ik} q_i,  w̃_k = ∑_{i ∈ Ik} |w_i|,  R̃ = ∑_k w̃_k s̃_k / ∑_k w̃_k

实践中评审通过合成后的协议提示词直接判定 s̃_k。作者在条目合规独立、概率为 p_i 的理想化假设下写出边际激励：一条条目的收益正比于同维其余条目同时成立的概率。孤立片段几乎不加分，差一点就完成的维度则拿到该维的全部权重。作者写明这是关于目标的论证，不是优化器收敛性的证明。

失败条款与生成

合取只作用于条目点名的内容。没有条目禁止把决策埋在未请求的材料里，或加上不必要的高风险检查，所以式 (2) 下这两件事都不扣分。每个维度描述以一条 failure clause 结尾，写明何种条件下该阶段不算完成，例如延误紧急处置。维度只有在全部条目成立且失败条款未触发时才计分。合取与失败条款都写进评审所读的文本，评审每个维度返回一个判分，之后不再计算。作者称这与第 5.3 节的对照只差这段文本。跨维度奖励仍是加性的，因此可互相补偿的单元从 m 减到 K，补偿本身没有去掉。

生成在训练前对每个提示词做一次：生成模型先把条目划分成协议维度，再把每组改写成以失败条款结尾的一段描述，最后把该维权重设为条目权重之和。校验要求每条条目恰好属于一个维度，失败则修复或丢弃。作者使用 2 ≤ K ≤ 5，对应所研究协议的阶段；临床分诊中为 rule-out、workup 和 disposition。附录 A.2 给出完整提示词。作者称生成不增加上线成本；评审的训练成本未测量。

附录中，医学生成器用 DeepSeek-V4-Pro，temperature 0，输出上限 3,000 token，模式校验失败最多重试两次。生成器提出的权重只作元数据，训练权重用第 4.1 节的绝对权重和。写作与对话的生成提示词在任务描述上不同；科学提示词沿用医学措辞，只在按幅度加权、并把陷阱条目折进失败条件上不同。训练奖励评审对每条（原子条目或 ProRubric 维度）返回一个二值判分；raw-AND 用同一评审提示词，并要求一组内逐字条目全部成立。结构修复只处理无效或重复分配，不重新生成描述。保留条件是：每条恰好出现一次、每组非空、维度数为 2 到 5、每个权重为正。这些检查不验证描述的事实正确性或语义覆盖。

训练与对照设定

策略为 Qwen3-4B 与 Qwen3-8B，非思考模式，每个域训练一个策略。训练域为 RubricHub 的 medical、writing、dialogue，以及 RaR-Science。推理时不使用 rubric。回复上限 8,192 token。所有 RL 方法用 GRPO：每批 64 个提示词，每提示词 8 条回复，学习率 10^{-6}，300 步；优势在组内归一化；除非另作说明，不用 KL 惩罚。训练奖励来自 Doubao-mini，该模型不用于评测。主表每个训练方法三种子，消融在同一组题目上比较。

RubricHub 提示词按哈希去重，并保留 5–60 条非空条目且总权重为正的 rubric。科学域在 RaR-Science 训练集的 18,333 条提示词上训练。Rubric-RL 与 ProRubric 用相同提示词。附录称二者共享优化器与 rollout，主要差别是训练数据所带的 rubric；二者都关闭 KL reward shaping 与 KL loss，并用常数学习率日程。对照里，raw-AND 使用 ProRubric 的分组但条目文本逐字保留；implicit aggregation 把整份清单一次打分；Graded 给每个维度四级信用；K=1 把所有维度合成一个。

实验设置

• 被测模型：Qwen3-4B 与 Qwen3-8B，非思考模式。每个域各训一个策略。评测时不使用 rubric。
• 数据与基准：训练用 RubricHub 的 medical、writing、dialogue 子集，以及 RaR-Science 的 18,333 条训练提示词。七个评测基准为 HealthBench、MedQA、WritingBench、Creative-v3、Arena-Hard v2、GPQA-Diamond、ResearchQA。appropriateness 读 HealthBench-consensus。
• 基线：未训练 Base；Rubric-RL（逐条打分再加权求和）；RuscaRL（用 rubric 做探索脚手架，聚合仍是加性的）；OPSD（on-policy self-distillation，rubric 作为教师上下文，生成预算更小）；SFT（RubricHub 已发布的 SFT 回复）。回复上限 8,192 token。
• 指标：g 为 HealthBench 自身逐例条目上的覆盖率；c 为留出的医生共识条目上的适当性。两条轴均由 DeepSeek-V4-Pro 打分。另有七基准平均，以及无 rubric 的盲配对胜率。
• 训练与重复：GRPO，64 prompts/batch，8 responses/prompt，学习率 10^{-6}，300 步，组内归一化优势；默认无 KL。训练奖励为 Doubao-mini，不用于评测。主表每个训练方法三种子；消融在同一组题目上比较。
• 评审：主指标用 DeepSeek-V4-Pro。无 rubric 盲配对还使用 GPT-5.6-luna。Table 1a 为三种子平均。附录 B.1 称评审对照过医生，论文未在正文给出该对照的具体一致率数字。

主结果

医学上，Table 3 的 4B、三种子、DeepSeek-V4-Pro：未训练 Base 为 c=54.1、g=26.6；Rubric-RL 为 26.0±2.2 / 32.1±1.2；ProRubric 为 36.8±2.7 / 35.0±1.4。正文称 8B 上 ProRubric 的 appropriateness 为 45.8，Rubric-RL 为 29.5。作者称 appropriateness 仍低于未训练 Base，并把这写成 Pareto 权衡：Base 靠保守回答在适当性上得分高，但多数要求未满足（g=26.6）；Rubric-RL 把 coverage 提到 32.1，同时把 appropriateness 打到 26.0；ProRubric 把 coverage 提到 35.0、appropriateness 提到 36.8。摘要中的“提高 10.8 点”与 Figure 2 标注的 +10.8 对应从 Rubric-RL 一侧看的差距（36.8−26.0），正文同时写明相对 Base 仍更低。

七基准分数据 Table 2（相对 Base 的差值略）。

Swipe horizontally to read the table

方法	尺度	WritingBench	HealthBench	MedQA	GPQA	ResearchQA	Average
Base	4B	49.2	26.1	65.2	41.1	51.8	39.2
Rubric-RL	4B	64.6	31.9	62.6	44.7	62.9	45.6
ProRubric	4B	67.1	34.7	65.1	43.9	61.1	46.9
Base	8B	53.9	31.4	69.0	42.9	55.9	44.0
Rubric-RL	8B	68.1	36.4	68.9	49.8	65.8	50.4
ProRubric	8B	69.1	39.9	69.9	50.0	64.9	52.2

表中省略了 Creative-v3 与 Arena-Hard v2 两列，以及 SFT、OPSD、RuscaRL 各行；这些数字都在 Table 2 中。4B 上 Creative-v3 / Arena-Hard：Base 27.9 / 12.9，Rubric-RL 35.0 / 17.3，ProRubric 37.7 / 18.6。8B 上为 Base 36.0 / 19.1，Rubric-RL 38.9 / 24.8，ProRubric 43.1 / 28.6。

• 作者称 ProRubric 在两个尺度上都有最好的七基准平均。相对 Rubric-RL，4B 的边际为 +1.3，三种子的 95% 区间为 [+0.2, +2.4]，且在两个尺度的每个配对种子上都高于两个 RL 基线。作者称单个基准跨种子的波动大于平均，因此把单基准读成排序而不是效应量。
• 例外：MedQA 不用 rubric；作者称 Rubric-RL 在其上退步而 ProRubric 没有。ResearchQA 上 ProRubric 在两个尺度都低于 Rubric-RL（4B：61.1 对 62.9；8B：64.9 对 65.8），作者称该处广度本身就是目标。RuscaRL 保持加性聚合，结果靠近 Rubric-RL。SFT 在域外代价最大，8B 的 GPQA-Diamond 为 31.0，相对 Base 42.9 为 −12.0。OPSD 在 4B/8B 的平均为 36.6 与 37.6，低于 Base。
• 无 rubric 偏好（Table 1a，相对未训练答案的偏好比例，作者称 bold 表示更偏好 Base）：医学上 DeepSeek-V4-Pro 为 65.7±13.2，GPT-5.6-luna 为 93.6±2.3。科学上两者为 1.2±1.2 与 90.3±9.0，作者称两位评审在科学上不一致。对话为 24.3±5.8 与 44.9±6.8，写作为 0.0±0.0 与 1.4±1.6；作者称在对话和写作上两者都更偏好训练后的策略。

只改聚合

Table 3（4B，三种子，同一题目集，DeepSeek-V4-Pro；Base 54.1 / 26.6）比较聚合与其他改动。

• 测了什么：条目文本固定。raw-AND 用 ProRubric 的分组但逐字保留条目，c/g 为 34.9±3.6 / 33.8±1.1。整份清单一次打分的 Implicit 为 36.7±0.1 / 34.9±0.1。去掉失败条款为 34.5±1.1 / 34.9±0.3；Graded 为 36.3±1.8 / 35.1±0.9；K=1 为 36.9±1.9 / 33.5±1.2。长度匹配为 27.1±1.8 / 30.4±1.4；重加权为 25.3±1.5 / 32.0±1.8。
• 结果：作者称不改写任何条目时，raw-AND 在医学上收回通向 ProRubric 的大部分距离，但方差更高、coverage 更低；逐字清单的 implicit aggregation 与 ProRubric 落在置信区间内。两者在 8B、三种子上复现（附录 D.2）。作者称分级信用并不落后于二值信用，因此不声称硬合取是更好的算子；这些变体的共同点是没有条目被单独打分再求和。K=1 的 appropriateness 与 ProRubric 相当，coverage 更低；作者称约三分之二的采样组在每个种子上奖励相同。
• 作者的解读：缩短 42% 的长度匹配变体把 appropriateness 留在原处（Figure 3a）。在同样的 2,048-token 预算下，ProRubric 在医学和科学的已判定盲配对中对 Rubric-RL 的胜率为 83% 和 79%（附录 B.3）。KL 惩罚只在学习停止时恢复适当性：β=0.04 时两条轴和长度都靠近未训练模型（Figure 3b）。重加权后 Rubric-RL 仍为 25.3。SFT 结束于 66.3，高于未训练的 54.1；作者称同一批数据只有在变成加性奖励之后才把适当性打下来。排名在 GPT-5.6-luna 下几乎不变（附录 D.2）。对话中 implicit aggregation 在全部三个种子上优于 Rubric-RL，接近 ProRubric（Table 14）。科学上，implicit、raw-AND 和逐条改写各自最多收回 3.2 点，ProRubric 为 7.5（三种子均值，每个种子至少 5.0）。

崩塌出现的时机与跨域激励

• 训练动态：在重新训练的 4B 医学模型上（三种子，300 条 HealthBench-consensus；附录 D.2 的 Figure 5），Rubric-RL 在 50 步内从 55.8 降到 35.9，结束于 23.8；ProRubric 在第 50 步为 50.3，结束于 35.3。作者称每个检查点上，每个 Rubric-RL 种子都低于每个 ProRubric 种子。没有逐条信用时崩塌更慢、更小，但没有停住。
• 残差：跨维度奖励仍是加性的。ProRubric 回复到 9.8k 字符，未训练模型为 3.0k（Figure 3a）；Rubric-RL 为 11.7k，长度匹配为 6.8k。作者称增加的内容，无论是点名还是实质内容，使冗余子分数损失 17 到 38 点（增加实质内容为 25 到 38；Table 15b）。无 rubric 时，两位评审对 ProRubric 是否胜过未训练模型意见不一致（Table 7）。作者称它比 Rubric-RL 损失更少，是因为所加内容是实质的，但仍沿着同一机制移动。
• 四域：explicit aggregation 下，appropriateness 在医学降 28.9、科学降 11.2、对话降 7.1，写作升 16.0（Figure 3c；每域 200 条提示词的三种子均值，Table 15a）。在每域 300 条训练提示词的未训练回答上（Table 15b），只点名而不分析，在 Rubric-RL 奖励下相当于“加入未被请求的实质内容”所得的 32%（医学）和 13%（对话），写作 7%、科学 −8%；ProRubric 下这些份额为 6%、−14%、−10%、−23%。科学中 300 次点名编辑有 195 次不改变奖励。各域中，正确且相关、但没有条目要求的材料仍有正奖励：医学 +22.7、写作 +18.9、对话 +17.9、科学 +10.8。作者称写作为何上升仍是开放问题。

其他消融与分析

• 训练前编辑（Table 1b，300 个临床病例，未训练回答）：点名一个具体项，Rubric-RL / raw-AND / ProRubric 的奖励变化为 +7.3 / −0.3 / +2.2；只点名主题为 −0.4 / +0.6 / −3.8；加上不必要的检查为 +0.3 / −1.4 / −5.8；删掉关键建议为 −0.9 / −0.8 / −2.2。保持意义的改写使三种奖励各移动约 1 点（+1.0 到 +1.1；Table 13）。
• Figure 1：同一条真实提示下，Rubric-RL 回复中 “911” 首次出现在第 2,165 个字符。加性计分下四条示意条目为 0/10、8/8、7/7、7/7；合取后前一组变为 0/10、0/8，后一组仍为 7/7、7/7。
• 短提示个案（附录 E.1）：“My baby has a fever” 上，Rubric-RL 为 10,890 字符且 DeepSeek-V4-Pro 判定两条医生条目都不满足；ProRubric 为 5,277 字符且两条都满足。另一例把 32 条原子条目折成四个维度，权重 59、118、36、20，合计 233。
• 引言中的其他负结果：把回答截短 42% 后 appropriateness 停在原地；换成另一模型族的评审后排序保持；不用 RL、只在同一 rubric 数据上微调，结果高于未训练模型；加大 KL 惩罚只在学习停止后恢复 appropriateness。作者称把逐字条目分组可收回三分之一的损失，把它们作为一份清单整体打分可收回近 40%。
• Table 2 中低于 Base 的格子：4B MedQA 上 SFT 59.5、OPSD 60.8、Rubric-RL 62.6、RuscaRL 62.0、ProRubric 65.1，Base 为 65.2。4B GPQA 上 SFT 36.0、OPSD 36.4，Base 为 41.1。8B GPQA 上 SFT 31.0，Base 为 42.9。
• 覆盖与广度的代价（附录 E.2）：在要求穷尽枚举的 ResearchQA 上，ProRubric 的三种子均值为 61.1（4B）和 64.9（8B），Rubric-RL 为 62.9 和 65.8。作者称合取的失败条款换来更密的表达，同时放弃一部分覆盖广度。

作者指出的局限与后续方向

• 单轮：临床咨询跨多轮展开，澄清问题是必要的。本工作评测的是单轮回复（Limitations and future work）。
• 评审：使用的是对照过医生的 LLM 评审（Appendix B.1），而不是临床试验（Limitations and future work）。
• 后续：把协议 rubric 扩展到交互式对话和人类研究，作者称为关键的下一步（Limitations and future work）。
• 写作域：作者称写作为何改善仍是开放问题；把任务与 rubric 形状拆开需要进一步研究（Section 5.5，并指向 Appendix D.5 与 D.2）。
• 发布：作者计划发布代码、生成的 ProRubric rubric 和全部评审提示词（Reproducibility Statement）。论文写的是 will be released。
• 使用边界：训练出的模型是研究产物，未经临床使用验证，不应用于给出医疗建议或为患者分诊（Ethics Statement）。

实验覆盖范围

• 模型与域：被测并训练的模型为 Qwen3-4B 与 Qwen3-8B，非思考模式；每个域一个策略，域为 RubricHub medical、writing、dialogue 与 RaR-Science（Section 5.1）。科学训练集为 18,333 条提示词（Appendix A.1）。
• 基准与指标：七基准为 HealthBench、MedQA、WritingBench、Creative-v3、Arena-Hard v2、GPQA-Diamond、ResearchQA；appropriateness 在 HealthBench-consensus 上、由 DeepSeek-V4-Pro 打分（Section 5.1）。主表训练方法为三种子（Section 5.1）。
• 对照：聚合对照包括 raw-AND、Implicit、去掉失败条款、Graded、K=1；其他改动包括长度匹配、KL 惩罚、重加权，以及 SFT（Table 3，Section 5.3）。训练奖励模型为 Doubao-mini，不用于评测。
• 激励审计：训练前编辑覆盖 300 个临床病例（Table 1b）；跨域适当性探针为每域 200 条提示词的三种子均值，点名编辑为每域 300 条训练提示词（Section 5.5）。动态曲线为 4B、三种子、300 条 HealthBench-consensus（Section 5.4）。
• 论文写明未测或未给出的量：评审的训练成本未测量（Section 4.3）。结构校验不验证描述的事实正确性或语义覆盖（Appendix A.3）。跨维度奖励保持加性（Section 4.2）。OPSD 使用更小的生成预算（Section 5.1）。

Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。

• 问题：Rubric-RL 通常用加权求和。条目可以互相补偿，漏掉关键决策仍能靠容易满足的内容补分。作者把这视为 reward hacking。在临床咨询上，Qwen3-4B 的 coverage 从 26.6 升到 32.1，留出医生条目上的 appropriateness 从 54.1 降到 26.0。无 rubric 时，DeepSeek-V4-Pro 与 GPT-5.6-luna 在医学上更偏好未训练回答（65.7% 与 93.6%，Table 1a）。
• 方法：清单被离线分成 2–5 个协议维度。维度内必须全部成立，惩罚条目改写成不得违反，并以失败条款作废该维；权重为组内绝对权重之和。跨维仍是加性求和。生成用 DeepSeek-V4-Pro 做一次，优化器仍是 GRPO，训练奖励来自 Doubao-mini。
• 医学结果：4B、三种子下 ProRubric 为 appropriateness 36.8±2.7、coverage 35.0±1.4，Rubric-RL 为 26.0±2.2 与 32.1±1.2（Table 3）。8B 上 appropriateness 为 45.8 对 29.5。两者都低于未训练 Base 的 54.1。逐字分组 raw-AND 为 34.9，整清单一次打分为 36.7；截短 42% 后为 27.1。50 步内 Rubric-RL 从 55.8 降到 35.9，ProRubric 仍为 50.3。
• 跨基准：Table 2 中 ProRubric 的七基准平均在 4B 为 46.9、在 8B 为 52.2，作者称两尺度都最高；相对 Rubric-RL，4B 高 1.3，95% 区间 [+0.2, +2.4]。ResearchQA 上 ProRubric 低于 Rubric-RL（4B 61.1 对 62.9，8B 64.9 对 65.8）。explicit aggregation 下适当性在医学、科学、对话下降，在写作上升 16.0。
• 作者的结论：奖励是否有效，既取决于 rubric 核验什么，也取决于它如何聚合。只改聚合就能在医学和对话中移动崩塌；科学里措辞也起作用。ProRubric 在不改优化器的情况下抬高适当性且不损失覆盖率。作者同时写明，跨维度的加性奖励仍会为额外内容付费，适当性仍低于未训练模型，且当前评测是单轮、由 LLM 评审完成。