MetaRubric：面向评分标准强化学习的奖励方法

开放式任务的rubric评审会在所需信息或动作缺失时仍给高准则分，作者称之为Vacuous Credit。

• 出现场景：rubric-based RL按实例级准则给开放式回答部分分，加权后作为策略奖励（引言）。作者认为，若记分对象在回答中并不存在，优化会偏向未满足重要要求的回答。
• 已有问题：作者区分准则欠指定与无依据评审。前者使删掉准则所需信息后奖励仍可能保留；后者给缺失内容记分，扭曲GRPO所用的相对奖励。作者称，组内纠正一次错误记分即可翻转该回答优势的符号。
• 观察：在HealthBench上以GPT-4o-mini或GPT-5.4-mini为奖励评审训练Qwen3-8B时，作者称训练奖励上升，而三名更强评审一致同意下的满足度总体下降；审计标出的Vacuous Credit在训练中持续存在（Fig. 2，Sec. 3.1）。
• 做法：提出MetaRubric。内环只在回答有足够证据时给准则记分，并与辅助QA一起做GRPO；外环用当前策略的回答修订原准则与反事实准则，并在阶段边界调整准则组权重，同时保持初始rubric在各提示词事实下的含义。评测在文本与多模态医学基准上进行。

相关工作按论文第2节分成两组，实验基线另列。

Rubric-based RL

• Rubrics as Rewards（Gunjal et al., 2026）：用实例级准则把on-policy RL扩展到开放式任务。
• 准则生成与细化：RubricHub与OpenRubrics扩展准则生成（Li et al., 2026; Liu et al., 2026; Yuxuan et al., 2026）；RRD细化粒度与权重（Shen et al., 2026）。论文此处只作描述。
• 其他奖励生成：成对自适应准则（Jia et al., 2026）、策略自评分（Ye et al., 2025），以及准则生成器与推理器或评审的联合优化（Sheng et al., 2026; Guan et al., 2026; Xu et al., 2026）。

Rubric RL中的奖励黑客

• 代理奖励偏离：Gao et al.（2023）讨论代理奖励上升可与回答质量脱节。
• 区分度与失败类型：Chasing the Tail（Zhang et al., 2026）提高高质量回答之间的rubric区分度；Mahmoud et al.（2026）区分验证器失败与rubric设计局限。
• 已有缓解：RLR3（Yu et al., 2026b）用受限输入暴露做确定性验证；Yang et al.（2026a）在RL中随机丢弃准则。论文在此后定义Vacuous Credit，并称内容删除测试与记录组回放把该判断错误连到策略优化。

基线方法与基准

• 基线：静态评审的GRPO（Shao et al., 2024）、DAPO（Yu et al., 2026a）、Dr. GRPO（Liu et al., 2025）、GSPO（Zheng et al., 2025）。
• 基准：PubMedQA（Jin et al., 2019）、HealthBench与HealthBench-Hard（Arora et al., 2025）、MMOral-X（Fan et al., 2026）、MMOral-OPG（Hao et al., 2026）。MMOral两个基准共用OralGPT-Plus的训练子集，文中记为MMOral-RL。

作者称，MetaRubric把证据感知的策略优化与由回答引导的rubric适配耦合：策略错误驱动原提示词与反事实案例上的准则修订及准则组重加权，同时保留初始rubric的既定要求。

MetaRubric分阶段交替：内环在固定rubric下做证据感知的GRPO，外环按本阶段回答重加权并修订准则（Fig. 3）。

问题设定

• 对象：给定查询x及其对话上下文，策略πθ(y|x)要满足该提示词自己的rubric。准则k有权重wk≥0；评审给出mk∈{0,1}。
• 参考与归一化：每条准则有二元参考值bk∈{0,1}，决定源分数是直接使用还是在满足尺度上取补（附录A.2.3）。Bx为权重与bk的乘积和，Px为全部权重减Bx，且Px>0。rubric奖励是加权满足分减去Bx后再除以Px。
• 训练目标：在训练提示词分布上最大化该奖励的期望。作者认为这一目标默认更高评审奖励意味着更好的准则满足，Sec. 3检验该假设。

内环：证据感知优化

• 反事实对：每个提示词配一个反事实，只改一个任务相关事实，其余上下文不变（Fig. 3示例为年龄40改为60）。回答只按其对应rubric计分。对应标签记录准则是跨对不变，还是在目标、权重或适用性上改变。构造细节在附录A.2.1。
• 三项取最小：评审对每条准则给出[0,1]的satisfaction、coverage、support。准则分取三者最小，ρ_k=min(u^sat_k,u^cov_k,u^sup_k)。作者称，删掉所需内容会压低分数，而不论satisfaction如何；说出错误样本量可以有覆盖，但不满足要求正确值的准则。
• 回答级封顶：用该准则分替换二元判断后，再用整体证据支持上限压低他处无依据声称，并用质量因子（relevance、coherence、concision的最小值）压低离题、不一致或注水回答。结果裁剪到[0,1]。
• 辅助QA：读者Qwen3-1.7B只根据回答做四选一。生成器把参考答案与标注中的事实做成题目，训练前固定题库。正文写只保留读者无法仅凭题面答对的题。训练奖励为R=λ_rubR^rub+λ_QAR^QA。正文未给系数；附录A.2.4的HealthBench配置取1与0.3。

外环：重加权与修订

• 分组：严重度为nice-to-have、should-have、must-have、contraindication，基权重递增。同一严重度与对应标签共享一个对数调整，准则权重等于基权重乘以该调整的指数。附录该配置的锚点为(4, 5, 6, 8)，初始调整为0。
• 按误差移动：阶段末用独立于训练奖励的二元评分，在本阶段回答子集上计算组误差。组误差先对组内准则、再对回答、最后对案例（提示词对）平均。调整量等于步长乘以该组误差减平均误差。失败更多的组增权。该配置步长0.1，最多96条回答、每提示词一条。
• 约束：同一对应标签下，权重须随严重度递增；调整绝对值不超过相邻严重度的最小对数间隙，该配置为log(6/5)；调整均值保持为0。
• 修订：初始rubric是语义锚。提议者根据锚、当前rubric、提示词和一条阶段回答，改写一条含糊或不匹配的描述，必要时更新对应标签。只在留出集上相对参考面板的一致率增益严格大于δ，且语义审查确认未改变锚定要求时接受。该配置δ=0.02，每次边界最多1条提议，验证用20个不同提示词对。附录A.3给出完整提示词。

阶段循环与组内优势

• 交替：阶段内准则描述、对应标签和组调整固定。先做N次GRPO，再根据本阶段回答与留出验证更新配置。正文用符号N，附录表未给出N的数值。
• GRPO组：每个提示词对上，原提示词与反事实各采样G条，G≥2，2G条组成一组，各自用自己的rubric计分。优势为奖励减去组均值，再除以组内样本标准差加ε。该配置G=8、ε=1e-6。
• 题库例外：附录A.2.2写评测题库与训练筛选不同。HealthBench-Hard使用内容审查后的题，不要求通过仅凭题面的筛选；两个MMOral库在valid-wrong rate超过90%后保留全部已构造题，包括读者答对的题。评测用的Aux. Acc.与训练中的加权QA分不是同一个量。

实验设置

• 策略：文本为Qwen3-4B、Qwen3-8B、Gemma-e2b；多模态为同尺寸Qwen3-VL与Gemma-e2b（Sec. 5.1）。Table 2另列未按本文训练的LLaVA-OneVision、InternVL3.5-8B-Instruct、MiniCPM-V 4.5、MedGemma 1.5-4B。
• 数据规模：测试为PubMedQA专家标注500题、HealthBench-Hard 1000条对话、MMOral-X 300题（Simple/Moderate/Complex均等）、MMOral-OPG 578题六类任务且一次评测（A.2.5）。训练用PQA-L非测试部分、HealthBench的非Hard对话、MMOral-RL的980个原例与8672条准则。论文未给出前两个训练集的条数。
• 基线与指标：未训练baseline，以及静态评审GRPO、DAPO、Dr. GRPO、GSPO。指标为PubMedQA accuracy、HealthBench-Hard accuracy-axis、MMOral-X三子集均分、MMOral-OPG overall、Aux. Acc.。PubMedQA有确定标签，不报Aux. Acc.。无效读者输出计错。
• 评审：测试集的模型评分均为GPT-5.5。Sec. 3.1的诊断面板为GPT-5.5、Gemini 3.5 Flash、DeepSeek-V4-Pro，须一致同意才计满足。Sec. 5.1未写明Table 2全部训练运行的奖励评审；附录A.2.4的HealthBench、Qwen3-4B-Instruct-2507配置写明内环与外环角色使用GPT-5.4-mini。
• 重复与该配置：附录A.1写明每种训练配置一个seed。Table 6该配置seed=42、epoch上限3、学习率1e-6、温度0.7、top-p 0.8、top-k 20、提示词最长2048、回答最长1024。

主结果

据Table 2。Qwen3族的多模态列使用同尺寸Qwen3-VL。数字为百分数。

表格较宽，可左右滑动

模型与方法	PubMedQA	HB-Hard	MMOral-X	MMOral-OPG
Qwen3-4B + GRPO	72.40	10.56	5.72	23.18
Qwen3-4B + MetaRubric	78.40	13.02	7.73	26.35
Qwen3-8B + GRPO	70.00	7.15	7.08	27.35
Qwen3-8B + MetaRubric	76.80	10.34	9.21	30.44
Gemma-e2b + GRPO	51.60	13.07	4.74	31.28
Gemma-e2b + MetaRubric	72.00	15.68	6.03	35.10

• 相对GRPO：作者报告21项模型族–指标比较全部高于静态评审GRPO，其中19项在训练方法中最高。摘要写PubMedQA相对static-judge GRPO提高6.00–20.40个百分点；引言用points写出同一区间，并写HealthBench-Hard 2.46–3.19、MMOral-X 1.29–2.13、MMOral-OPG 3.09–3.82。这些区间与Table 2中三族相对GRPO的差值一致。
• 例外：Dr. GRPO在两处基准分略高：Qwen3-4B的HealthBench-Hard为13.28，MetaRubric为13.02；Gemma-e2b的MMOral-OPG为35.42，MetaRubric为35.10。Qwen3-8B的PubMedQA上，MetaRubric 76.80，次高DAPO为76.60。
• 作者解读：PubMedQA增益说明提高也出现在答案准确率上，不只在rubric评分上。开放式基准的Aux. Acc.相对GRPO提高3.23–5.68个百分点；作者称即便在上述两处基准分略低的设置里，该指标仍由MetaRubric领先。

Vacuous Credit诊断

• 设置：Qwen3-8B在HealthBench上训练，奖励评审为GPT-4o-mini或GPT-5.4-mini。删除测试取1000条训练中被判正确的rollout，由GPT-5.5做两种编辑：删掉满足目标准则所需的内容，或只删不满足该要求的泛化陈述（Sec. 3.1–3.2）。
• 结果：作者称Fig. 2(a,b)中训练奖励上升，而独立面板分数下降；Fig. 2(c,d)中完全满足权重的变化总体下降，审计标出的Vacuous Credit持续存在。正文未给出曲线端点。Table 1：必需内容删除后保留率，GPT-4o-mini为82.0%，GPT-5.4-mini为69.8%；泛化陈述删除后为93.1%与95.0%。
• 作者解读：多数目标准则奖励在要求已不满足时仍然保留。作者认为，省略所需动作仍可能得到不低于完成该动作的奖励，从而改变组内被强化的回答。论文未给出优势符号实际翻转的次数。

组件消融

• 测了什么：Qwen3-4B族。HealthBench-Hard用Qwen3-4B，MMOral-OPG用Qwen3-VL-4B（Fig. 4）。适配消融冻结初始描述与标签、权重，或两者都冻。证据消融只用satisfaction，并去掉回答级支持上限。各变体仍保留质量乘子、辅助QA与配对采样。
• 结果：作者称同时冻结描述与权重的降幅最大，相对完整方法为3.17与4.40分。去掉证据检查下降1.22与2.59分。完整方法为13.02与26.35，与Table 2相同。
• 作者解读：修订对HealthBench-Hard的单独影响更大，权重适配对MMOral-OPG更重要。作者认为结果同时支持适配要求的表达与优先级，以及检查被记分内容是否有证据。

准则修订与终态rubric

• 修订范围：Table 3，Qwen3-4B。至少改过描述或对应标签的准则：HealthBench 4727/10448（45.2%），PubMedQA 879/2949（29.8%），MMOral-RL 5259/8672（60.6%）。平均词数40.8到46.3、14.3到18.2、16.9到22.5。作者称未改比例从MMOral-RL的39.4%到PubMedQA的70.2%，修订是选择性的。
• 终态是否够用：Table 4只用学到的终态rubric重训、不再继续适配。HealthBench-Hard从8.83到9.04，MMOral-OPG从20.59到21.78；MetaRubric为13.02与26.35。作者称这只恢复完整方法增益的5.0%与20.7%，并认为rubric更新序列本身是学习过程的一部分。
• 示例：Fig. 5的一个阶段把证据准则权重从+6调到+5，把夸大惩罚从−6调到−8。作者用它说明澄清措辞与改变相对优先级是两种控制，不把它当作汇总统计。

其他消融与分析

• Table 5评测题库：HealthBench-Hard 4117题，覆盖965/1000条；MMOral-X 828题覆盖全部300条；MMOral-OPG 981题覆盖全部578条。
• 式(2)的Vacuous Credit奖励只计入bk=0、所需内容完全省略但仍被记分的准则，再除以Px。正文未给出该量的数值端点。
• 附录A.2.4：检查点每10次更新保存；外环提议者看不到留出回答及其参考判断。论文未把这些设置写成消融。

作者指出的局限与后续方向

• 单seed：每种训练配置使用一个seed，报告结果没有量化不同训练运行之间的变异（附录A.1）。
• 比较范围：许多相关工作未发布训练代码，无法在匹配实验设置下直接比较（附录A.1）。

Conclusion没有另列后续实验。正文对终态rubric不足以复现完整增益的解释，没有写成局限或未来工作。

实验覆盖范围

• 策略：训练比较包括Qwen3-4B、Qwen3-8B、同尺寸Qwen3-VL与Gemma-e2b；Table 2同时列出四个参考模型（Sec. 5.1）。
• 测试集：PubMedQA 500题、HealthBench-Hard 1000条、MMOral-X 300题、MMOral-OPG 578题（A.2.5）。PubMedQA不构造辅助题，也不报Aux. Acc.（A.2.2）。
• 基线与消融：训练方法基线为GRPO、DAPO、Dr. GRPO、GSPO。组件消融与终态rubric重训报告的是Qwen3-4B族在HealthBench-Hard与MMOral-OPG上的结果（Fig. 4、Table 4）。
• 诊断：删除测试为1000条训练中判为正确的rollout，奖励评审为GPT-4o-mini与GPT-5.4-mini；编辑由GPT-5.5生成（Sec. 3.2）。Sec. 3.1的满足度审计使用三模型一致同意。
• 未写明的训练评审：Sec. 5.1写明测试集模型评分为GPT-5.5，但未写明Table 2全部训练运行的奖励评审。附录A.2.4只对所列HealthBench配置写明GPT-5.4-mini。附录A.1写明单seed。正文用N表示每阶段更新次数，附录表未给出N。

MetaRubric针对rubric-based RL里的空记分：评审在准则要求的信息或动作缺失时仍给高分。

• 问题：开放式任务用条目奖励训练策略。作者称，一次错误记分就可能翻转GRPO组内优势的符号，使泛化陈述替代准则要求的具体内容。在HealthBench上训练Qwen3-8B时，作者称训练奖励与独立强评审面板上的满足度方向不一致（Fig. 2）。
• 方法：原提示词与只改一个事实的反事实成对。准则分取满足、覆盖与证据支持的最小值，再加读者Qwen3-1.7B的辅助QA，用GRPO更新。阶段末按组误差重加权，并只接受不改变初始要求、且留出一致率增益过阈值的措辞修订。
• 诊断：1000条rollout上，必需内容删除后，GPT-4o-mini与GPT-5.4-mini仍保留82.0%与69.8%的目标准则奖励（Table 1）。
• 主结果：相对静态评审GRPO，PubMedQA准确率提高6.00、6.80、20.40个百分点，对应Qwen3-4B、Qwen3-8B、Gemma-e2b（Table 2）。21项比较全部高于该GRPO，19项为训练方法最高；两处由Dr. GRPO略高。
• 作者结论：作者称这些结果支持把所需信息与动作的显式检查和训练中的rubric适配一起使用。只用终态rubric重训，只恢复Qwen3-4B在HealthBench-Hard与MMOral-OPG上完整增益的5.0%与20.7%（Table 4）。附录写明结果来自单seed。