RubricArmor: Improving LLM rubric generation with adversarial evolution

LLM 直接生成的 query 级评分准则（rubric）容易被 reward hacking：遗漏或写得不完整的准则，会让低质量回答拿到高 rubric 奖励，并在后续强化学习中被强化。

• 出现场景：作者把 rubric-based RL 写成两阶段。先为每个 query 构造多条可检查准则，再让策略最大化回答满足准则的比例。作者认为准则决定哪些行为被奖励，因而决定被强化的行为；专家标注难以扩展。
• 现有不足：直接提示 LLM 从 query 生成 rubric，可能漏掉必要准则，或使准则欠指定。策略会主动搜索高奖励行为，从而反复产出高分低质回答。清单式方法不检验低质回答能否仍满足全部条目；用参考回答或偏好比较做精炼的方法，依赖已有回答，而不是主动利用当前 rubric 的回答。
• 核心观察：Figure 1 给出两类情形。（a）只检查部分事实时，额外事实错误不被检出；（b）定义类准则未写明含义时，不符合预期的回答仍可通过。作者据此认为，直接生成的 rubric 易被 reward hacking。
• 提出的方法：提出 RubricArmor。在 RL 之前用对抗演化暴露并缓解潜在 reward hacking：攻击步构造满足当前 rubric、但未正确完成任务的回答；修复步改写准则以检出这些缺陷，同时保留其他有效准则。

Rubric-based RL

• 显式准则奖励：Gunjal et al.（2026）、He et al.（2026）用针对每个 query 的显式准则提供可解释、任务相关的奖励。
• 静态 rubric：Li et al.（2026a,b）合成大规模 rubric 数据；Liu et al.（2026）、Xu et al.（2026）、Jiang et al.（2026）训练能生成准则并评判回答的 rubric reward model。作者指出，静态 rubric 在构造时没有主动防范 reward hacking。
• 动态 rubric：Rezaei et al.（2025）从策略与参考回答的成对比较中引出新准则；Ding et al.（2026）在每个训练步共同演化策略与 rubric 生成器。作者指出，动态 rubric 只适应训练中已经出现的行为，把构造和 RL 循环绑在一起。

LLM-based rubric 生成

• 清单生成：Cook et al.（2024）的 TICK、Lee et al.（2025）的 CheckEval、Wei et al.（2025）的 RocketEval，把 query 要求写成供 LLM judge 使用的二值问题。
• 渐进精炼：Zhang et al.（2026）的 ChasingTail 用多样高质量回答区分准则；Shen et al.（2026）与 Li et al.（2026a）把粗准则分解为细准则；Su et al.（2026）把问题扩到场景与视角；Fu et al.（2026）从多个互补角色引出准则。
• 作者的批评：这两类工作提高了对理想回答的覆盖和精度，但构造或精炼时没有使用利用 rubric 的对抗回答，因而不主动防范 reward hacking。

Reward hacking

• 定义与过优化：Skalse et al.（2022）把 reward hacking 定义为提升不完美代理奖励时真实目标下降。论文引述 Gao et al.（2023）：把学到的 reward model 优化过某一点后，金标准奖励下降。
• 训练时缓解：例子包括 Coste et al.（2024）的 reward model 集成，以及 Miao et al.（2024）的信息论 reward modeling。
• rubric 场景：Mahmoud et al.（2026）讨论策略满足字面准则但降低整体质量；Wang et al.（2026）讨论利用 LLM judge 的潜在偏差；Qin et al.（2026）的 ImpossibleRubrics 用不可能任务上的对抗答案压力测试生成的 rubric；Yang et al.（2026）的 Rubric Dropout 在每步随机丢掉部分准则。作者指出，这些工作诊断问题或在优化时缓解，没有修补导致 reward hacking 的准则缺陷。

基线与基准

• 生成基线：LLM-based 为 Direct、TICK、RocketEval、ChasingTail、RRD-Uniform（RRD 的等权变体）。训练式为 Rubric-ARM-8B、Rubric-RM-8B、Rubric-ARROW-8B。
• 数据：偏好评测用 JudgeBench、RM-Bench、RewardBench 的 Chat-Hard。下游 query 来自 WildChat，评测用 BiGGen-Bench、AlpacaEval 2.0、Arena-Hard，域外用 HealthBench-Hard。

作者将本文定位为：在 RL 之前模拟策略的 reward hacking 并修补 rubric，使同一 rubric 在整个策略优化中复用，并与训练时缓解和动态 rubric 方法互补。

RubricArmor 在 RL 之前运行攻击–修复循环：攻击步模拟策略可能采取的 reward hacking，修复步据此改 rubric。系统包含 Attack Discovery 与 Verified Rubric Repair。

问题设定与奖励

• 目标：给定 query x，构造 rubric R，使奖励反映回答 y 的质量。R = {c1, …, cm}，每条准则是可检查要求。
• 奖励：LLM 验证器对每条准则返回 v(x, y, ci) ∈ {0, 1}，1 为 Pass、0 为 Fail。等权奖励为满足准则的比例 s(x,y)=1/m∑_i=1^m v(x,y,c_i)。
• 智能体与记忆：初始化器由 x 构造 R0，记忆 H 初始为空。H 记录以往对抗回答、其结果和已接受修订，并引导后续轮次。

Attack Discovery

• 组成：攻击者、验证器、独立质量判断。攻击者在 H 引导下写出回答 yt，并标出潜在缺陷 pt。
• 两步确认：验证器先逐条打分，判断 yt 是否拿到满分；仅满分回答才进入质量判断。质量判断根据 query 及其上下文，检查 pt 是否出现在 yt 中，以及是否实质降低回答质量。qt = 1 表示第二条件成立。
• 成功攻击：满足 s(x,y_t;R_t)=1 且 qt = 1。作者将其作为 Rt 未能检出的缺陷证据。附录 C 的 Prompt C.2、C.3、C.6 给出攻击者、质量判断和验证器的完整提示词。

Verified Rubric Repair

• 组成：修复智能体、验证器、审查智能体。修复智能体把 Rt 改为 R′，并查阅 H，以免新修订冲掉已接受的旧修复。
• 准则性质：作者要求每条准则原子、自包含、不重叠（引用 Shen et al., 2026）。原子指只检查一个可独立判断的要求；自包含指写明判断所需的事实、数值或关系；不重叠指不重复奖励同一回答属性。作者称，这是为了使单条准则可被单独违反，同时其余准则仍可满足。
• 接受条件：同一 yt 在 R′ 下奖励低于 1，即至少一条 Fail；且审查通过，记 bt = 1。审查检查修订是否检出已确认缺陷，以及其他有效准则与上述三性质是否保留。附录 C 的 Prompt C.4、C.5 给出修复与审查的完整提示词。

演化流程与默认设置

• 循环：Algorithm 1 中，攻击成功才调用修复。若修订后的集合与当前集合相同，连续无修订计数加 1，否则清零。
• 停止：最多 T 轮，或连续 P 轮没有接受修订。返回最后接受的 rubric，用于下游策略优化。未接受任何修订时，算法保持初始化得到的集合。
• 默认参数：Section 4.1 设 T = 7、P = 3。默认生成骨干为 Gemini-3.1-Flash-Lite，附录 C.2 将其推理力度设为 low；各智能体共用该骨干。公平比较时，各方法的验证器均为 GPT-4.1-mini，逐准则判断并按等权比例聚合。初始化得到的 R0 同时作为 Direct 的 rubric。

实验设置

• 偏好数据：JudgeBench 的 Knowledge、Reasoning、Math、Coding；RM-Bench 的 Chat、Math、Code、Safety（每条 query 的 chosen/rejected 各有三种风格，每 query 九次比较）；RewardBench 的 Chat-Hard。每条样本含 query、chosen、rejected。论文未给出九个集合的样本量。
• 指标：验证器按等权满足比例给两边打分。chosen 奖励更高计正确，平局计半分。报告各集 preference accuracy，以及九集无权重 Macro Avg.。Table 3、Table 5 与 Figure 3 中，JudgeBench 和 RM-Bench 另用按比较数加权的 micro accuracy。
• 基线：LLM-based 为 Direct、TICK、RocketEval、ChasingTail、RRD-Uniform。训练式生成器为 Rubric-ARM-8B、Rubric-RM-8B、Rubric-ARROW-8B。
• 生成与验证：除非另述，生成骨干为 Gemini-3.1-Flash-Lite，验证器为 GPT-4.1-mini，T = 7，P = 3。各 LLM-based 方法共用该骨干与验证器。
• 下游 RL：从 WildChat 取 2K 条 query，每种方法每条 query 生成一条 rubric，用 GRPO 微调 Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Qwen3-4B。Qwen3-4B 为 thinking 模式，只给最终答案打分。训练时验证器为 GPT-4.1-mini；下游评判为 GPT-4.1。基准为 BiGGen-Bench（765 条）、AlpacaEval 2.0（805 条指令，含 length-controlled 胜率）、Arena-Hard-Auto v0.1（500 条，含 style-controlled 胜率）。附录 B.3 用 HealthBench-Hard（1,000 条医疗对话，医师撰写准则）。
• 训练配置：附录 C.2 写明 global batch 128、每 query 8 条 rollout、温度 1.0、学习率 1×10−6、KL 系数 1×10−3、提示词上限 2048 token、回答上限 9216 token、3 epoch、8 张 NVIDIA H20。论文未报告偏好评测和下游评测的重复次数。

主结果

据 Table 1，单位为 preference accuracy（%）。Math 为 JudgeBench Math，Safety 为 RM-Bench Safety。表中省略 TICK、RocketEval、Rubric-RM-8B。

Swipe horizontally to read the table

方法	Macro Avg.	Reasoning	Math	Safety	Chat-Hard
Direct	70.11	53.69	70.56	89.91	74.67
ChasingTail	73.97	68.12	76.67	88.38	72.37
RRD-Uniform	72.11	67.79	77.78	80.91	69.74
Rubric-ARM-8B	68.46	58.72	70.00	74.14	78.29
Rubric-ARROW-8B	63.93	54.70	65.00	65.82	79.06
RubricArmor	77.09	67.11	83.33	91.58	78.73

• Direct：作者称它在 LLM-based 方法中宏观最低，JudgeBench Reasoning 接近随机猜测，并认为直接生成常遗漏必要准则或使准则欠指定。
• 其他基线：作者称四种 LLM-based 方法宏观高于 Direct，但各自仍有集合低于 Direct。表中未列的宏观为 TICK 71.00、RocketEval 72.97、Rubric-RM-8B 67.95（Table 1）。作者称训练式生成器在 Chat-Hard 有竞争力，但宏观低于 Direct，尤其在 RM-Bench Math 与 Safety，并认为微调得到的生成能力绑定训练域。
• RubricArmor：作者称九个集合均高于 Direct，宏观高于最强基线 ChasingTail 3.12 点。表中 Reasoning 与 Chat-Hard 不是最高列。

响应构造与对抗目标

• 测试内容：Table 2 拆开 Attack Discovery 的两个设计。† 只描述缺陷、不构造回答，且不经质量判断；‡ 构造能满足当前 rubric 的回答，但不故意引入缺陷，修复前也不做质量判断。
• 数字：宏观分别为 Direct 70.11%、† 71.69%、‡ 72.80%、完整方法 77.09%。† 的 Chat-Hard 为 69.08%，低于 Direct 的 74.67%。
• 作者解读：作者认为，基于未经验证缺陷的修复可能惩罚有效回答；没有故意缺陷的修订，增益接近已有精炼方法。作者称完整方法相对 Direct 的增益大于两个变体增益之和，因为对抗目标决定找什么缺陷，具体回答使缺陷可被验证。

骨干泛化与演化轮数

• 生成骨干：Table 3 更换全部智能体的骨干，Direct 仍是初始 rubric，验证器仍是 GPT-4.1-mini。五种骨干在三个基准套件上都高于各自的 Direct。JudgeBench、RM-Bench 为 micro accuracy。Gemini-3.1-Flash-Lite 的 JudgeBench micro 从 62.10 到 73.63（相对 18.6%）；GLM-5.1 从 85.40 到 86.29（相对 1.0%）。Chat-Hard 上 DeepSeek-v4-Flash 从 74.34 到 80.48（相对 8.3%）。作者认为增益来自对抗演化，而不是某一模型族，并认为增益是在补充骨干能力，而不是依赖骨干能力。
• 轮数：Section 4.5 在 Gemini-3.1-Flash-Lite 与 Qwen3.5-397B-A17B 上把 T 从 0 变到 8。作者称三个套件的准确率在早期上升后进入平台，并将其归因于接受修订后成功攻击变少。作者称平均准则数近乎稳定，例如 Gemini 骨干在 JudgeBench 上从 4.36 到 4.66，因而认为增益来自准则质量而不是准则条数变多。Figure 3 的曲线端点未在正文以数字标出。
• 计算：附录 B.2 与 Figure 4 用每条 query 的总 token 和耗时衡量成本。作者称成本在前三轮增长快、随后变平，因为超过半数 query 在连续三轮无接受修订后停止。正文未给出具体 token 数或秒数。

下游 rubric-based RL

• 主对比：Section 4.6 从 Table 1 选取 LLM-based 基线。作者称所有方法都提高了三种策略在 BiGGen-Bench 上的分数和 AlpacaEval 2.0 胜率。RubricArmor 在 15 个策略–指标组合中领先 13 个（Table 4）。
• 条件与例外：Qwen2.5-3B-Instruct 的 AlpacaEval 2.0 LC 从 Original 的 15.62 到 24.34，相对变化为 55.83%；作者称相对 ChasingTail 再高 6.57%。Qwen2.5-7B-Instruct 上，ChasingTail 的 AlpacaEval vanilla 为 39.99、Arena-Hard vanilla 为 56.72，高于 RubricArmor 的 39.64 与 56.66；LC 为 33.64 对 31.89，SC 为 56.60 对 54.99。另有低于 Original 的格子，例如该 7B 模型上 TICK 的 Arena-Hard vanilla 为 50.67（Original 50.84）、SC 为 53.23（Original 53.52）。
• 作者解读：作者称长度和风格控制后仍领先，说明策略是在完成任务，而不是靠更长或格式更重的回答；并称这是 RubricArmor 缓解 rubric-based RL 中 reward hacking 的间接证据。

其他消融与分析

• 验证器：Table 5 复用 Table 1 的 rubric，只换验证器。GPT-4.1、Gemini-3.5-Flash、GPT-4o-mini、GLM-5.1、DeepSeek-v4-Flash 上，三个套件均高于 Direct。作者称相对增益最大出现在其所称最弱的 GPT-4o-mini：JudgeBench 63.39 到 71.45（12.7%），RM-Bench 73.63 到 78.59（6.7%）；该验证器的 Chat-Hard 为 74.01 到 74.67（0.9%）。作者认为自包含准则减少了验证器需要自行补充的知识。
• 域外策略：Table 6 在 HealthBench-Hard 上评估 WildChat 训练后的策略；为避免总分被截断到 0，每个样本–轴分数先截断到 [0, 1] 再平均。作者称 RubricArmor 在三种策略的五个轴上都高于 Original，平均分均为最高：27.19、32.20、37.94，相对 Original 为 7.95%、11.39%、7.52%。并非每个轴最高，例如 Qwen2.5-7B-Instruct 的 Accuracy 上 RocketEval 为 24.75，RubricArmor 为 23.80。作者称医师撰写的准则未用于生成或优化，因而认为这些增益不太可能来自利用训练 rubric。

作者指出的局限与后续方向

• 调用成本：构造每条 rubric 需要多轮 LLM 调用。作者写明成本发生在策略优化之前一次，但降低成本仍有价值，例如在相似 query 之间共享已确认的缺陷（第5节 Limitations & Future Work）。
• 判断错误传递：RubricArmor 依赖 LLM 智能体确认缺陷，质量判断的错误会传入修订后的 rubric。作者据此提出需要更强的验证机制（同一节）。

实验覆盖范围

• 偏好评测：九个集合来自 JudgeBench、RM-Bench、RewardBench；指标为 pairwise preference accuracy，平局计半分，Macro Avg. 为九集无权重平均（Section 4.1）。Table 3 与 Table 5 另报告按比较数加权的 micro accuracy。
• 模型与轮数：默认生成骨干为 Gemini-3.1-Flash-Lite，验证器为 GPT-4.1-mini，T = 7、P = 3。Table 3 比较五种生成骨干，Table 5 比较五种验证器骨干并复用 Table 1 的 rubric。Table 2 分别关掉响应构造和对抗目标。Section 4.5 在两种生成骨干上把 T 从 0 变到 8。
• 下游与域外：WildChat 的 2K 条 query，GRPO 微调三种策略，由 GPT-4.1 在 BiGGen-Bench、AlpacaEval 2.0、Arena-Hard 上评判（Section 4.6）。附录 B.3 在 HealthBench-Hard 的 1,000 条对话上评估，样本–轴分数先截断到 [0, 1]。
• 论文讨论但未放入实验基线的方法：附录 A 讨论了训练中更新的动态 rubric，以及 Rubric Dropout 等训练时缓解；实验基线是静态的 LLM-based 生成方法和训练式 rubric 生成器。
• 论文未报告：九个 preference evaluation set 的样本量、偏好评测与下游评测的重复次数、攻击者在单轮内的尝试次数，以及 Figure 4 中的具体 token 数和秒数。

RubricArmor 是用于 rubric-based RL 的 LLM rubric 生成框架，把 reward hacking 的暴露和修补放到策略优化之前。

• 问题：直接从 query 生成的准则可能漏掉必要要求，或写得不完整。低质回答因此仍可得到高 rubric 奖励，并在 RL 中被反复产出。清单式生成和基于已有回答的精炼，都不使用主动利用当前 rubric 的回答。
• 方法：攻击者构造满足当前准则但未正确完成任务的回答；验证器确认满分后，独立质量判断确认缺陷及其对质量的影响。修复步在保留有效准则的前提下改 rubric，使同一回答至少失败一条，并通过审查。准则被要求原子、自包含、不重叠。默认最多 7 轮，连续 3 轮无接受修订则停止。
• 偏好评测：Table 1 中，Gemini-3.1-Flash-Lite 生成、GPT-4.1-mini 验证时，九集 Macro Avg. 为 77.09%，九集均高于 Direct。作者称高于 ChasingTail 3.12 点。并非每列最高：Reasoning 上 ChasingTail 为 68.12，RubricArmor 为 67.11；Chat-Hard 上 Rubric-ARROW-8B 为 79.06，RubricArmor 为 78.73。
• 下游：三种策略、五项指标共 15 个设置中，RubricArmor 领先 13 个（Table 4）。Qwen2.5-3B-Instruct 的 AlpacaEval 2.0 LC 为 24.34，相对 Original 的 15.62 为 55.83%。7B 上有两格 vanilla 胜率低于 ChasingTail，长度和风格控制后作者称仍由 RubricArmor 领先。
• 作者结论：作者称对抗演化提高了 rubric 质量，并转化为更有效的下游 rubric-based RL；长度和风格控制后的结果被作者视为缓解 reward hacking 的间接证据。作者同时写出两点后续问题：多轮 LLM 调用的成本，以及质量判断错误会传入修订后的 rubric。