Rubrics as an attack surface: covert preference drift in LLM judges

自然语言 rubric 通过 benchmark 验收后，仍可能让 LLM judge 在 target 域相对固定参考发生定向偏好漂移。

• 场景：作者称 RLHF 一类管线越来越多用 LLM judge 提供评测和偏好标签；judge 行为不只由参数决定，也由自然语言 rubric 把对齐目标写成比较标准。Rubric 因此是可编辑的高层决策接口。
• 现有假设：作者称实践中主要用 benchmark 上与人类判断的 agreement 评估 evaluator，并默认强 benchmark 表现能泛化到未见域。精炼靠自然语言编辑和有限反馈，不访问模型内部，也不控制输入。
• 作者的观察：作者将“benchmark 仍达标，但 target 上相对固定人类或可信 reference 出现系统性、方向性偏离”称为 Rubric-Induced Preference Drift（RIPD）。作者认为它不同于偶然泛化缺口：漂移由保持 benchmark 的修改引起，在 target 上连贯，且不易靠汇总指标或少量抽查发现。作者称这一漏洞此前未被充分认识。
• 威胁模型：
  • 目标：得到 R′，降低 judge 与任务 reference 在 D_target 上的 agreement，同时满足 benchmark 保持约束。
  • 知识与能力：只改自然语言 rubric；无参数或梯度；不改评测实例 (x, y1, y2)。Judge 视为 black-box。
  • 数据：两侧都分 probe 与 unseen。Probe 用于精炼和选择；unseen 只做最终评测。Benchmark probe 保住已验证行为，target probe 提供漂移方向。
  • 受害系统：固定参数的 LLM-as-a-Judge；其标签可进入 post-training。
• 本文提出：用 rubric-based preference attacks 诱导 RIPD，检查偏差标签经 DPO 后的策略行为，并压力测试 few-shot、judge 集成和多源 benchmark 验证。

论文第 3 节把相关工作分成三组，并把 RIPD 放在评测器一侧。

LLM-as-a-Judge

• Liu et al. (2023)、Zheng et al. (2023)、Kim et al. (2024)、Fan et al. (2024)、Xu et al. (2025)：用 rubric 引导或结构化提示做开放评测、成对比较和安全评测，并提高与人类判断的一致性。
• Liu et al. (2025)、Wei et al. (2025)、Zhou et al. (2025b)：自动构造 rubric，或按实例生成标准。作者称这些工作主要看评测质量，而不是 rubric 设计能否在 benchmark 验证下系统改写 judge 偏好。

Criteria drift 与评测敏感

• Shankar et al. (2024)、Pavlick and Kwiatkowski (2019)、Perez et al. (2021)、Zheng et al. (2023)、Guerdan et al. (2025)：用标准漂移、标注分歧、对提示或任务设计的敏感来解释评测不稳定。作者称 RIPD 与此正交：judge 在 benchmark 验证下仍可保持，同时 target 偏好被连贯地再加权或重组，而不是噪声或提示敏感。

评估偏差与对齐管线

• Yang et al. (2025)、Zhu et al. (2025) 研究有偏 judge；Christiano et al. (2017)、Bai et al. (2022b)、Lee et al. (2024) 讨论下游对齐。Gao et al. (2023)、Casper et al. (2023)、Kong et al. (2024)、Yang et al. (2024) 讨论不完美奖励或偏好标签与 reward hacking、非预期策略行为。作者称这些工作通常把 evaluator 当作固定，重点是减轻信号里的偏差或噪声。

基线与数据

• 对照为 Seed Rubric、只优化 benchmark 的 Overfit、Random Search、Few-Shot ICL（Brown et al., 2020）、TextGrad（Yuksekgonul et al., 2024），以及 Biased Rubric Search。数据来自 UltraFeedback、ChatbotArena、RMB、Anthropic hh-rlhf、PKU-SafeRLHF，主设置为 Ultra-Real、Ultra-Creative、SafeRLHF-RMB、Anthropic-SafeRLHF。

作者将本文定位为：benchmark 合规的自然语言修改即可诱导定向偏好漂移，并沿 Judge → Label → Alignment 传入策略；这来自 rubric 与 benchmark 验证的交互，而不是 benchmark 或训练程序本身的缺陷。

Biased Rubric Search 只改自然语言 rubric：在 black-box judge 上做群体搜索，降低 target 上相对固定 reference 的 agreement，同时让 benchmark 验证仍可接受。

问题设定与 RIPD

• 固定 judge 对输入和两个回答给偏好。论文写为 ℓ = J_θ(x, y₁, y₂ ∣ R)，ℓ 只取一侧优于另一侧；θ 固定，R 为可编辑 rubric。
• 数据分成不相交的 D_bench 与 D_target。前者用于精炼和接受，后者假定由 benchmark 泛化、但不能直接验证。每对中前者为 benchmark、后者为 target（Sec. 5.1）。
• RIPD 要求存在容差 ϵ≥0 和幅度 τ>0：target 上与 Ref 的 Agr 至少下降 τ；benchmark 上 Agr 的下降不超过 ϵ。Agr 是与 reference 的成对标签一致率。
• 两侧再分 probe 与 unseen。Probe 内又分 exploration split 与 held-out validation split。参考信号默认用数据集原有偏好标签。

攻击目标与搜索

• 攻击不改输入、不访问参数。论文把目标写成最大化相对原 rubric 的 target agreement 损失，并受 benchmark 保持约束：max_{R′∈𝒜(R)}[Agr(J_θ(·∣ R),Ref;D_target)−Agr(J_θ(·∣ R′),Ref;D_target)]。
• Rubric 离散且 judge 为 black-box，故用群体式演化搜索。从初始池出发，做 T 轮评估、选择和精炼；伪代码为 Appendix C 的 Algorithm 1。作者称做法遵循演化与提示级优化的常规实践。
• 每轮从两侧训练数据各抽 20% 估计质量，benchmark 上允许训练容差 ϵ_train。附录取 ϵ_train=0.05、T=4、初始种群 12、每轮保留 k=10、每个保留项精炼 t=4 次。验证预算为每设置最多 30 个候选。
• 主 judge 为 Qwen3-14B，非 thinking、greedy（temperature=0）。改写模型为 DeepSeek-V3，temperature=0.7。两者最大生成长度 4,096 tokens。

非对称精炼与选择

• Benchmark 上与 reference 不一致的样本记为误差；target 上与 reference 一致的样本也记为误差。作者称这是把判对的 target 样本重标为误差，从而把精炼推向相反方向，同时维持 benchmark 行为。
• 精炼器 M 只看到这些误差，并假定自己在提高 rubric 质量；作者称它不知道标签被翻转。它修正 benchmark 误差，同时在 target 上诱导漂移。
• 可行集 V 要求：在 benchmark probe 的 held-out 验证划分上，agreement 不低于初始 rubric R0。在 V 中取 target 验证划分上 agreement 最低者为 R′。该 target 划分不参与 benchmark 可行性检查。
• Appendix D 给出生成约束、案例序列化和精炼提示词；Appendix E 列出 seed 与搜索得到的 rubric。

向 post-training 传播

• 条件于 R 的 judge 产生 D_R=(x, y+, y−)，再用偏好方法训练策略。作者称 R 的变化会改变标签和训练信号，并在训练中被直接吸收。
• 作者称标签被当作与域无关的监督，因此传播不要求训练接触 target 域，也可能影响原编辑未点名的域。实验用 DPO 实现。

判定

• Judge 指标是与人类偏好标签的 agreement，分 benchmark 与 target 的 held-out test 报告。选择用验证划分；test 在选择前不可用。
• 策略用奖励模型点分和中立生成式 judge 的成对 win rate；附录写平局计 0.5。

实验设置

• Judge：主 judge 为 Qwen3-14B。以其选出的 rubric 不再优化，直接评 Gemma-3-27B-it 与 DeepSeek-V3。附录 B.7 改用 Gemma-3-12B-it 为源 judge，再评它自己、Gemma-3-27B-it 和 DeepSeek-V3。DeepSeek-V3 同时是 rubric 改写模型。
• 策略：Helpfulness 用 Gemma-2-2B-it、LLaMA-3-8B-Instruct；harmlessness 用 Dolphin3.0-Llama3.1-8B、Gemma-2b-Uncensored-v1。作者称无审查变体用于减少固有安全对齐的混淆。标签由 Qwen3-14B 在 seed 与 biased rubric 下生成。DPO 的 β=0.1，1 个 epoch（Appendix B.4）。
• 数据：五个偏好数据集构成四对主设置：Ultra-Real、Ultra-Creative、SafeRLHF-RMB、Anthropic-SafeRLHF。论文写明每对前者为 benchmark、后者为 target。每域 train/val/test 各 1,000。下游只训练 Ultra-Real 与 Anthropic-SafeRLHF：每域 20,000 对做标签，评测用每域 1,000 条未用指令，每条采样 4 个回答。
• 基线：Seed、Overfit、Random Search、Few-Shot ICL、TextGrad、Biased Rubric Search。验证预算同为最多 30 个候选。
• 指标与评审：Accuracy 为与人类偏好标签的 agreement。Table 1–2 的 ∆ 为 Bench−Target；Table 13 的 ∆ 为绝对值。策略用 Skywork（分高更好）和 Beaver（cost model，更安全分更低）做 best-of-4，并用 DeepSeek-V3 做第三方成对评判。Rubric 质量由 DeepSeek-V3、gpt-4.1-mini 和人类盲比，每比较 30 次，位置随机，平局计 0.5。
• 重复：论文未报告主表准确率的重复次数或置信区间。

主结果

下表为 Tables 1–2 的 Seed 与 Ours。Gemma-3-27B-it、DeepSeek-V3 使用在 Qwen3-14B 上选出的 rubric，未再优化。省略这两名 judge 在 Ultra-Real、Anthropic-SafeRLHF 以及 Gemma 的 SafeRLHF-RMB 等未列出格子。

Swipe horizontally to read the table

模型与设置	Seed Bench	Ours Bench	Seed Target	Ours Target	Ours ∆
Qwen3-14B / Ultra-Real	0.728	0.732	0.619	0.524	0.208
Qwen3-14B / Ultra-Creative	0.728	0.721	0.591	0.545	0.176
Qwen3-14B / SafeRLHF-RMB	0.686	0.706	0.826	0.547	0.159
Qwen3-14B / Anthropic-SafeRLHF	0.674	0.691	0.698	0.627	0.064
Gemma-3-27B-it / Ultra-Real	0.702	0.691	0.635	0.583	0.108
Gemma-3-27B-it / Ultra-Creative	0.703	0.710	0.601	0.580	0.130
DeepSeek-V3 / Ultra-Creative	0.734	0.735	0.596	0.547	0.188
DeepSeek-V3 / SafeRLHF-RMB	0.678	0.689	0.731	0.543	0.146

• 作者称多种精炼的 benchmark 准确率可与 seed 相当，但 target 普遍下降；本文方法的 ∆ 最大或接近最大，在 Qwen3-14B 上至多 +0.208（helpfulness）和 +0.159（harmlessness）。作者称目标导向搜索使 target 准确率至多降 9.5%（helpfulness）和 27.9%（harmlessness）；Table 5 把这两数记为无缓解时的百分点降幅。
• 并非每格都是 Ours 的 ∆ 最大或 Target 最低。Table 2 中，Anthropic-SafeRLHF、Qwen3-14B 的 Few-Shot ∆ 为 0.082，TextGrad Target 为 0.613；DeepSeek-V3 的 TextGrad ∆ 为 0.108、Target 为 0.601。Table 1 中，Ultra-Real、DeepSeek-V3 的 TextGrad ∆ 为 0.182。
• 作者用只优化 benchmark 的 Overfit 区分普通过拟合：作者称过拟合也会带来跨域下降，但本文的差距和 target 下降更大。Table 2 里 Anthropic-SafeRLHF、Qwen3-14B 的 Overfit Target 为 0.651，低于 Ours。

迁移与 rubric 质量

• 测了什么：Qwen3-14B 上选出的 rubric 直接用于另两个 judge。附录 B.7 换 Gemma-3-12B-it 为源。Table 3 盲比精炼 rubric 与 seed。
• 结果：作者称迁移后 benchmark 大体可比、target 有下降。表中 Gemma-3-27B-it、Ultra-Real 的 Ours Bench 低于 Seed。Table 13 用绝对 ∆：Ultra-Real、DeepSeek-V3 从 0.133 到 0.202；SafeRLHF-RMB、Gemma-3-27B-it 从 0.242 到 0.044，该对上三名 judge 的绝对 ∆ 都下降。Table 3 的 win rate 为 DeepSeek-V3 / gpt-4.1-mini / Human：四组前两项均为 1.00，人类为 0.90、0.87、0.83、0.80。
• 作者解读：作者称漂移与优化后的 rubric 有关，不独属于源 judge；harmlessness 迁移更弱、更混合。作者称 Table 3 排除“rubric 变差”这一解释，漂移来自标准如何被加权。

下游策略

• 测了什么：比较 πori、πseed、πbias。训练分 benchmark-only（B）、target-only（T）、合并（BT）。Table 4 是 LLaMA-3-8B、Best-of-4，DeepSeek-V3 评判 πbias 对 πseed；低于 50% 表示 πbias 更不被偏好。
• 结果：Ultra-Real 为 43.1%（wbench@B）、40.2%（wtarget@T）、39.7%（wbench@BT）、43.0%（wtarget@BT）。Anthropic-SafeRLHF 为 33.7%、41.7%、23.9%、34.1%。作者称 Figure 3 中 target 上 πbias 相对 πseed 的 win rate 约为 40%；文本未给出各柱精确读数。
• 作者解读：作者称判断阶段的漂移在训练中被保留；πseed 相对 πori 有改进，πbias 常与 πori 相当或更差。BT 不能稳定抵消该偏差。作者称 judge 在 benchmark 比较上仍准确，不等于下游在 benchmark 数据上的策略行为安全。

缓解

• 测了什么：推理期 reference-consistent few-shot（k∈{2,4}，表中取较好者）、三 judge 多数投票，以及多源验证。第二源：helpfulness 为 SHP，harmlessness 为 RewardBench-Safety。多源只从原候选池重选，不重新生成。
• 结果：Table 5（Qwen3-14B，相对 seed 的 target 降幅，百分点；顺序为 None、Few-shot、Majority、Multi-source）为 Ultra-Real 9.5 / 9.0 / 5.8 / 4.3，Ultra-Creative 4.6 / 5.1 / 4.1 / 2.5，SafeRLHF-RMB 27.9 / 25.3 / 25.7 / 27.9，Anthropic-SafeRLHF 7.1 / 7.1 / 7.0 / 4.8。
• 作者解读：作者称多数投票只减少 0.1–3.7 个百分点。Few-shot 结果混合：Table 8 中 Gemma-3-27B-it、Ultra-Real 的 target 从 0.583 到 k=2 的 0.512，SafeRLHF-RMB 上从 0.605 到 k=4 的 0.678。多源验证在若干 helpfulness 设置上恢复更多，但 SafeRLHF-RMB 的 27.9 个百分点仍在。作者称这些策略减弱但不一致地消除 RIPD。

其他消融与分析

• Table 12，仅 Qwen3-14B 的 Seed 与 Ours：Ultra-Problem Target 0.615→0.576，∆ 0.113→0.154；RMB-SafeRLHF 0.690→0.674，∆ 0.127→0.182；SafeRLHF-Anthropic 0.673→0.641，∆ 0.022→0.062。
• Table 9：SafeRLHF-RMB 三 judge 集成 Target 为 0.569，相对 seed 0.826；作者称降 25.7 个百分点。
• Table 10 多源重选：Qwen3-14B、Ultra-Real Target 为 0.576（seed 0.619）；DeepSeek-V3、SafeRLHF-RMB Target 为 0.541（seed 0.731）。
• Table 8 与 Table 2 对 Gemma-3-27B-it、SafeRLHF-RMB 的 Seed Bench 分别写 0.579 与 0.597；论文未说明这一差别。
• Figure 4 与 Appendix A 给出偏好翻转案例：helpfulness 上从更完整转向更短、更直接；harmlessness 上更强调少介入。第三方评测偏好 seed 策略。附录有示例，此处不复述回答原文。

作者指出的局限与后续方向

• 论文没有 Limitations 专节。Section 7 写后续应把 rubric 设计与验证当作对齐管线的显式部分，例如更广的跨域评测、敏感性分析和案例级审计，而不是只依赖 benchmark 表现。
• Appendix B.5 写该流程没有把 rubric 改写与下游评测完全隔离开，例如 DeepSeek-V3 在多个阶段担任多个角色；作者同时用 Skywork、Beaver 和 DeepSeek-V3 多个评测器，以降低对单一 judge 的依赖。

实验覆盖范围

• 主 judge 结果报告 Qwen3-14B、Gemma-3-27B-it、DeepSeek-V3；附录 B.7 另以 Gemma-3-12B-it 为源 judge 并报告其三名 judge 的准确率（Sec. 5.1、Tables 1–2、Table 13）。
• 主评测为四个 benchmark–target 对；附录另报 Ultra-Problem、RMB-SafeRLHF、SafeRLHF-Anthropic（Table 12）。每域 train/val/test 各 1,000（Appendix B.1）。
• 下游 DPO 只在 Ultra-Real 与 Anthropic-SafeRLHF 上训练，骨干为两个 helpfulness 模型及两个 harmlessness 无审查变体；每域 20,000 对标签、1,000 条评测指令、每条 4 个采样（Sec. 5.3、Appendix B.4–B.5）。
• 缓解包括 k=2 与 k=4 的 few-shot、三 judge 多数投票，以及在 SHP 与 RewardBench-Safety 上从原候选池重选（Sec. 5.4、Tables 5、8–10）。
• 论文未报告主表准确率的重复次数和置信区间，也未报告 Table 3 人类比较的标注者人数与一致性。

作者把自然语言 rubric 视为 LLM judge 的可编辑控制接口，并称只靠 benchmark 验证不足以稳住 target 域偏好。

• 问题：评测与对齐常用 LLM judge，比较标准来自可改 rubric。作者将“修改后 benchmark 仍达标，但 target 上相对固定 reference 的偏好发生系统性、方向性偏离”称为 RIPD，并给出只改 rubric、不改参数和输入的攻击设定。
• 做法：Biased Rubric Search 把 benchmark 上的不一致和 target 上的一致都交给改写器当误差；改写器被设定为在纠错，且作者称它不知道 target 标签被反转。再在 benchmark 验证不差于原 rubric 的候选中，选取 target 漂移最大者。标签用于 DPO。
• Judge：在 Qwen3-14B 上，Ultra-Real 的 Ours ∆ 为 0.208，SafeRLHF-RMB 的 Ours ∆ 为 0.159（Tables 1–2）。作者称 target 准确率至多降 9.5%（helpfulness）与 27.9%（harmlessness）。同一 rubric 可迁到其他 judge；Table 13 的 harmlessness 绝对 ∆ 有降有升。Table 3 中 LLM 评精炼 rubric 对 seed 的 win rate 为 1.00。
• 策略与缓解：LLaMA-3-8B 上，πbias 对 πseed 的第三方 win rate 在 B、T、BT 下都低于 50%，Anthropic-SafeRLHF 的 wbench@BT 为 23.9%（Table 4）。Table 5 中，三种缓解后 SafeRLHF-RMB 的降幅仍为 25.3–27.9 个百分点。
• 作者结论：作者称 rubric 不是被动说明，而是欠约束的控制接口；benchmark 验证留下的自由度可以改变未见域偏好。偏差标签会被 post-training 吸收，形成持续的策略行为漂移。后续应把跨域评测、敏感性分析和案例审计纳入对齐管线。