评分标准作为攻击面：LLM 评判者中的隐蔽偏好漂移
Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges
论文速读
据论文全文整理（AI 生成），以原文为准
研究者提出并验证了 LLM 评判流程中的一种漏洞，称为评分标准诱导的偏好漂移（RIPD）：通过基准验证的评分标准修改仍会在目标领域系统性地改变评判者的偏好方向。
- LLM-as-a-Judge 的评测与对齐流程依赖自然语言 rubric，并以 benchmark 验证其质量。作者指出一个此前被忽视的漏洞：即使 rubric 修改通过了 benchmark 验证，仍可能在目标域上系统性地、有方向地改变 judge 的偏好，即 Rubric-Induced Preference Drift（RIPD）。
- 在 benchmark–target 两域设定下，编辑者只能改自然语言 rubric，无法访问模型参数或评测输入。作者用基于种群的进化搜索（Biased Rubric Search）寻找候选 rubric：保留 benchmark 表现达标的候选，同时把目标域上判断正确的样例当作错误来反向引导 rubric 精炼，从而在保持 benchmark 的同时诱导目标域偏好漂移。
- 在 helpfulness 与 harmlessness 的多组 benchmark–target 数据对上，多种精炼方法都会扩大 benchmark–target 差距，作者的方法差距最大，目标域准确率最多下降 9.5%（helpfulness）和 27.9%（harmlessness），且可跨 judge 模型迁移。盲评显示这些 rubric 并未被判定为更差。用漂移 judge 生成偏好标签做 DPO 后，训练出的策略在目标域上系统性劣于 seed 策略，且 benchmark 数据混合也未能可靠缓解。few-shot 示例、多 judge 投票、多源 benchmark 验证只能部分减弱，不能消除 RIPD。
- 作者指出标准缓解手段只能减弱而不能稳定消除 RIPD，多源 benchmark 验证也不保证目标域稳定。未来应把 rubric 设计与验证作为对齐流程的显式环节，例如引入更广的跨域评测、敏感性分析和个案审计，而非仅依赖 benchmark 表现。
研究者提出并验证了 LLM 评判流程中的一种漏洞，称为评分标准诱导的偏好漂移（RIPD）：通过基准验证的评分标准修改仍会在目标领域系统性地改变评判者的偏好方向。他们据此构造基于评分标准的偏好攻击，在 Qwen3-14B 评判者上使目标领域准确率最多下降 9.5%（有用性）和 27.9%（无害性）。当这些偏好标签用于下游偏好训练时，偏差会被策略内化，产生持续的行为漂移。参考一致的少样本示例、评判者多数投票和多源基准验证只能减弱而无法消除该漂移。
推荐理由论文表明评分标准修改可通过基准验证却仍定向改变评判者偏好，并沿偏好训练传导为策略层面的行为漂移。