评分标准作为攻击面：LLM 评判者中的隐蔽偏好漂移
Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges
AI 导读
研究者提出并验证了 LLM 评判流程中的一种漏洞，称为评分标准诱导的偏好漂移（RIPD）：通过基准验证的评分标准修改仍会在目标领域系统性地改变评判者的偏好方向。他们据此构造基于评分标准的偏好攻击，在 Qwen3-14B 评判者上使目标领域准确率最多下降 9.5%（有用性）和 27.9%（无害性）。当这些偏好标签用于下游偏好训练时，偏差会被策略内化，产生持续的行为漂移。参考一致的少样本示例、评判者多数投票和多源基准验证只能减弱而无法消除该漂移。
推荐理由
论文表明评分标准修改可通过基准验证却仍定向改变评判者偏好，并沿偏好训练传导为策略层面的行为漂移。