RLHF 可能并不反映真实偏好

论文指出 RLHF 假设标注回复反映真实的人类偏好，但行为科学六十年的记录显示，人们常在没有真实观点时给出回答，会依据情境线索临时构造偏好，对同一问题的理解也不一致；作者认为，这类问题在 AI 对齐最看重的价值判断上尤其常见。作者主张测量效度在逻辑上先于偏好聚合，并把标注回复按从无态度（无信号）到真实偏好（完整信号）排成一个谱系，据此开发诊断方法。在两个 RLHF 数据集上，作者发现不一致是系统性的，并且方向上有偏：过滤掉不一致程度高的标注者后，18.6% 的提示上的多数危害分类发生了翻转，平均评分在 100 分制上移动超过 13 分。作者据此认为，当前许多 RLHF 实践把噪声当作信号，把引导过程产生的偏差当作人类价值。