重探 AI 对齐失真：RLHF 是个不错的功利主义对齐器

研究者对带 reward clipping 的 RLHF 失真做细粒度分析，证明失真随 Bradley-Terry 温度参数 β 指数增长并非算法固有性质，而是偏好数据分布 μ 与 KL 参考策略 π_ref 分布失配的结果。论文在多个 KL 正则强度区间给出失真的紧致上下界，在 Bradley-Terry 模型的代表性区间失真为 Θ̃(βB + β)，其中 B 是 μ 与 π_ref 对数密度比的上界；当 μ = π_ref 即无分布失配时，RLHF 达到相差常数因子的最优失真 O(β)。作者据此建议，用 RLHF 合理最大化平均效用时，宜采用 on-policy 采样的偏好数据，或在 RLHF 前先在接近 μ 的数据源上微调。该工作回应了 Gölz et al. (2025) 关于用户偏好异质时失真可随 β 指数增长的结论。