OpenAI 研究：奖励模型过优化的缩放定律
Scaling Laws for Reward Model Overoptimization
论文速读
据论文全文整理（AI 生成），以原文为准
OpenAI 研究者发表论文，用固定的 6B 金标准奖励模型代替人类标注、生成 100,000 条合成比较数据，量化 RLHF 中对代理奖励模型的过优化。
- 在RLHF中，针对不完美的代理奖励模型（proxy RM）过度优化会损害真实目标（Goodhart定律），但这一过度优化效应因人类偏好数据昂贵而缺乏细致测量，作者希望刻画其规模与缩放规律。
- 采用合成设定：用固定的6B“金标准”奖励模型代替人类提供标签，训练3M到3B参数的代理RM，再用PPO强化学习或best-of-n采样对代理RM优化，拟合金标准奖励随KL散度变化的函数形式。
- 作者报告BoN下金奖励随KL呈d(α−βd)、RL下呈d(α−βlog d)，系数随RM参数量平滑变化；RL比BoN更耗KL但代理-金奖励关系相似；更大策略整体更好但过度优化程度相近；KL惩罚只起类似早停的作用，未改善金奖励-KL前沿。
- 合成设定可能无法迁移到真实场景（RM间存在相关性），且未涵盖标签与人类真实意图不匹配这一过度优化来源；作者建议在其他环境验证、研究更鲁棒的RM、探索其他优化方式、多轮RLHF及对抗性Goodhart。
OpenAI 研究者发表论文，用固定的 6B 金标准奖励模型代替人类标注、生成 100,000 条合成比较数据，量化 RLHF 中对代理奖励模型的过优化。论文给出经验函数形式：best-of-n 采样下金标准得分随 KL 距离呈 d(α−βd)，强化学习下呈 d(α−βlog d)，系数随代理奖励模型参数量（3M 至 3B）平滑缩放，可用于预测训练结果。研究发现 RL 比 best-of-n 消耗更多 KL，KL 距离不适合跨方法比较优化程度；增大奖励模型数据量能减少过优化；在其实验设置中 KL 惩罚只起提前停止作用，未改善金标准得分前沿。作者还用 Goodhart 定律分类解释结果，分析迭代式 RLHF 在简化假设下可将最终金标准得分提升 β·d·log(k)，并提醒当模型强到能主动操纵代理时这些缩放定律可能失效。
推荐理由论文用合成金标准奖励模型把过优化效应量化成可外推的缩放定律，做 RLHF 的团队可据此估计奖励模型能被安全优化的程度。