用高效奖励模型集成改进 RLHF
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
AI 导读
研究者提出高效奖励模型集成方法，使 RLHF 奖励模型预测更准确，缓解因人类偏好数据有限导致的输出偏离人类价值问题。为避免集成多个大语言模型奖励模型的高昂计算与资源开销，该方法包括线性层集成与 LoRA 集成两种方案。作者在 Best-of-n 与 PPO 实验中验证，集成奖励模型能提升 RLHF 输出的对齐表现。