RLHF 中统一稳定优化与参考正则化

RLHF 长期受奖励作弊与稳定优化两个问题困扰，论文提出一种统一正则化方法同时平衡两者。该方法将对监督微调模型 π0 的 KL 惩罚与对当前策略 πt 的比率裁剪统一为加权监督微调损失，作者称可兼顾对齐效果与实现复杂度。多基准实验显示其对齐性能与稳定性优于 RLHF 和在线偏好学习方法。