SALMON：基于可指令化奖励模型的自对齐
SALMON: Self-Alignment with Instructable Reward Models
AI 导读
研究者提出 SALMON 自对齐方法，在合成偏好数据上训练可指令化奖励模型，使其能依据任意人类定义的原则生成奖励分数，从而以极少人工监督对齐基础语言模型。在 RL 训练阶段只需调整这些原则，就能控制奖励模型进而影响策略模型行为，减少对在线人类偏好标注的依赖。作者将该方法应用于 LLaMA-2-70b 基座模型，开发出 AI 助手 Dromedary-2，仅用 6 个上下文学习示例和 31 条人类定义原则，并称其在多个基准数据集上显著超过 LLaMA-2-Chat-70b 等先进 AI 系统。代码和模型权重已开源。