面向语言模型对齐的自博弈偏好优化（SPPO）
Self-Play Preference Optimization for Language Model Alignment
AI 导读
研究者提出自博弈偏好优化方法 SPPO，将语言模型对齐建模为常和双人博弈，通过迭代策略更新可证明地逼近纳什均衡。该方法针对标准 RLHF 依赖 Bradley-Terry 等参数模型、难以刻画人类偏好非传递性的局限，直接使用偏好概率进行对齐。实验仅用 UltraFeedback 数据集的 6 万条提示（不含回复）且不做提示增强，借助 0.4B 参数的预训练偏好模型 PairRM 微调 Mistral-7B-Instruct-v0.2，在 AlpacaEval 2.0 上对 GPT-4-Turbo 取得 28.53% 的长度控制胜率，作者称达到最先进水平，并在 MT-Bench、Arena-Hard 和 Open LLM Leaderboard 上超过（迭代式）DPO 与 IPO；从更强的基座模型 Llama-3-8B-Instruct 出发可达 38.77%。