用偏好奖励与评分标准奖励组合后训练前沿文生图模型
Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards
AI 导读
研究者提出一种组合互补奖励信号的文生图后训练方法，将基于 Bradley-Terry 目标、用大规模人类偏好数据训练的偏好奖励，与评估提示词忠实度并防止奖励作弊的评分标准奖励结合，并指出简单加权平均会导致优化次优。在 Arena 文生图排行榜上，经 RL 训练的 Flux2dev 的 Elo 比基座模型高 69 分，后训练的 Ideogram-4 以 1223.5 的 Elo 超过所有开源模型（SOTA 声明基于 2026 年 9 月 4 日的排行榜快照）。团队同时发布 1K 子集 Arena-T2I-Training 以支持可复现研究。