用偏好奖励与评分标准奖励组合后训练前沿文生图模型

开放域文生图后训练缺少能同时覆盖整体偏好、提示忠实度并抗 reward hacking 的奖励。

• 场景：作者认为基座变强后，后训练如何再提升是问题；开放域质量维度多，单一信号难以覆盖。
• 现有不足：作者称 Diffusion-NFT、Flow-GRPO 的效果取决于奖励。PickScore、HPSv2/v3、ImageReward 覆盖宽泛偏好，但对投票里稀疏的属性（如是否包含每个要求物体）基本看不见。
• 观察：Fig. 5 中，直接优化 Arena RM 或 PickScore 时奖励上升，质量先饱和再下降。作者称朴素加权平均会使异构奖励的优化次优。
• 做法：用大规模人类投票训练 Bradley–Terry 偏好奖励，加上忠实度、意图门控约束和 hack 检测，并以归一化、门控、veto 与 LoRA 增量平均来组合。
• 对象：配方用于 FLUX.2-dev 与 Ideogram-4。摘要写 release Arena-T2I-Training；正文 4.1 写 plan to release 这一 1K 子集。

扩散与流模型的 RL

• Diffusion-DPO（Wallace et al., 2024）：把直接偏好优化接到扩散似然，不建显式奖励模型。
• Flow-GRPO（Liu et al., 2025）：把无 critic 的组内相对优化接到 flow matching，经 ODE 到 SDE。MixGRPO、TempFlow-GRPO（2025）分别研究混合 rollout 与时间步加权。
• DiffusionNFT（Zheng et al., 2026）：在前向过程上做策略改进，不经反向采样器优化。本文把它用作优化器。

偏好与质量奖励

• 标量偏好模型：ImageReward（2023）、PickScore（2023）、HPSv2/v3（2023/2025）从大规模人类比较训练预测器。UnifiedReward（2025）用统一 VLM 评判理解与生成。
• 更窄的信号：LAION aesthetic（2022）评视觉质量；GenEval（2023）用检测器查物体；另有 OCR 文本渲染奖励和依赖感知忠实度奖励。
• 本文取用的两路：作者写直接把 PickScore 当训练目标，并在 Arena 连续收集的投票上训练奖励模型。

Rubric 奖励

• Gunjal et al., 2026：把开放偏好拆成显式标准，把 RL 从可验证领域扩到开放设定。
• 抽规则：OpenRubrics（2026）对比优选与拒绝回答；AutoRule（2025）用思维链从偏好对抽规则。
• 图像与压缩：Autorubric-T2I（2026）学习规则权重；Chasing the Tail（2026）迭代收紧 rubric；Auto-Rubric（2026）用信息论压缩抽出可复用标准。论文只描述这些工作，未逐篇对照实验。

基线与数据

• 基线方法：DiffusionNFT 发布的多奖励配方（PickScore、HPSv2、CLIPScore，以及 GenEval、OCR 阶段）；Arena-T2I-Hard（忠实度加偏好，作者在 10k Arena 提示上重实现）；preference only 与 faithfulness only。
• 基准/数据：Arena 真人提示（10k 训练、1k 验证）、Arena text-to-image leaderboard、附录 791 条 MMRBv2 T2I 测试提示。

作者把本文放在奖励设计上：偏好学习与显式 rubric 不是互相替代，组合才是后训练配方；并称设计不当的奖励会被模型利用。

偏好–rubric 组合奖励接在 DiffusionNFT 上：宽偏好管整体观感，rubric 管提示里稀疏或易被利用的属性，再把两套 LoRA 增量等权平均。

优化器

• 前向过程 RL：对同一次 rollout，用当前策略与旧策略的速度预测混合出正、负预测；损失按组内相对权重把预测拉向或推离目标速度。式 (1)(2) 给出混合与 NFT 损失。
• 权重：多轴奖励合成标量后，再变成 DiffusionNFT 用的组内相对权重，并按 Amax = 5 裁剪。

四类奖励

偏好奖励是 Bradley–Terry 标量，用 PickScore 或自训 Arena RM。投票覆盖 2025-04-16 至 2026-06-07、约 500 万对、100+ 个 T2I 模型。骨干为 Qwen3.6-27B，在尾部特殊 token 的隐状态上加线性头。正文写单遍、batch 1024；附录 A.1 写 1 epoch、global batch 1,032。

忠实度沿用 Arena-T2I-Hard：离线把提示拆成依赖树，奖励为判“是”的比例。gemini-3-pro-preview 在 10k 提示上给出 182,230 题。约束奖励检查与意图不符的多余内容，gemini-3.1-pro-preview 给出 26,213 题。训练时两者都由 Qwen3.6-27B 判分；父问题失败则子问题不再询问。

反 hacking 分两类：点式检测看单张图（如乱码或未请求文字）；参考式检测把策略图与冻结基座图对比（如非照片风格漂向照片真实感），两种顺序都判。问句与启用条件在附录 A.3.5，这里不列原文。

组合机制

引言写把各轴归一化到 [0, 1]；Sec. 3.3.1 实际写的是按当前 batch 对每轴做 z-score，避免某一轴的原始尺度主导。偏好与忠实度始终开启。约束只在离线分类为 strict 时开启；neutral 与 open 不开。反 hacking 也按该失败模式是否与提示冲突来启用。分类器为 gemini-3.1-pro-preview。10k 提示的意图标签为 3,140 strict / 4,443 neutral / 2,405 open / 12 失败。

检测不作加分项。适用检测若命中，就去掉偏好 z-score 的正部；未命中则偏好不变。躲开检测不加分。合成奖励为

R_i = w_prefz̄_i^(pref) + w_faithz_i^(faith) + w_constrg_i^(constr)z_i^(constr)

其中门控后的偏好项满足

z̄_i^(pref) = z_i^(pref) − v_i[z_i^(pref)]₊

全部实验取各轴权重为 1。

三阶段与权重平均

• Stage 1：偏好、忠实度、意图门控约束。
• Stage 2：查看 Stage 1 胜率最高检查点的失败模式，加入对应反 hacking 信号后再训。
• Stage 3：无反 hacking 与有反 hacking 的 LoRA 增量等权平均，不再训练。作者称两套配置的失败模式互补。
• Ideogram-4：只跑 Stage 1，并加 OCR 奖励。作者称未看到明确 hacking，故不做 Stage 2/3。OCR 计分在附录 A.3.4。

训练配置

• 提示：Arena 真人提示，由 gemini-3.5-flash 去掉图像编辑、过短、冷门专名和非英文，得 10k 训练与 1k 验证。过滤提示全文在附录 A.2.2。
• 基座：FLUX.2-dev 为 32B rectified-flow，8 个 double-stream 加 48 个 single-stream，文本条件为 Mistral Small 3.1。Ideogram-4 为 9.3B 单流 34 层 DiT，文本编码器为 Qwen3-VL-8B-Instruct。
• 采样：FLUX 每步 G=48 组、每提示 K=24、10 步、512²、CFG 4.0。Ideogram-4 的组与 rollout 预算相同，guidance 为 7.0。两者都在冻结权重上训 LoRA。附录 Table 5 还写 150 epoch 等超参。

实验设置

• 被测模型：FLUX.2-dev 与 Ideogram-4。偏好奖励为 Arena RM 或 PickScore。清单与检测判决为 Qwen3.6-27B。
• 数据：10k 训练提示、1k Arena 验证提示。附录另用 791 条公开 MMRBv2 T2I 测试提示。Arena Elo 为线上盲评，快照日期 2026-09-04。
• 基线：DiffusionNFT 五阶段多奖励配方；Arena-T2I-Hard；preference only；faithfulness only。
• 指标：相对冻结基座的成对胜率。检查点 30、60、90、120、150 中，按 Gemini 选胜率最高者再报告。Arena 指标为 Elo / Arena score。
• 评审：gemini-3.5-flash 按 MMRBv2 协议主判，GPT-5.4 重判。每对两种顺序，翻转计 1/2。推理前由 gemini-3.5-flash 按各模型官方消息扩写，评判看原始提示。附录 Table 7–8 给 95% bootstrap 区间，10,000 次。
• 推理：FLUX.2 为 1024²、50 步、CFG 4.0。Ideogram-4 为官方 quality 48。Sec. 5 写单个 random seed。

主结果

下表为相对冻结 FLUX.2 base 的胜率，1k Arena 验证提示，五个检查点中取最高者（Table 2）。DiffusionNFT 与 faithfulness only 不用这两路偏好奖励，两列是同一次运行。

Swipe horizontally to read the table

方法	Gemini Arena RM	Gemini PickScore	GPT-5.4 Arena RM	GPT-5.4 PickScore
DiffusionNFT	0.290	0.290	0.396	0.396
faithfulness only	0.366	0.366	0.367	0.367
preference only	0.507	0.461	0.417	0.517
Arena-T2I-Hard	0.589	0.577	0.557	0.537
Stage 1	0.642	0.581	0.561	0.611
Stage 2	0.635	0.571	0.567	0.585
Stage 3	0.660	0.626	0.572	0.623

• 作者解读：作者称 Stage 1 把 Gemini 胜率提到 0.642 与 0.581，并迁到 GPT-5.4 的 0.561 与 0.611。Stage 2 的 Gemini 数字低于 Stage 1。
• 与正文差额：正文写相对 Arena-T2I-Hard 有 7.1 与 4.9 个百分点增益。Table 2 中 Stage 1 为 0.642/0.581，Arena-T2I-Hard 为 0.589/0.577，Stage 3 为 0.660/0.626。以表为准。
• 互补与例外：作者称 Stage 1 有 204 个明确失败，Stage 2 有 234 个，交集 92；Stage 3 在两套独有失败集上的胜率为 0.560 与 0.397，两父都失败时为 0.304。preference only 在 GPT-5.4 上是 0.417 对 0.517，方向与 Gemini 相反；论文未解释。DiffusionNFT 为 0.290，低于 0.5。

Arena 真人评测

• 设置：Stage 1 与 Stage 3 进入线上盲配。FLUX 固定 50 步、CFG 4.0、1024×1024；Ideogram 用 quality 48。
• 分数：Table 1 中 FLUX.2-dev base 为 1132.8±14，部署 Ours 为 1202±13；Ideogram-4 base 为 1204±4，Ours 为 1224±13。Sec. 4.5 写 Stage 1 将 FLUX 从 1132.8 提到 1190.3，Stage 3 为 1202.1；Ideogram-4 Stage 1 为 1223.5。摘要写比基座高 69 点。表中 ± 的统计含义论文未说明。
• 作者解读：作者称在 2026-09-04 快照上，开源模型中达到 state of the art，并称 Ideogram-4.0-Quality 低 19.5 Elo。Table 1 的公开参考行更高，如 nano-banana-2 为 1261±5、seedream-5.0-pro 为 1258±4、nano-banana-pro 为 1232±5。该超过范围按作者写法只覆盖开源模型。

奖励组合消融

• 约束门控：Table 3 中，未门控到意图门控，Gemini Arena RM 从 0.6046 到 0.6416，PickScore 从 0.5200 到 0.5810。作者据此用门控，而不是对全部提示施加约束。
• 检测如何进损失：加性项的 Gemini 胜率为 0.5260（Arena RM）和 0.4194（PickScore）；单侧 veto 为 0.6346 和 0.5710。适用性门控对未门控为 0.6346 对 0.5591（Gemini）、0.5670 对 0.5000（GPT-5.4）。正文把 0.1086 与 0.0940 写成适用性门控的提升；这两数与加性项 0.5260、0.4730 到 veto 的格子并列出现，不与未门控行直接对应。
• soup：同配方 soup 的 Gemini 胜率为 0.6435 / 0.5610，跨配方为 0.6598 / 0.6256。作者称增益主要来自不同奖励配方，而不是同一轨迹的检查点平均。

第二基座、数据规模与外部提示

• Ideogram-4：Table 4 全部实验加 OCR 奖励。Gemini、Arena RM 下 preference only 为 0.266，Arena-T2I-Hard 为 0.401，Stage 1 为 0.553。作者称顺序与 FLUX.2 一致，Stage 1 跨过 0.5。GPT-5.4、Arena RM 下 Arena-T2I-Hard 为 0.579，已高于 0.5。无 Stage 2/3。
• Fig. 3：RM 训练对为 10K、100K、500K、约 5.6M 时，Stage 1 的 Gemini 胜率为 0.537、0.607、0.611、0.642。作者称偏好数据规模换成下游 RL 增益。引言写约 500 万对。
• MMRBv2：附录 Table 6，检查点仍按 Arena 验证集选出。Stage 3 为 0.6011，Stage 1 与 Stage 2 均为 0.5632，Arena-T2I-Hard 为 0.5563，preference only 为 0.5272，faithfulness only 为 0.3357。作者称主趋势可迁出，相对增益更小，并认为该集提示更简单。

其他消融与分析

• 开源 1K、PickScore、Gemini：Stage 1 为 0.566，Stage 2 为 0.584，Stage 3 为 0.615；GPT-5.4 为 0.555、0.510、0.604（Table 2）。Stage 2 的 GPT-5.4 低于 Stage 1。
• 意图标签：两名作者盲标 400 条，三分类一致 77.8%（附录 311/400），门控所用 strict/非 strict 一致 89.5%，κ=0.66。
• 未过滤约 100k 提示上的 Stage 1，在同一 Gemini 协议下输给过滤集 0.0360（附录 A.2.2）。
• Fig. 5 / 附录 A.9：只优化偏好时，Arena RM 最高总胜率为 0.5065；两路忠实度胜率低于 50% 并随检查点下降。作者归因于单一总分让美学增益补偿忠实度损失。
• 作者审计 205 个 Stage 1 失败，归纳乱码或未请求文字，以及非照片风格漂向照片真实感（Fig. 2）。
• 图注称：preference-only 偏向通用装饰并漏掉要求内容；faithfulness-only 冲淡细节；Arena-T2I-Hard 补回要素但留多余装饰；无门控约束会压平提示允许的细节（Fig. 1）。

作者指出的局限与后续方向

• 基座数量：只评两个基座，作者称这限制了跨模型族和规模的泛化判断（Sec. 5）。
• 智能体流程：未在 agentic workflows 中评测；作者称多步交互和工具使用可能带来额外问题（Sec. 5）。
• 清单审核：拆出的忠实度问题未经人工标注员审核，作者称分解可能有错误或歧义（Sec. 5）。
• 随机种子：因计算约束，只报告一个 random seed（Sec. 5）。

实验覆盖范围

• 被测生成模型为 FLUX.2-dev 与 Ideogram-4。成对胜率评审为 gemini-3.5-flash 与 GPT-5.4，另有 Arena 线上盲评 Elo（Sec. 4.1、4.5，Table 1）。
• 主验证集为 1k Arena 提示，训练提示为 10k。附录 Table 6 使用 791 条 MMRBv2 T2I 测试提示。
• FLUX.2-dev 报告 Stage 1–3，以及约束门控、检测门控、加性项对比 veto、同配方对比跨配方 soup、奖励模型数据规模（Table 2、3，Fig. 3）。
• Ideogram-4 报告 preference only、Arena-T2I-Hard 与 Stage 1，这些实验都含 OCR 奖励；论文写未做 Stage 2/3（Sec. 4.4，Table 4）。
• 论文报告单个 random seed（Sec. 5），并在附录 Table 7、8 给出 bootstrap 区间。论文未报告 Arena Elo 的对局数量。

作者给出一套开放域文生图后训练配方：把人类偏好奖励和 prompt 条件的 rubric 奖励合在一起，而不是换一个新优化器。

问题是单一奖励盖不住用户意图。偏好模型能看整体观感，但对“是否实现每个要求”这类稀疏属性不敏感；Fig. 5 里奖励继续上升时，质量先饱和再下降。作者还认为朴素加权会让异构信号互相干扰，并可能被优化利用。

做法接在 DiffusionNFT 上。偏好侧用约 500 万对 Arena 投票训练的 Bradley–Terry 模型，或改用 PickScore。rubric 侧是忠实度比例、只对 strict 提示开启的约束，以及点式/参考式 hack 检测。各轴按 batch 做 z-score；检测命中只否决正的偏好分，躲开检测不加分。无检测与有检测的两套 LoRA 增量等权平均。

• Table 2：相对冻结 FLUX.2，Stage 3 的 Gemini 胜率为 0.660（Arena RM）和 0.626（PickScore）；GPT-5.4 为 0.572 和 0.623。DiffusionNFT 基线为 0.290。
• Sec. 4.5：FLUX.2-dev 的 Arena Elo，Stage 1 为 1190.3，Stage 3 为 1202.1，base 为 1132.8。摘要写高 69 点。Ideogram-4 Stage 1 为 1223.5；Table 1 部署分写 1224±13。
• Table 4：Ideogram-4、Gemini、Arena RM 下，Stage 1 为 0.553，preference only 为 0.266。该基座未做 Stage 2/3。
• 作者称，按 2026-09-04 快照，结果在开源模型中达到 state of the art；Table 1 的若干公开参考模型分数更高。作者认为大规模偏好学习与显式 rubric 应组合，而不是互相替代。