FAIL：面向图像生成的流匹配对抗模仿学习

把 flow matching 的后训练写成模仿学习：不靠偏好对或显式奖励模型，使生成分布贴近专家演示。

• 场景：作者认为预训练覆盖宽分布，后训练则对齐到高质量 preferred distribution，以改善观感与提示词遵循。实验设定是每个提示词只有一张专家图。
• 现有不足：SFT 对应行为克隆（Behavioral Cloning）。作者称它数据效率高，但在专家演示之外的状态会漂移并累积误差。RLHF、DPO 能处理漂移，却依赖偏好数据和奖励模型。
• 观察：对抗模仿学习用判别器区分专家样本与生成样本，通过 minimax 最小化 Jensen-Shannon 散度，给出稠密信号，而不显式建模奖励或成对比较。
• 提出：FAIL（Flow Matching Adversarial Imitation Learning）。白盒 FAIL-PD 沿可微 ODE 反传；黑盒 FAIL-PG 用于离散生成或反传代价过高的设置。作者还把它用作奖励优化的正则项。

引言与 Related Work 把相关工作分成偏好优化、扩散模型上的对抗训练，以及模仿学习。

偏好优化

• SFT / 行为克隆：Pomerleau（1991a）用回归直接模仿专家。作者称在精选数据上做 SFT（如 Emu，Dai et al., 2023）能提高生成质量，但常抓不住细粒度人类偏好，并有分布偏移。
• 显式奖励的 RLHF：奖励梯度方法（Xu et al., 2023; Clark et al., 2023; Shen et al., 2025）用奖励分数梯度引导模型；策略梯度方法（Black et al., 2023; Xue et al., 2025b; Liu et al., 2025）把去噪当作序贯决策，以最大化期望奖励。作者称显式奖励建模伴随不稳定和奖励投机。
• DPO：Rafailov et al.（2023）以及 Diffusion-DPO（Wallace et al., 2024）直接在偏好对上优化，绕过显式奖励模型。

扩散模型上的对抗训练

• 目标增补：DiffusionGAN（Wang et al., 2022）、DDGAN（Xiao et al., 2021）、UFOGen（Xu et al., 2024）、SiDDM（Gong et al., 2023）在生成样本或中间扩散状态上使用判别器，用 GAN 损失补充扩散目标。
• 对抗蒸馏：ADD（Sauer et al., 2024b）、LADD（Sauer et al., 2024a）、DMD2（Yin et al., 2024）用对抗目标把多步扩散教师蒸馏到步数更少的学生。

模仿学习

• BC 与 IRL：BC（Pomerleau, 1991b; Ross et al., 2011）直接回归模仿专家；IRL（Ziebart et al., 2008; Abbeel & Ng, 2004）联合推断策略和奖励。
• AIL / GAIL：Ho & Ermon（2016）及 Fu et al.（2017b）用对抗训练匹配智能体与专家的状态-动作分布。作者称 Orsini et al.（2021）、Kostrikov et al.（2018）改进了 GAIL，且 GAIL 已被用到多个领域（Wulfmeier et al., 2024; Ye et al., 2025; Mao et al., 2025）。

基线与基准

• 基线方法：同专家数据的对比包括 SFT、RLHF-PD、RLHF-PG 与 Online DPO；与奖励模型合用时对比 Reward Gradient 和 FPO。策略更新还借用 FPO（McAllister et al., 2025）、PPO（Schulman et al., 2017）和 GRPO（Shao et al., 2024）。
• 基准：UniGen-Bench、DPG-Bench、Alchemist（报告 HPSv3 与 UnifiedReward）、HPDv3、VBench。

作者把后训练写成对抗模仿，用 FAIL 把 AIL 接到 flow matching 的连续时间动力学上，从而不依赖偏好对或奖励模型。FAIL-PG 在 GAIL 框架中把 TRPO 步换成 FPO。

FAIL 把后训练写成策略 π_θ 与判别器 D_ω 的 minimax：生成样本要与专家分布 p_E 不可区分。更新分白盒路径导数 FAIL-PD 和黑盒策略梯度 FAIL-PG。

问题设定

• 目标：论文写出

min_θmax_ω𝔼_{x∼ pE}[log D_ω(x)]+𝔼_x∼πθ[log(1−D_ω(x))] 即判别器区分专家与策略样本，策略缩小二者散度。Algorithm 1–2 中判别器输出先经过 σ 再取 log，对应 logit 形式。

• 动力学：样本从噪声 ϵ∼N(0,I) 积分向量场 v_θ 得到。作者称这里的“环境”是确定性 ODE 求解器，因此可以反传，而不必像未知环境那样另学 critic。
• 数据设定：每个提示词只配一张专家图，用来对应难以收集偏好对的情形。

FAIL-PD

• 路径导数：判别器评估生成的 x_0，并作为可微奖励。Euler 或 RK4 可微，梯度经链式法则传到 θ。作者把它联系到确定性策略梯度（Silver et al., 2014），并称为面向模仿学习的、低方差且无偏的 DDPG 极限，继承 GAN 的局部收敛性质。
• 单步近似：不为每个梯度展开整条轨迹。采样 t∼U(0,1)，按 x_t=(1-t)x_0+tϵ 加噪，再做一步去噪估计干净样本 x′_0；Δt 取推理步长。作者称这只假设该步上的局部线性。附录 B 由插值路径推导该式，并用重建误差检验。
• 策略更新：对 x′_0 最小化 log σ(D(x′_0))，即梯度为 −∇_θ log σ(D_ω(x′_0))。

FAIL-PG

• 标量奖励：不反传动力学。奖励为 r(x)=−log(1−σ(D_ω(x)))，强化高奖励样本。作者称这对应 GAIL，但用于连续 flow matching。
• 似然比：不把 ODE 改成 SDE 来算精确似然。借助 FPO，用 CFM 损失差近似旧策略与当前策略的似然比

r(θ)=exp(L_CFM(θ_old,x)−L_CFM(θ,x)) 再最大化 PPO 式裁剪目标。对参考策略的 KL 同样写成两份 CFM 损失之差。附录 A 用 ELBO 近似说明常数项会消掉。

• 组内标准化：优势在 G 个样本的组内按 GRPO 做均值-标准差标准化。算法先更新判别器，再以旧策略做若干 epoch 的 KL 约束 FPO。论文未给出裁剪系数 ϵ 和内层 epoch 数 E；附录 C 的 KL 系数 β 为 0.05。

稳定化与判别器

• 混合模仿：按 Ren et al.（2024），批次混合在线策略样本与专家演示；专家样本被当作完美 rollout，以减少在大状态空间中的探索。
• 初始化：用行为克隆做冷启动。判别器预热阶段冻结策略；默认消融的预热为 25 步。
• 三种骨干：VFM 在 CLIP、DINO 等中间特征上加投影头；作者称它没有原生文本输入，容量也较小。FM 骨干加载预训练流模型，参数全部可训练，在中间特征上接判别头。VLM 同时看图像和提示词，取最后 token 的隐状态；冻结视觉编码器，微调 LLM 与判别头。主实验用 Qwen3-VL-2B-Instruct。附录 C：VFM/FM 头为 LayerNorm 加带谱归一化的线性层；VLM 取 EOS token 隐状态，再经一层线性映射。
• 作者对两种更新的分工：FAIL-PD 提供 ∇_x D(x) 这种方向梯度，作者认为更利于保持流形结构，并与 CFG 兼容；FAIL-PG 是 mode-seeking 的标量奖励，初期更快，方差更高，长程可能出现 model collapse。前者用于可微白盒，后者用于黑盒或离散 token。

实验设置

• 策略：图像主实验为 FLUX.1-dev；离散图像为 Xomni；视频为学生 Wan2.1-1.3B。
• 专家数据：提示词来自 HPDv3 子集和 UniGen-Bench 的 train-en-short。摘要称专家为 Nano Banana pro，3.1 节写 Gemini Pro 3，引言写 Gemini 3 Pro；每提示词一张图，过滤后 13,000 对。视频从 VidProM 抽 8,192 条提示词，专家为 Wan2.2-A14B，分辨率 480×480、81 帧。
• 训练：AdamW，全局 batch 128，32 张 NVIDIA H20。每个提示词的有效批次为 3 次策略 rollout 加 1 张专家图。未另行说明时，消融为 512×512、1 个 epoch（400 iterations），含 25 步判别器预热。学习率按任务列于 Table 11。FAIL-PG 的 β 为 0.05。
• 判别器：主实验为 Qwen3-VL-2B-Instruct；另有 Dinov3b 与 FLUX.1-dev 骨干。
• 指标与评审：UniGen 的 en-short 为 600 条；消融用 Qwen-72B，系统级用 Gemini 2.5 Pro API。DPG-Bench 为 1,065 条。偏好用 Alchemist 的 3,350 条，报告 HPSv3 与 UnifiedReward-2.0-qwen3vl-8b。UniGen 与 DPG 每提示词 4 张，Alchemist 为 1 张。消融推理 28 步、512×512、关闭 CFG。系统级 FAIL 样本仍为 512×512，但使用 optimal CFG；论文未给出该 CFG 尺度。
• 重复：论文未报告随机种子或重复次数。Table 1 与 Table 6–8 的协议不同，分数不能直接对照。

主结果

同专家数据、关闭 CFG 的对比见 Table 1。其中 UniGen 属于消融协议（Qwen-72B）。

表格较宽，可左右滑动

表中省略 RLHF-PD 的 50 步：UniGen 59.76、DPG 81.65、HPSv3 10.18、URScore 3.3406（Table 1）。

• 奖励投机：作者称 RLHF 训练奖励上升，地面指标却变差；只有 50 步的 RLHF-PD 超过 SFT。400 步 RLHF-PD 与 50 步 RLHF-PG 在多项上不高于 SFT。
• 相对 Online DPO：作者把 Online DPO 看成判别器总偏好专家、奖励被二值化的 FAIL-PG 特例。400 步 FAIL-PG 四项高于 DPO-Online；同一步数的 FAIL-PD 只有 HPSv3 更高。800 步 FAIL-PD 四项超过该 DPO。作者归因于动态判别减少假阴性，以及连续 logit 比二元标签更密。
• 步数：作者称 FAIL-PD 提升慢于 FAIL-PG，800 步才达到相近表现。

收敛与稳定性

• 测了什么：延长训练，用 UnifiedReward 比较两种更新（第 3.3 节，Figure 2）。图注称 PG 收敛快但会崩，PD 具有长期稳定性；曲线形状在文本转换中不可见。
• 结果：作者称 FAIL-PG 在 50 步内 UnifiedReward 高于 3.43，450 步之后崩溃；FAIL-PD 到 2,000 步为 3.4759，未见崩溃。
• 解读：作者认为标量奖励缺少结构梯度，长程不足以把策略约束在 flow 流形上。附录 E 用 KL masking（未另行说明时 c=2）把 FAIL-PG 训到 800 步：UniGen 65.49、DPG 84.81、HPSv3 11.45、URScore 3.4507（Table 12）。

系统级对比

• 协议：同一 FAIL checkpoint，512×512，optimal CFG（第 4 节）。UniGen 改由 Gemini 2.5 Pro 评审。论文未说明 Table 6–8 中其他模型是否由作者按同一协议重生成，也未写明该 checkpoint 的训练步数。
• DPG：Table 6 中 FAIL-PD Overall 为 87.32，FAIL-PG 为 86.42，FLUX.1 Dev 为 83.84。作者称比基座高 3.48 分，并与 Seedream 相当；表中 Seedream 3.0 为 88.27，Qwen-Image 为 88.32。
• UniGen 与 HPDv3：Table 7 中 FAIL-PD Overall 为 73.70，FAIL-PG 为 72.64，FLUX.1 Dev 为 61.30。正文写基线为 61.61，该数与表中 Janus-Pro-7B 的 Overall 相同，与 FLUX.1 Dev 不一致，此处以表为准。作者称超过 FLUX.1 Ultra（70.67）和 Imagen-3.0（71.85）；表中 Qwen-Image 为 78.81、Seedream 3.0 为 78.98。Text 从基线 32.18 到 FAIL-PD 52.87，Qwen-Image 为 76.14；作者称后训练不能补上预训练未建立的拼写能力。Table 8 中 FAIL-PD 的 All 为 11.28，FLUX.1 Dev 为 10.43；Science 类 FAIL-PD 为 9.59，低于 FLUX.1 Dev 的 11.24。论文未解释该类别下降。

奖励结合与跨模态

• 正则：Table 3 中单独 FAIL-PD 的四项与 Table 1 的 400 步行相同。单独 Reward Gradient 的 HPSv3 为 12.21，UniGen 58.50、DPG 82.15。相加后 HPSv3 12.94、URScore 3.4832，为该表这两项最高；UniGen 60.88 仍低于单独 FAIL-PD。FPO+FAIL-PG 的 DPG 为 84.70，UniGen 64.27 低于单独 FAIL-PG 的 64.75。作者称动态分布匹配可减轻静态奖励上的奖励投机。附录 G.2 称单独优化 HPSv3 会出现过饱和与高频伪影；Figure 5 画面不可见。
• 离散图像：Table 4 只报告 FAIL-PG。Xomni 的 UniGen 从 28.32、SFT 41.36 到 54.24；DPG 80.94、HPSv3 9.91、URScore 3.3591。判别器为 DINOv3b。作者称在线样本缓解了 next-token 的训练-推理差距。
• 视频：Table 5。Wan2.1 基座 Overall / Quality / Semantic 为 68.53 / 76.43 / 36.93，SFT 为 73.02 / 79.71 / 46.27，FAIL-PG 为 75.71 / 81.70 / 51.75，FAIL-PD 的 Semantic 为 49.07。作者把 Quality 的相对增益较小归因于 rollout 时没有 CFG。

其他消融与分析

• 判别器（Table 2，FAIL-PD）：HPSv3 为 Dinov3 10.28、Qwen3vl 10.82、FLUX.1 12.35；UniGen 为 60.65、62.17、62.70。
• 数据规模（Table 13，800 步 FAIL-PD 的 UniGen）：4K 60.04、8K 62.29、13K 63.38。
• 冷启动（Table 15，800 步）：无冷启动 UniGen 55.23，低于 SFT 的 58.22；有冷启动为 63.38。作者称无冷启动时直接跑 FAIL-PG 或 Online DPO，约 100 步内可能崩溃。
• 分布距离（Table 16，MMD×10^3 / SWD×10^3）：FLUX 18.26 / 7.10，SFT 9.60 / 5.19，FAIL-PD 2000 步 2.24 / 2.76。特征为 SigLIPv2 so400m，专家样本 1,024 个。
• 单步近似（Table 9）：区间 [0, 0.5] 的 PSNR 35.17、LPIPS 0.030；[0.5, 1] 为 31.13、0.115；全区间 32.55、0.083。
• 每步耗时（Table 14，秒）：FAIL-PD 合计 52.73，其中策略更新 12.06；FAIL-PG 合计 91.85，其中策略更新 50.08。

作者指出的局限与后续方向

• 优化敏感：尽管使用了稳定化策略，对抗目标仍对超参数和模型设计敏感（第 6 节）。
• 数据规模：实验验证限于 13K；作者把 FAIL 的 scaling 留作开放问题（第 6 节）。
• 基座上界：文本渲染仍有差距。作者称对齐方法只能精炼预训练已建立的能力，不能合成预训练阶段没有的基本能力（第 6 节）。

实验覆盖范围

• 报告了微调结果的策略为 FLUX.1-dev、Xomni 和 Wan2.1-1.3B。
• 图像专家数据为过滤后的 13,000 对单图；附录 F 另给出 4K 与 8K。视频使用 8,192 条 VidProM 提示词，专家模型为 Wan2.2-A14B。
• 判别器实验包括 Dinov3b、FLUX.1-dev 骨干和 Qwen3-VL-2B-Instruct。与奖励合用的设置为冻结 HPSv3，以及 Reward Gradient 和 FPO。
• 评测包括 UniGen-Bench（600 条；消融为 Qwen-72B，系统级为 Gemini 2.5 Pro）、DPG-Bench（1,065 条）、Alchemist（3,350 条）、HPDv3 和 VBench。消融关闭 CFG；系统级 FAIL 样本使用 optimal CFG，分辨率均为 512×512。第 4 节未写明该 checkpoint 的训练步数。
• 论文未报告重复次数或随机种子，也未说明 Table 6–8 中对照模型是否按同一生成协议重跑。

• 定位：FAIL 把 flow matching 后训练做成对抗模仿，用判别器匹配专家分布，从而不收集偏好对，也不单独训练奖励模型。
• 做法：FAIL-PD 沿可微 ODE 反传判别信号，训练时用单步去噪近似；FAIL-PG 把判别 logit 变成奖励，再用 FPO、GRPO 和参考策略 KL 更新。训练先做行为克隆，并预热判别器、混入专家样本。
• 同协议：在 FLUX.1-dev 与 13,000 张单图专家数据上，Table 1（关闭 CFG，UniGen 由 Qwen-72B 评）里 400 步 FAIL-PG 的 UniGen 为 64.75，Online DPO 为 62.83。RLHF-PD 到 400 步时 UniGen 为 57.97，低于 SFT 的 58.22。
• 系统级：optimal CFG、512×512 下，FAIL-PD 的 UniGen Overall 为 73.70（Table 7），DPG Overall 为 87.32（Table 6），HPDv3 All 为 11.28（Table 8）。Table 7 的 Text 为 52.87，Qwen-Image 为 76.14。正文所写基线 Overall 61.61 与表中 FLUX.1 Dev 的 61.30 不一致。
• 作者结论：FAIL-PG 收敛更快，但约 450 步后崩溃；2,000 步时 FAIL-PD 的 UnifiedReward 为 3.4759。与 HPSv3 奖励梯度相加后，Table 3 的 HPSv3 为 12.94。Xomni 与 Wan2.1-1.3B 上也有提升。作者称对抗模仿可以连接 SFT 与强化学习，并在与显式奖励合用时约束奖励投机，但仍受基座预训练约束。