VA-Judger：面向联合视频-音频生成的人类偏好反馈奖励建模

联合音视频生成做强化学习后训练时，缺少能反映人类对文本、视频、音频整体偏好的奖励信号。

• 场景与重要性：作者称，联合音视频生成已能产出更真实的画面与同步声音，研究者因此探索用强化学习做后训练。奖励信号仍是瓶颈：现有做法把视频质量、音频质量、对齐与同步等指标分开打分，再拼成奖励。
• 现有方法的不足：作者认为，分维度指标抓不住提示词、视频与音频之间的语义和时间连贯性，且与真实人类判断对齐较差。对着这些指标优化会鼓励 reward hacking：指标分数高，但在人类看来不连贯或不忠实。作者以 OmniNFT 使用 VideoAlign、HPSv3、Audiobox Aesthetics、CLAP 与 DeSync 为例。
• 核心观察：作者认为，人类对音视频内容的偏好不能拆成各模态独立判断。文生图/视频奖励模型看不到音频，纯音频评测缺少视觉上下文，把单模态评测器拼起来也恢复不了跨模态交互。该设定既缺联合评测，也缺来自完整文本–视频–音频体验的人类偏好数据。
• 论文提出的内容：作者构建约 9K 提示词、10.3K 细粒度成对比较的 VAPref-10K，以及含域内与域外比较的 VA-Judger-Bench；并提出思维链全模态奖励模型 VA-Judger。训练分三步：先从质量差距明显的样本对学习结构化输出与粗偏好，再经拒绝采样蒸馏与人类标注一致的难例解释，最后做维度级强化学习，把人类反馈拆到各质量维度。作者称，据其所知这是首次用人类反馈探索联合音视频生成的奖励建模。

联合音视频生成模型

• 闭源与开源生成模型：作者讨论闭源模型在产品规模上展示联合生成趋势；开源方面，UniVerse-1（Wang et al., 2025b）拼接预训练视频与音乐专家，Ovi（Low et al., 2025）用双扩散骨干与逐块跨模态融合，MOVA（Team et al., 2026）与 daVinci-MagiHuman（Chern et al., 2026）使用大规模视频数据，LTX-2（HaCohen et al., 2026）针对模态容量不平衡，Baton（Tu et al., 2026b）引入显式语义蓝图，Javis 系列（Liu et al., 2026a;b）强调同步，JoyAI-Echo（Li et al., 2026）面向长视频。更广的视频生成工作包括 OmniWeaving 与 ViMax（Pan et al., 2026; Huang et al., 2026）。作者认为现有模型仍主要按模型侧目标或专家指标优化，人类感知质量与音视频连贯性仍有改进空间。

多模态奖励模型

• 图像与视频偏好：Pick-a-Pic（Kirstain et al., 2023）提供图像偏好数据，ImageReward（Xu et al., 2023）学习图像奖励模型；LiFT（Wang et al., 2024b）训练 LiFT-Critic 做偏好对齐，VideoReward（Liu et al., 2025b）研究多维人类偏好标注。IXC-2.5-Reward（Zang et al., 2025）在广泛的图像与视频偏好数据上训练，UnifiedReward-Think（Wang et al., 2026）为多模态理解与生成提供奖励。作者指出，这两类模型都没有在联合文本–视频–音频偏好比较上训练，也没有显式判断三者是否构成连贯事件。引言还提到语言侧的偏好优化（Christiano et al., 2017; Ouyang et al., 2022; Rafailov et al., 2023），以及图像侧的 HPSv3（Ma et al., 2025）、MPS（Zhang et al., 2024）和视频侧的 InstructVideo（Yuan et al., 2024）、VADER（Prabhudesai et al., 2024）。

生成模型的强化学习

• 扩散与流模型上的在线强化学习：FlowGRPO（Liu et al., 2025a）把 GRPO 用于文生图流模型，DanceGRPO（Xue et al., 2025）为文生图/视频与图生视频设计统一 GRPO，DiffusionNFT（Zheng et al., 2026）用正负样本定义隐式策略改进方向。ArcFlow（Yang et al., 2026）、SelfTok（Wang et al., 2025a）与 Janus-Pro-R1（Pan et al., 2025b）把视觉生成与强化学习或监督加强化学习阶段结合起来。联合音视频方面，OmniNFT（Zhang et al., 2026）做在线扩散强化学习，JavisDiT++（Liu et al., 2026b）用不同表述探索偏好优化。作者指出 OmniNFT 的优化仍依赖 VideoAlign、HPSv3、Audiobox Aesthetics、CLAP 与 DeSync 等分开的评测指标。

基线方法与基准

• 奖励模型评测基线：自动指标包括 VideoAlign、Audiobox Aesthetics、CLIP Score、ImageBind、SynchFormer、Javis Score，以及硬投票与 Z-score 软投票；奖励模型基线为 Qwen3-Omni Captioner 与 Instruct 的有/无 CoT 变体。评测集为 VA-Judger-Bench（400 易对、250 域内、500 域外）。
• 后训练基线：策略为 LTX-2，对比 LTX-2 + Qwen3-Omni-RL 与 LTX-2 + OmniNFT，生成评测用随机抽取的 200 条 JavisBench 提示词。

作者把 VA-Judger 定位为面向联合音视频生成的人类偏好对齐：同时评估视觉与音频质量、语义忠实度与跨模态一致性，奖励来自人类偏好标注，而不是只优化窄的专家指标。

作者把联合音视频奖励建模做成带结构化维度推理的成对偏好预测，并用三阶段课程训练 VA-Judger。

任务形式与数据

• 输入输出：每条样本含文本提示词 p、两条生成片段 x1=(v1,a1)、x2=(v2,a2)，以及偏好下标 y⋆∈{1,2}。模型先读固定评测量表的系统提示，再读提示词与两段带音频的视频，按五维打 1–10 分并简述理由：(A) prompt alignment、(B) video-audio consistency、(C) audio quality、(D) video quality、(E) completeness and coherence，再汇总总分并输出最终偏好。附录 A 给出完整系统提示词。
• VAPref-10K：含人工标注的难比较与域外比较。4,390 条易的跨模型对单独作为冷启动集，不属于 VAPref-10K。源片段来自 YouTube、Bilibili、影视，共 10,173 条，裁成 5–10 秒，分成六类：多人对话、旁白、音乐、电影氛围、环境事件、谈话。用 Qwen3.5-Omni 做带时间戳的描述，再用 Qwen 改写成适合生成的提示词，得到 10,083 条候选，筛后约 9K 条用于生成与配对。
• 难度感知配对：易池 4,390 对，六类上都比较 Ovi 与 LTX-2；作者在预评估中称 LTX-2 明显好于 Ovi。多人对话与旁白还比较 Ovi 与 daVinci-MagiHuman。难池原始 9,146 对，同一提示词、同一模型、不同随机种子，质量差距更小。

阶段 1：易对冷启动

• 目的：让模型学会五维量表、汇总分数和合法的 answer 输出，并从质量差距大的跨模型对上学粗偏好。作者引用课程学习（Bengio et al., 2009）作为由易到难的依据。
• 教师：用 Gemini 3.1 Pro 生成结构化推理。作者报告，在 200 对的预实验中，它与人类标注者的最终偏好一致率为 80%，因此这一阶段不做大规模人工标注。初始化模型为 Qwen3-Omni。

阶段 2：难对上的人类对齐

• 为何换监督：难对整体质量接近。另一次 200 对预实验中，Gemini 3.1 Pro 与人类判断的一致率只有 60%。标注者给全部 9,146 条原始难对选择更偏好的片段，并标出支持该决定的量表维度。
• 拒绝采样：仍由 Gemini 生成量表式回答，只保留三项都满足的样本：最终偏好与人类一致、通过正则格式解析、在每个人类选中的支持维度 d∈Dh 上，偏好片段得分严格更高，即 sy⋆,d > s3−y⋆,d。由此得到 4,436 条难对回答，用于 SFT。

阶段 3：维度级 GRPO

• 奖励：作者认为单一二元偏好太稀疏，模型可能猜对赢家但维度分数并不支持该决定。对每个采样回答，答案奖励 rans(o)=1[ŷ=y⋆]，维度奖励 rdim(o) 是 Dh 上得分顺序正确的比例。合奖励为 Ri=1/2(rans(oi)+rdim(oi))。没有落在完整量表 D 内的有效维度、包括只标 Other 的标注，不进入这一阶段，以保证 |Dh|>0。
• 优化：组内 G 个奖励做均值–标准差归一化得到优势 Ai，再最大化优势加权的生成 token 对数似然。作者写明，所提交实现不用 PPO 比值裁剪，也不用参考模型的 KL 惩罚。D 的完整量表见附录 Figure 5。

后训练时如何使用奖励

• 策略：以 LTX-2 为策略，保留 OmniNFT 的强化学习框架，把独立专家奖励换成 VA-Judger。VA-Judger 对成对候选打分，并由五个量表维度导出音频、视频和共享的跨模态奖励。冻结 LTX-2 骨干，只优化 LoRA。完整奖励构造与训练细节在附录 D.2。

实验设置

• 奖励模型评测：VA-Judger-Bench 分三份：400 易对、250 域内对、500 域外对，共 1,150 对，与训练集无重叠。易对测粗偏好，域内对沿难训练分布测细判断，域外对来自未见过的闭源生成模型。域外模型为 Kling 2.6、Wan 2.6、Veo 3.1 Fast、Veo 3.1 Quality、Sora 2，训练时排除。
• 奖励模型与指标基线：被测奖励模型为 Qwen3-Omni Captioner（No CoT / CoT）、Qwen3-Omni Instruct（No CoT / CoT）和 VA-Judger。自动指标覆盖单模态质量、文本一致性、音视频一致性、同步与综合质量；Table 1 列出 VideoAlign、Audiobox Aesthetics、CLIP Score、ImageBind T-A、ImageBind、SynchFormer、Javis Score，以及硬投票与 Z-score 软投票。指标取标量更高的片段，完全打平记半分。
• 准确率定义：Total Acc 把非法最终选择计为错误；Parsed Acc 只用合法回答。Overall 是 1,150 对上的 micro accuracy。奖励模型报告 Total Acc / Parsed Acc。
• 后训练：策略为 LTX-2，对比 LTX-2、LTX-2 + Qwen3-Omni-RL（未调的 Qwen3-Omni 作奖励，后训练配置与 VA-Judger 相同）、LTX-2 + OmniNFT、LTX-2 + VA-Judger。只训练 LoRA。评测为均匀抽取的 200 条 JavisBench 提示词；除 DeSync 外越高越好。人工评估为 20 名成人对 200 个三选一比较共 4,000 次选择。论文未报告奖励模型训练的重复次数。

主结果

Table 1 的 Total Acc（%）。奖励模型两数相同表示 Total Acc 与 Parsed Acc 相同。

表格较宽，可左右滑动

模型	Easy (400)	In-domain (250)	Out-of-domain (500)	Overall (1150)
Z-score soft voting	67.00	58.00	52.40	58.70
Javis Score	60.00	55.60	55.40	57.04
Qwen3-Omni Instruct CoT	63.25	54.80	55.00	57.83
VA-Judger	76.25	66.00	63.40	68.43

• 作者的解读：七项代表指标的 Overall 从 50.35% 到 57.04%；VideoAlign 与 Audiobox Aesthetics 在域外为 48.40% 与 44.00%。Z-score 软投票把 Overall 提到 58.70%，域外只有 52.40%；硬投票域外为 50.00%。作者认为分指标只看到联合体验的局部，嵌入相似度或时间偏移可能漏掉局部缺陷和语义不匹配。
• 相对全模态基线：作者称 VA-Judger 的 Overall Total Acc 为 68.43%，比 Qwen3-Omni Instruct CoT 高 10.60 个百分点。Qwen3-Omni Captioner（CoT）的 Overall Total Acc 为 49.30%，Parsed Acc 为 56.76%，说明非法输出拉低 Total Acc；VA-Judger 二者同为 68.43%。
• 域外并未随集成上升：附录写明，相对最强的单项 Javis Score，Z-score 软投票在易、域内和 Overall 上分别高 7.00、2.40、1.66 个百分点，域外低 3.00 个百分点。作者认为指标含互补信息，但无标签组合在生成模型分布偏移下仍不够稳。

后训练 LTX-2

• 测了什么：200 条 JavisBench 提示词上的视频质量、Audiobox Aesthetics、跨模态对齐、文本一致性以及音视频一致性与同步。Table 2 中，相对 LTX-2，LTX-2 + VA-Judger 的 VQ、MQ、AQ 从 2.248、0.697、4.767 到 3.942、1.183、5.610；JavisScore、AVHScore 从 0.074、0.091 到 0.230、0.261。
• 例外：OmniNFT 的 DeSync 最低。Table 2 中 DeSync（越低越好）为 LTX-2 0.430、Qwen3-Omni-RL 0.335、OmniNFT 0.226、VA-Judger 0.592。作者称 DeSync 被显式放进 OmniNFT 的后训练奖励，这一优势可能来自直接优化该指标，并与针对单一指标的 reward hacking 一致，而不是全面更好的音视频质量。作者称 VA-Judger 在 20 项指标中 17 项排名第一。Table 2 中并非每列都是 VA-Judger 最高：MQ、AQ、AB 各项、TV-Align、TA-Align、ViCLIP、文本一致性多项、AV-IB、AV-Align、AVHScore、JavisScore 为最高或并列需以表为准；AB-CU 为 OmniNFT 6.797、VA-Judger 6.766；AB-PC 以外，CAVP 为 OmniNFT 0.800、VA-Judger 0.799；TV-Align 上 Qwen3-Omni-RL 为 0.272、OmniNFT 为 0.279，均低于基座 LTX-2 的 0.303，而 VA-Judger 为 0.310。
• 作者的解读：作者认为这种较广的提升与从整体人类比较学习统一奖励一致，而不是分别优化专家指标。Figure 3 的定性例子中，作者称后训练模型更好地跟随所要求的时间动作；图注写兔子例子中基线缺少停顿后冲出或时间顺序，航天器例子中基线支撑结构或指定运动不对。

人工偏好

• 设置与结果：Figure 4 报告 20 名参与者对 200 个提示词、共 4,000 次三选一选择。LTX-2 + VA-Judger 占 62.30%，LTX-2 + OmniNFT 占 27.63%，LTX-2 占 10.08%。作者称 VA-Judger 得到最高的人类偏好。
• 定性案例：Figure 1(a) 中，作者称各自动专家指标判定 Video 1 更好，VA-Judger 经五维打分（总分 Video 1 为 20、Video 2 为 35）选择 Video 2。Figure 1(b) 作者称 VA-Judger 与人类偏好的一致性最高；图中具体柱高文本未给出。Figure 1(c) 作者称用 VA-Judger 奖励后训练 LTX，质量高于基座与 OmniNFT。

其他消融与分析

• 教师一致性：易对 200 对预实验中 Gemini 3.1 Pro 与人类最终偏好一致 80%；难对 200 对预实验为 60%。
• 拒绝采样产量：9,146 条原始难对经格式、最终选择与维度顺序过滤后保留 4,436 条。
• 附录同步与聚合指标（Table 9，Overall micro）：SyncNet Confidence 50.96%，Desync 56.35%，Javis Score 57.04%；SyncNet Confidence 的域外准确率为 40.20%。
• 附录语义一致性（Table 8，Overall）：Audio-Video Alignment 55.91%，AVH Score 57.91%，ImageBind A-V 58.09%。
• 文本侧附录数字：ImageBind T-A Overall 54.26%；CLAP Score Overall 57.91%，其域外为 66.20%，高于 Table 1 中多项域外结果。ViCLIP Overall 49.74%。
• 投票：硬投票在易、域内、域外分别为 64.50%、52.00%、50.00%，1,150 对 micro 为 55.48%。

作者指出的局限与后续方向

论文的 Conclusion 未单独列出局限或后续实验，正文也无 Limitations、Discussion 或 Future Work 专节。论文未专门讨论局限。

实验覆盖范围

• 偏好数据：冷启动使用 4,390 条易的跨模型对，比较 Ovi 与 LTX-2，多人对话和旁白还比较 Ovi 与 daVinci-MagiHuman；原始难对 9,146 条为同模型不同种子，过滤后 4,436 条进入 SFT。VAPref-10K 的源片段按六类组织，提示词约 9K，比较约 10.3K（第 3 节）。
• 奖励模型评测：VA-Judger-Bench 为 400 易对、250 域内对、500 域外对，共 1,150 对且与训练集不重叠。域外片段来自 Kling 2.6、Wan 2.6、Veo 3.1 Fast、Veo 3.1 Quality、Sora 2（第 4.1 节、引言）。
• 被比较的奖励与指标：Table 1 比较七项自动指标、硬投票、Z-score 软投票，以及 Qwen3-Omni Captioner / Instruct 的 No CoT 与 CoT。附录 Tables 8–9 另报语义一致性与同步类指标的人类偏好准确率。初始化与部分基线为 Qwen3-Omni；冷启动与拒绝采样的教师为 Gemini 3.1 Pro。
• 后训练：策略仅为 LTX-2，骨干冻结、只优化 LoRA，强化学习框架沿用 OmniNFT，奖励换为 VA-Judger。自动指标评测为均匀抽取的 200 条 JavisBench 提示词；人工为 20 名成人、200 个三选一、共 4,000 次选择（第 4.1、4.3 节，Figure 4）。
• 论文未报告的设置：奖励模型训练与后训练的重复次数、查询预算，以及人工评估的标注者间一致性，论文未报告。附录 D.2 写有奖励构造与训练细节，正文未给出 LoRA 秩、学习率或 GRPO 的组大小 G。维度级 GRPO 排除了不含有效维度 D、包括只标 Other 的标注。

VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。

• 问题：作者认为，视频质量、音频质量、对齐和同步等指标分开打分，抓不住提示词、视频与音频的整体语义和时间关系，也与人类判断对齐较差；对着它们优化会鼓励 reward hacking。语言、图像和视频上的偏好奖励不能直接迁到这个设定，因为人类偏好依赖跨模态交互。
• 数据与方法：VAPref-10K 约 9K 条提示词、10.3K 组成对比较；另有 4,390 条易对作冷启动，不属于该数据集。VA-Judger 从 Qwen3-Omni 初始化。阶段 1 用 Gemini 3.1 Pro 在易对上蒸馏五维量表回答（200 对预实验最终偏好一致率 80%）。阶段 2 对 9,146 条同模型不同种子的难对做人工标注，只保留最终选择、格式和维度顺序都与人类一致的 4,436 条（难对预实验一致率 60%）。阶段 3 用维度级 GRPO：奖励为一半的最终选择正确性加上人类所标维度上得分顺序正确的比例；实现不用 PPO 裁剪和参考模型 KL。
• 偏好预测：在 VA-Judger-Bench 的 1,150 对上，VA-Judger 的 Overall Total Acc 为 68.43%（易 76.25%、域内 66.00%、域外 63.40%）。七项自动指标的 Overall 为 50.35%–57.04%，Z-score 软投票为 58.70%，Qwen3-Omni Instruct CoT 为 57.83%。域外模型为 Kling 2.6、Wan 2.6、Veo 3.1 Fast、Veo 3.1 Quality 与 Sora 2。
• 后训练：把该奖励用于 LTX-2 的 LoRA 后训练。在 200 条 JavisBench 提示词上，作者称 20 项自动指标中 17 项排名第一；相对基座，VQ / MQ / AQ 从 2.248 / 0.697 / 4.767 到 3.942 / 1.183 / 5.610，JavisScore 从 0.074 到 0.230。OmniNFT 的 DeSync 更低（0.226 对 0.592），作者将其与直接优化该指标联系起来。20 名成人的 4,000 次三选一中，VA-Judger 后训练模型占 62.30%，OmniNFT 占 27.63%，基座占 10.08%。
• 作者的结论：作者认为，整体人类偏好监督可以作为改进联合音视频生成的基础；与分开优化专家指标不同，这一统一奖励同时看视觉质量、音频质量、语义忠实度和跨模态连贯性。作者计划发布代码。