MoDA：通过模式条件强化学习实现质量-多样性对齐

对齐后训练把输出压到少数高奖励模式，开放式任务需要同时保住质量并扩大可表达空间。

• 问题场景：作者称后训练对齐会让模型偏向狭窄的高概率回答，造成 mode collapse，损失推理时的表达多样性。科学构思依赖较宽的合理假设空间，创意写作同样需要开放探索；推理时干预只能部分缓解。
• 现有不足：作者称提示、解码和既有训练方法（DARLING、DivPO、DQO等）虽能提高多样性，但没有一种能让同一模型在“一个高质量答案”和“一组多样回答”之间切换。只优化期望奖励会压低策略熵。
• 核心观察：作者把多样生成看成共享策略内部多个角色智能体的竞争与协调：用抽象编号角色而非手写人设，促使各角色占据高质量输出空间的不同区域。
• 提出的方法：提出在线后训练算法 MODA（MOde-conditioned Diversity Alignment）。共享LLM以编号mode token为条件，多样性奖励只发给通过提示自适应质量门的回答，并加长度、语言和格式惩罚，以抑制语言切换和冗长等奖励投机。
• 评测目标：作者构建11项评测：7项通用能力（GSM8K、MMLU、GPQA、BoolQ、HellaSwag、TruthfulQA、IFEval）与4项多样应用（HypoBench、PreScience、NoveltyBench、Infinite-Chat留出集），同时看质量保持与多样性。

论文按多样性为何重要、如何度量、如何在训练或推理时提高来组织相关工作。

多样性为何重要

• Artificial Hivemind（Jiang et al.）：开放式提示上模型内外同质化；Zhang et al. [72]称偏好数据偏差使对齐降低多样性。
• 科学与创意：研究智能体需要更广探索 [77]；mode collapse缩小解空间 [70]；写作多样性下降会削弱LLM辅助创作 [1, 3, 47]；证明中重复采样只有在路径不同时才有用 [68, 6]。

多样性度量

• 词法与语义：distinct n-grams、Self-BLEU、MTLD、压缩同质分；句嵌入、Vendi Score及其条件变体、G-Vendi。
• 塌缩与基准：训练流程中的多样性塌缩 [28, 46, 47, 66, 11]；面向类人或有效语义多样性的基准 [73, 59, 17, 54]。作者称多数评测把多样性与质量分开看，本文则在真实应用上联合评测，以避免mode collapse或灾难性遗忘。

推理时与训练时方法

• 推理时：Verbalized Sampling、String Seed of Thought（SSoT）、DIPPER、Multi-Novelty、多语言/人设/思维链提示；解码侧有nucleus、min-p、G2与自适应温度（LPO）。
• 训练时：DARLING用质量与多样性的乘积聚合做在线RL；DivPO对稀有且过质量阈值的回答做DPO；DQO用行列式组多样性奖励但组内同分；Multi-answer RL在一次回答里输出多个答案；Soft Preference Learning把熵与KL惩罚解耦。GRPO-Unlikeliness与GAPO用频率或似然奖励鼓励多样性。

基线与基准

• 基线方法：训练侧为DARLING（混合数据与WildChat两种）和DivPO；推理侧为基座多次采样与SSoT。
• 基准/数据集：多样性侧为HypoBench、PreScience、NoveltyBench、Infinite-Chat留出集；能力侧为GSM8K、MMLU、GPQA、BoolQ、HellaSwag、TruthfulQA-MC1、IFEval。训练数据为Tulu3-SFT-Mixture与Infinite-Chat的4:1混合，共10K提示。

作者把MODA定位为：多样性显式条件在mode token上，而不是无条件写进模型，因此可在多样模式与标准单回答之间切换，并从MARL视角做带质量约束的逐角色信用分配。

MODA把对齐写成共享策略上的多智能体竞争：每个抽象编号角色生成一条回答，只在通过质量门后按与最近邻的语义距离拿多样性奖励，再用GRPO更新同一套参数。

问题设定

• 目标：对提示x，策略π(y|x)应同时产生高质量、多样且不冗余的回答。常规RL最大化期望奖励J_RL，作者称这会把概率集中到少数高奖励回答并降低熵H(π)。
• 模式条件：角色集合Z固定。共享策略π_θ(y|z_i, x)在角色z_i上条件化，参数θ共享。训练时每个角色对批内提示各生成回答，组成响应组。
• 双推理模式：标准模式不加角色标识，生成单条回答；多样模式对多个角色分别采样。集合可直接返回、由质量模型排序，或交给下游模型汇总。事实题被作者用作只需单一正确答案的例子。

角色条件化

• 默认身份：主设定在系统提示前加最小身份句“You are role i”，用编号而不用手写人设，以免注入领域视角。消融里手写人设和以指定词开头的token条件也能用，但主实验选最小身份，让专门化从多样性目标里出现。
• 组结构：论文正文写响应组含6个模式各一条，以适配4块GPU（1块奖励模型、3块推理）。思考模型在嵌入前去掉思考轨迹。

质量门控多样性奖励

• 四项组成：奖励为质量项、门控后的多样性项，以及长度、语言不匹配、格式或角色标签泄漏的非正惩罚。多样性项乘以二值门g，未过门则为0。
• 提示自适应阈值：每个提示先从冻结初始策略采5条，用奖励模型得到最低、均值、最高分。阈值τ_q把参考最低分上移参考分差的比例α；质量幅度σ_q由γ和稳定项ϵ控制。质量奖励是有界tanh，过阈值有正奖励，远超阈值后不再主导优化；低于阈值仍有质量信号但没有多样性信用。
• 多样性分：用sentence-transformers/all-MiniLM-L6-v2嵌入最终答案，奖励为组内最近邻的归一化语义距离。作者称这样避免多条回答塌到同一模式、只有一个离群点拉高组多样性。框架不绑定该度量，词法、句法或学习到的语义度量可替换。

策略优化

• GRPO：同一提示的全部角色样本构成一个奖励组，优势为组内奖励的标准化，无单独价值网络，并带相对参考策略的KL项。Algorithm 1还在优势上加常数η；附录给完整伪代码。
• 实现：用verl、vLLM推理与FSDP训练。基座主实验为Qwen3-8B（Qwen/Qwen3-8B）。奖励模型为Skywork-Reward-V2-Llama-3.1-8B-40M，参考分预计算后存入数据。思考开启与关闭两种生成设置下，质量与多样性都只在最终答案上计算。

评测判定

• 多样性指标：语义SBERT、熵E-Vendi、蕴含判别器Disc.。判别器在冻结all-mpnet-base-v2嵌入上训练，标签来自DeBERTa-v3-large对200-token前缀的双向NLI（蕴含对非蕴含），数据为Qwen3-30B在2000条Alpaca提示、5种采样模式、2个种子上生成的2万对。
• 能力指标：标准模式下七项基准的pass@1等；思考开启最大长度8192，关闭为2048。多样应用在多样模式下评测，且作者称评测集与训练数据不重叠。

实验设置

• 被测模型：Qwen3-8B（思考开/关）、Llama-3.1-8B与GLM-4-9B（思考关）。奖励模型为Skywork-Reward-V2-Llama-3.1-8B-40M。
• 数据：训练10K提示，Tulu3-SFT-Mixture与Infinite-Chat为4:1。多样性评测为Infinite-Chat留出集、NoveltyBench、HypoBench、PreScience；能力为GSM8K、MMLU、GPQA、BoolQ、HellaSwag、TruthfulQA、IFEval。论文未写各评测集条数。
• 基线：DARLING（混合数据与10K WildChat两种）、DivPO；思考开启另有SSoT。推理时重复采样被作者作为对照讨论。
• 指标：Disc.、SBERT、E-Vendi与质量。Infinite-Chat的质量是通用能力准确率（%）；其余域用各自原生质量分。能力表为pass@1（%）。Table 1与Table 2均为n=3个随机种子的平均。
• 解码：多样评测注入角色；能力评测为标准单回答。思考轨迹在奖励和评测中都被遮掉。

主结果

Table 1中Qwen3-8B、思考关闭（多样性为四域平均，质量取Infinite-Chat的能力准确率）：

表格较宽，可左右滑动

方法	Disc.	SBERT	E-Vendi	Qual.(%)
Qwen3-8B	0.427	0.164	2.01	62.9
DARLING (Mix)	0.477	0.312	3.12	57.9
DARLING (WildChat)	0.439	0.229	2.45	62.7
DivPO	0.453	0.271	2.79	66.2
MODA	0.482	0.419	3.90	73.2

据Table 1。Llama-3.1-8B上MODA平均SBERT 0.390、E-Vendi 3.67、Infinite-Chat质量51.9%，基座为0.312、2.87、46.7%。GLM-4-9B上MODA为0.495、4.77、60.7%，基座为0.326、3.34、44.9%。

• 作者解读：作者称在四个域和三个模型族上，MODA的平均多样性为所评基线中最高，且多数域质量持平或提高，PreScience除外。HypoBench相对训练分布是域外，作者据此认为探索能力有迁移。
• 相对DivPO：摘要写，相对最强DivPO，Infinite-Chat上SBERT从0.274到0.482（+75.9%），E-Vendi从2.86到4.4（+53.8%），平均通用能力pass@1提高7.0%。Table 1关闭思考、Infinite-Chat行与这些绝对数一致（E-Vendi写作4.40）。
• 相对基座：摘要写Infinite-Chat留出提示上SBERT提高265%，通用能力比Qwen3-8B基座高10.3%。Table 1该行SBERT从0.132到0.482；Table 2平均pass@1从62.9到73.2。引言另写多样基准套件上相对初始策略SBERT与E-Vendi提高155.5%与94.0%，与Table 1四域平均0.164→0.419、2.01→3.90的相对变化同量级。

Table 2中Qwen3-8B、思考关闭的pass@1（%）：

表格较宽，可左右滑动

模型	GSM8K	MMLU	GPQA	BoolQ	HS	TQA	IFEval	Avg.
Qwen3-8B	84.5	82.0	41.4	83.1	48.4	22.2	78.4	62.9
DARLING (Mix)	63.5	63.0	34.3	76.7	62.2	52.4	53.0	57.9
DARLING (WildChat)	77.9	55.0	34.3	86.4	68.8	43.2	73.0	62.7
DivPO	80.5	81.0	40.4	83.5	62.8	37.7	77.3	66.2
MODA	86.7	81.0	52.0	84.8	73.4	57.9	76.9	73.2

据Table 2。作者称该设置下MODA在7项中5项不低于基座，且在4项上为基线中最高。思考开启时MODA平均76.8，基座75.8、SSoT 76.3、DivPO 71.7；GSM8K上MODA为83.9，低于基座90.3。GLM-4-9B上作者称平均pass@1提高15.8个百分点（表中44.9到60.7），GSM8K相对提升3.89倍（21.8到84.9），MMLU相对提升2.37倍（35.0到83.0）；HellaSwag从68.0降到52.3，TruthfulQA从44.8降到34.5。作者称去掉语言混合惩罚后，语言混合会造成奖励投机并拉低质量。

Pareto与pass@k

• Figure 4：横轴为Infinite-Chat多样性（Disc./SBERT/EmbVendi的平均z分数），纵轴为通用能力（基准平均准确率）。分面为Qwen3-8B思考开启、关闭，以及Llama-3.1-8B/GLM-4-9B思考关闭。作者称三个设置里MODA都Pareto支配全部基线。图中具体坐标未在正文逐点列出。
• Figure 5：Qwen3-8B、思考关闭，在能力套件平均、GSM8K与TruthfulQA上画pass@k。作者称MODA在思考设置与基座上的平均pass@1、pass@5、pass@10为所列基线中最高。正文未给出pass@5与pass@10的具体数值。
• PreScience例外：Table 1思考关闭时，MODA的PreScience质量为3.96，低于基座4.25，SBERT为0.176，低于DARLING (Mix)的0.541。思考开启时NoveltyBench质量MODA为3.39，低于基座4.90与DivPO的5.06。

定性结果

• Figure 1：提示“Name a shade of blue”采100条。作者称思考关闭的MODA在多样模式下给出40种不同蓝色，比Qwen3-8B初始策略多122%，比SSoT多150%。
• Figure 3：提示“Write a metaphor about time”。23个现成模型与训练后的非思考MODA各用top-p=1.0、temperature=1.0生成20条，再对句嵌入做PCA到二维。作者称MODA占据更大的嵌入区域。图上点的坐标未给出。
• 角色行为：作者称尽管只用抽象编号角色，模型有时学到角色特异行为。Figure 6对比同一书单提示下基座样本与六个编号角色的回答。

其他消融与分析

• 角色提示对照：作者称MODA的SBERT比只做角色条件提示高77%，E-Vendi高41.6%；只优化质量的变体多样性低于角色提示。
• 只优化多样性：多样性指标最高，但标准解码准确率最低，多样解码下性能完全塌掉。作者据此认为质量门对保住质量是必要的。
• 加性奖励：λ_d=1时多样性提升小于MODA；λ_d=10与100时多样性更高，但多样解码下通用能力下降。作者称质量门使奖励对系数不如加性聚合敏感。
• 角色形式：手写人设、单一角色（全用“You are Role 1.”）、以指定词开头的token条件，相对基座都有小幅多样性提升，但小于编号多角色的MODA（Table 6）。Figure 7比较标准/多样解码的pass@1、Infinite-Chat的多样性–质量，以及pass@k曲线；具体坐标未在正文列出。

作者指出的局限与后续方向

• 长度与奖励模型：Limitations and Future Work写，Skywork-Reward-V2偏向冗长，统一长度惩罚不足以覆盖不同复杂度的提示。训练GLM-4-9B时NoveltyBench原生质量不如基座，作者归因于奖励模型不惩罚冗长，模型用多余开场套话投机；去掉这些开场后分数从2.739到3.302（+20%）。作者建议后续做自适应长度惩罚或更能反映简洁性的奖励模型。
• 探索上界：同节写，训练不引入外部数据，生成多样性受初始策略能力上界约束；检索增强或外部数据可能扩大探索空间。
• 安全与事实：同节写，多样模式有产出更多误导、不安全或缺乏依据输出的风险，尤其在医疗诊断和法律推理等高风险领域。作者称标准模式保留通用能力可部分缓解，后续可以把多样模式与验证、校准、检索或领域防护结合起来。

实验覆盖范围

• 模型与设置：主表覆盖Qwen3-8B思考开/关、Llama-3.1-8B与GLM-4-9B思考关闭；训练基座写法为Qwen3-8B-Instruct（Qwen/Qwen3-8B）。
• 数据与分组：训练10K提示，每提示6个角色回答为一组；参考分来自初始策略每提示5条、由Skywork-Reward-V2-Llama-3.1-8B-40M打分。
• 指标与重复：多样性为Disc.、SBERT、E-Vendi；Table 1与Table 2为n=3个种子的平均，误差表在附录B.1与B.2。论文未在正文给出pass@5、pass@10的数值。
• 消融：包括角色条件提示、只质量、只多样性、加性权重1/10/100、手写人设、单角色与token条件；评测含标准解码与多样解码。
• 应用域：多样评测为科学构思（HypoBench、PreScience的Contribution Generation）与创意写作（NoveltyBench、Infinite-Chat留出集），作者称与训练数据不重叠。

MODA是一种在线后训练RL：用抽象编号角色把共享LLM变成一组竞争智能体，只对过质量门的回答给多样性奖励。

• 问题：对齐优化期望奖励会把策略压到少数高奖励回答。科学构思和创意写作需要多个高质量、彼此不同的输出，而多数训练方法不能在单回答与多样回答之间切换。
• 做法：系统提示使用“You are role i”。每个提示采6个角色回答，用冻结初始策略的5条参考分设定提示自适应阈值；多样性为all-MiniLM嵌入上的最近邻语义距离；过长、语言不符和格式泄漏被惩罚。优化器用GRPO，省略角色即回到标准推理。
• 多样性：Qwen3-8B、思考关闭、Infinite-Chat上，MODA的SBERT为0.482、E-Vendi为4.40、质量73.2%（Table 1），高于基座0.132、1.83、62.9%和DivPO的0.274、2.86、66.2%。四域平均SBERT 0.419、E-Vendi 3.90。Figure 1中“Name a shade of blue”得到40种不同色调。
• 能力：同一设置七项基准平均pass@1为73.2%，基座62.9%、最强DivPO 66.2%（Table 2）。GLM-4-9B上平均从44.9%到60.7%，但HellaSwag与TruthfulQA下降。PreScience质量多数未超过基座。
• 作者结论：作者认为MODA可作为不改架构的后训练替代，标准模式保留单回答能力，多样模式展开高质量输出；同时指出奖励模型偏冗长、多样性受初始策略上界限制，以及多样输出在高风险领域可能更多误导或不安全。