通过分布鲁棒直接偏好优化实现稳健的 LLM 对齐

偏好分布偏移会让静态数据上的DPO对齐失效。

• 场景：作者称RLHF/DPO用受控条件下的静态偏好数据训练，并默认它代表真实用户。偏好随地区、人口统计、语言模式和新兴社会趋势变化；分布不匹配时，已对齐模型会失败。作者称这会导致灾难性对齐失败。
• 现有不足：作者称标准方法隐含假设单一奖励能代表偏好，并偏向多数意见、不成比例地惩罚少数意见。标注噪声、疲劳和意见冲突还会带来reward hacking，使输出看起来对齐、但偏离真实意图。
• 本文范围：引言并列了偏好多样性、reward hacking和分布偏移。本文聚焦第三类：训练偏好分布与部署偏好分布不一致。Figure 1用P1/P2两套偏好示意非鲁棒DPO会偏向训练人群的completion。
• 做法：把分布鲁棒优化套到DPO上，在名义分布邻域内最小化最坏期望损失，提出Wasserstein DPO（WDPO）与Kullback–Leibler DPO（KLDPO），并给出log-linear策略下的参数误差界和可训练近似。

相关研究按鲁棒RLHF、鲁棒DPO和分布鲁棒学习组织；实验对照是DPO。

鲁棒RLHF

• 多奖励与加权：Bai et al. (2022)按harmless与helpful调整多项损失权重。Chakraborty et al. (2024)用期望最大化为子群体学习多个奖励，再做max-min策略优化；论文指出这与本文的分布鲁棒学习不同。
• 多样性、不确定性与损坏：Padmakumar et al. (2024)用合成偏好估计用户多样性；Yan et al. (2024)用贝叶斯奖励集成量化不确定性，以减轻奖励过优化；Bukharin et al. (2024)处理偏好数据损坏。

鲁棒DPO

• 分组与标签噪声：Ramesh et al. (2024)的GRPO把总损失写成各偏好数据集上DPO损失的加权和，并对最坏权重优化。论文指出本文不假设分组结构，而是在单一数据集上做分布鲁棒。Chowdhury et al. (2024)在已知ε时处理ε比例的标签损坏。
• 散度正则与β：Huang et al. (2025)的χPO用χ²散度正则实现面对不确定性的悲观，针对相对估计奖励的hacking或过优化。Wu et al. (2024)的β-DPO按训练集内的数据质量调整β。
• 最接近的两篇：Wu et al. (2025)用分布鲁棒减轻偏好数据的损坏和噪声。论文指出它不处理分布偏移、没有理论保证，也没有偏好分布偏移实验。Mandal et al. (2025)与本文同期，用全变差不确定集做分布鲁棒RLHF/DPO，保证的是损失的自然策略梯度式优化收敛。论文指出本文用强凸性给出策略参数的有限样本收敛，分析不绑定特定求解器，不确定集为KL与Wasserstein。

分布鲁棒学习

• 不确定集：f散度路线包括Namkoong and Duchi (2016)、Duchi and Namkoong (2021)、Levy et al. (2020)；Wasserstein路线包括Mohajerin Esfahani and Kuhn (2018)、Kuhn et al. (2019)、Gao et al. (2022)。对手在集内最大化期望损失，学习器最小化该最坏损失。
• 已有场景：论文列举监督学习、模仿学习、多臂赌博机和强化学习中的分布鲁棒算法，如Chen and Paschalidis (2018)、Panaganti et al. (2022)、Zhou et al. (2024)。

基线与基准

• 实验对照：实验基线是DPO（Rafailov et al., 2023）。数据与评测环境为Emotion（Saravia et al., 2018）、HelpSteer2（Wang et al., 2024b）、ArmoRM多目标分数，以及OpenLLM Leaderboard v2（Fourrier et al., 2024）。

作者称，据其所知，这是用分布鲁棒优化处理LLM对齐中偏好偏移的首个统一数学与算法框架。

WDPO与KLDPO在名义偏好分布周围的不确定集上，最小化最坏情形的DPO损失，再用梯度正则或样本重加权把minimax做成可下降的近似。

数据与名义分布

• 采样：提示s来自μ^o，两条回复独立来自行为策略π^o（实践中为π_SFT）。y∈{0,1}表示哪条被偏好，由Bradley-Terry模型对应的Bernoulli抽出。名义分布P^o是(s,a1,a2,y)的联合分布（Definition 1）。
• 训练集：D={z_i}由P^o的n个i.i.d.样本构成。点损失是成对偏好的logistic负对数似然，偏好分数为策略与参考策略的对数比之差，由β缩放。
• 不确定集：到P^o的距离不超过ρ的分布；距离取p阶Wasserstein或KL。

鲁棒目标

分布鲁棒目标是在不确定集内最大化期望DPO损失，再对策略参数最小化：

min_θmax_{P∈𝒫(ρ;P^o)}𝔼_{z∼ P}[l(z;θ)]

• 两个损失：Wasserstein球上的最坏期望记为L^W(θ;ρ)，KL球上记为L^KL(θ;ρ)。经验版本把P^o换成经验分布。
• 作者的直观说法：找最坏数据分布下最好的策略。β控制偏离参考策略，ρ控制不确定集半径，二者分开设定。

有限样本保证

• 策略类：Assumption 1设log-linear策略，π_θ(a|s)正比于exp(θ^T ψ(s,a))，特征范数不超过1，||θ||_2≤B。作者称可在二次可微和光滑条件下推广到神经网络策略。
• 覆盖：Assumption 2要求不确定集中每个分布的特征差协方差Σ_P⪰λI。
• WDPO：Theorem 1称，概率至少1−δ时，经验解与总体解的参数差平方不超过8K^2 log(2/δ)/(γ^2 λ^2 n)。K=|log σ(−4βB)|，γ=β^2 e^{4βB}/(1+e^{4βB})^2。作者称范数误差为O(n^{-1/4})。
• 对比：Theorem 2对KLDPO给出同类O(n^{-1/4})界，并含exp(L/λ)型因子；作者称这是KL型DRO的常见项。Proposition 1中非鲁棒DPO在另一加权范数下为O(n^{-1/2})。Remark 3称鲁棒速率更差，并把更好的速率留作开放问题。

可训练近似

• 难点：分布P没有参数，训练样本只来自P^o，不能直接对P做交替梯度。
• WDPO：Algorithm 1。作者引用Gao et al. (2022)，称p=2且ρ_n=O(1/n^{1/2})时，Wasserstein DRO渐近等价于经验风险加梯度变分正则。实现把样本数相关的系数吸进可调的ρ_o，近似损失为DPO损失加ρ_o乘损失对z的梯度范数（先对方差式范数取均值再开方）。附录F称梯度对embedding输出计算，因为token是整数。
• KLDPO：Algorithm 2与Proposition 2。KL球内的最坏分布写成对经验分布的指数重加权，权重正比于exp((1/τ)(样本损失−平均损失))，τ为温度；近似损失是该权重下的损失之和。附录F称分布式训练用all-gather在全batch上估计平均损失。
• 优化：两者都对θ做梯度下降，直到收敛。算法框未给出统一迭代上限。

实验设置

• 被对齐模型：GPT-2；LLaMA-3.2-1B-Instruct、LLaMA-3.2-3B-Instruct、LLaMA-3.1-8B-Instruct。Emotion的奖励模型是另训的带分类头GPT-2，附录F称测试准确率84%、ROC-AUC 0.99。
• 数据：Emotion五类情绪为sadness、joy、love、anger、fear。HelpSteer2提供提示。偏好由奖励模型生成，不是这三组实验中新采集的人类标注。Leaderboard设置对每个提示采样10条回复，用ArmoRM第二阶段标量取得分最高与最低的一对。
• 基线与变体：对照为DPO。Emotion中WDPO的ρ_o为50、75、100，KLDPO的τ为0.5、0.75、1。LLaMA实验的ρ_o、τ见Table 1与附录E.1。
• 指标：凸混合与几何混合奖励；ArmoRM单目标分数；OpenLLM Leaderboard v2的IFEval、BBH、MATH、GPQA、MUSR、MMLU。作者称Table 1在39个子任务上取平均，附录E.2给出分项。
• 训练：Emotion的DPO β=0.1、40 epoch。LLaMA的β=0.01。Section 7.2称Leaderboard比较中WDPO/KLDPO训练2 epoch，对齐DPO的early stopping；ArmoRM多目标实验训练4 epoch。附录F另写LLaMA训练8 epoch、有效batch 128、Adam、学习率5.0×10^{-7}。
• 判定：Leaderboard用LM Evaluation Harness。论文未报告LLM裁判、误差条、重复次数或统计检验。

主结果

Table 1只列出部分变体。未列入1B的KLDPO（τ=0.1）、WDPO（ρ_o=0.005）和DPO的epoch 4/6，以及8B的KLDPO（τ=0.005）。8B的WDPO论文未报告。3B、8B的DPO行未标注epoch。

表格较宽，可左右滑动

模型与方法	IFEval	MATH	MUSR	MMLU
LLaMA-3.2-1B DPO（epoch 2）	0.48	0.08	0.35	0.17
LLaMA-3.2-1B KLDPO（τ=0.05）	0.56	0.08	0.32	0.18
LLaMA-3.2-1B WDPO（ρ_o=0.01）	0.52	0.09	0.34	0.19
LLaMA-3.2-3B DPO	0.55	0.08	0.36	0.30
LLaMA-3.2-3B KLDPO（τ=0.005）	0.74	0.19	0.35	0.32
LLaMA-3.2-3B WDPO（ρ_o=0.005）	0.62	0.06	0.36	0.30
LLaMA-3.1-8B DPO	0.62	0.03	0.44	0.33
LLaMA-3.1-8B KLDPO（τ=0.01）	0.75	0.22	0.36	0.37

• 作者称DPO对偏好偏移敏感，WDPO/KLDPO在多种对齐任务上更好。表中并非每格都更高：3B的WDPO在MATH上低于DPO，3B的KLDPO在MUSR上低于DPO，8B的KLDPO在MUSR上低于DPO。
• 未入表的1B GPQA：DPO epoch 2为0.27，KLDPO（τ=0.05）为0.26，WDPO（ρ_o=0.01）为0.25（Table 1）。
• 作者称8B因计算限制只报告KLDPO；附录E.2称少数子任务上略低，并称优势在跨子任务的泛化。

Emotion偏移

• 测了什么：GPT-2在强调fear的偏好上训练，α_o=0.1；评测把偏好转向anger。左两图为凸混合，右两图为几何混合（Figure 2）。
• 结果：正文未给出曲线端点数值。作者称评测接近训练时DPO的混合奖励高于偏移后；转向anger后DPO变差，WDPO/KLDPO在整个范围内更稳，并在偏移下高于DPO。
• 图上文字：横轴为Alpha，纵轴为Mixture Reward，图例区分DPO与各组ρ_o、τ，并标有nominal。文本转换看不到曲线高低。

ArmoRM多目标

• 测了什么：LLaMA-3.2-1B-Instruct，HelpSteer2提示，ArmoRM第一阶段目标的等权凸混合。三组训练对为Truthfulness–Complexity、Helpfulness–Coherence、Correctness–Helpfulness。训练4 epoch。评测5个目标，其中3个训练时未使用（Figure 3）。
• 作者称：两个鲁棒方法在全部五轴上高于DPO，包括未见目标。Figure 3轴名包括Correctness、Coherence、Helpfulness、Honesty和ArmoRM；文本中的0.33、0.22、0.11、0.00等是刻度，不是数据点标注。
• 附录E.1：α_o=0.5，α取0、0.1、0.3、0.5、0.7、0.9、1；ρ_o为0.005或0.01，τ为1或5。作者称三组里WDPO/KLDPO相对DPO更稳。Figure 4未给出各α的奖励数值。

Leaderboard分项

• 数学分项：Table 4子任务29（math-algebra-hard），LLaMA-3.1-8B上DPO epoch 2为0.04，KLDPO（τ=0.005）为0.42，τ=0.01为0.44。作者称KLDPO在数学相关任务上表现突出。
• 偏低分项：同表子任务38（musr-object-placements），DPO epoch 2为0.40，两种τ的KLDPO均为0.26。作者称少数子任务上略低，未另给原因。
• 1B随epoch：Table 1中DPO epoch 2/4/6的IFEval都是0.48；MATH为0.08、0.07、0.06；BBH为0.35、0.34、0.33。作者把三者标为early stopping、goodfit、overfit。

其他消融与分析

• 1B KLDPO的τ从0.1到0.05：IFEval从0.53到0.56；MATH都是0.08（Table 1）。
• 1B WDPO的ρ_o从0.01到0.005：IFEval从0.52到0.49；MATH都是0.09（Table 1）。
• 8B KLDPO的τ从0.005到0.01：IFEval从0.72到0.75；MATH从0.24到0.22；MUSR从0.34到0.36（Table 1）。
• 3B WDPO（ρ_o=0.005）的MATH为0.06，同表DPO为0.08；BBH两者都是0.45（Table 1）。
• 8B KLDPO（τ=0.01）的GPQA为0.31，DPO为0.29；BBH为0.51，DPO为0.50（Table 1）。
• 论文未报告与GRPO、χPO或Wu et al. (2025)的实验数字，也未报告样本复杂度速率的实证曲线。

作者指出的局限与后续方向

• 数据覆盖：作者称Assumption 2要求训练集充分覆盖偏好与非偏好动作的特征差，并称该假设moderately restrictive（Appendix G）。
• 两次梯度：作者称WDPO要分别计算梯度惩罚和参数更新，会增加计算复杂度与训练难度，并可能限制可扩展性和效率（Appendix G）。
• 后续方向：作者计划把方法扩展到减轻reward hacking，并把鲁棒性推广到其他RLHF（Section 8）。

实验覆盖范围

• 模型：被对齐并报告结果的是GPT-2，以及LLaMA-3.2-1B-Instruct、LLaMA-3.2-3B-Instruct、LLaMA-3.1-8B-Instruct（Section 7）。8B只报告KLDPO（Section 7.2）。
• 偏好来源：Emotion用带分类头的GPT-2生成奖励；HelpSteer2用ArmoRM。Leaderboard设置每个提示采样10条回复，取得分最高与最低的一对（Section 7.1）。论文未报告HelpSteer2提示条数和Emotion偏好对数量。
• 偏移设置：凸混合与几何混合。Emotion训练混合系数α_o=0.1；ArmoRM多目标实验训练4 epoch，评测5个目标，其中3个训练时未使用（Section 7.1、7.2）。
• Leaderboard：报告IFEval、BBH、MATH、GPQA、MUSR、MMLU；作者称覆盖39个子任务，附录E.2列出分项（Section 7.2）。
• 对照与理论范围：实验对照为DPO。论文未报告误差条、重复次数或统计检验。参数误差界对应log-linear策略（Assumption 1）；实验模型是GPT-2与LLaMA。作者称分析可推广到满足二次可微与光滑条件的神经网络策略（Remark 1）。

WDPO与KLDPO把分布鲁棒优化接进DPO，用来处理训练偏好与部署偏好不一致。

• 问题：静态偏好数据不能代表随地区、人群、语言和文化变化的用户偏好。作者把这一点从偏好多样性和reward hacking中单列出来，作为本文要处理的对齐脆弱性。
• 方法：在名义分布的Wasserstein或KL球内最小化最坏DPO损失。WDPO用损失对样本的梯度范数作正则，半径吸进可调的ρ_o；KLDPO按损失相对均值的指数重加权，温度是τ。log-linear策略和覆盖假设下，作者称参数误差为O(n^{-1/4})，并称该速率差于非鲁棒DPO的O(n^{-1/2})。
• 偏移实验：Emotion与ArmoRM混合奖励上，作者称评测离开训练混合后DPO变差，两个鲁棒变体更稳。Figure 2、Figure 3未给出可引用的端点数值。
• Leaderboard：Table 1中，LLaMA-3.2-3B上KLDPO（τ=0.005）的IFEval为0.74，DPO为0.55；LLaMA-3.1-8B上KLDPO（τ=0.01）的IFEval为0.75，DPO为0.62。同表MATH上，8B的KLDPO（τ=0.005）为0.24，DPO为0.03。MUSR上8B的DPO为0.44，KLDPO（τ=0.005）为0.34。
• 作者的结论：这两种近似可以接入现有对齐流程，并在偏好偏移下改善对齐。作者计划扩展到reward hacking和其他RLHF。附录G称数据覆盖假设有限制，WDPO要算两次梯度。