Robust Nash Alignment：面向偏好不确定性的博弈式对齐框架

成对偏好对齐若只优化单个偏好核，在偏好含噪、异质或部署后变化时会变脆。

• 场景：作者称 RLHF 以及 DPO、SLiC-HF、CPL、SPO 等直接方法，都经 Bradley-Terry 或 Thurstone 把成对偏好写成单一潜在标量奖励。作者认为偏好可依赖上下文、成环，或在标注者之间异质，因而不总能由一个标量奖励表示。
• 点估计的问题：NLHF 直接用成对比较概率，求难被击败的策略，但仍把学到的核当作固定真值。作者称有限、有噪、可能有偏的比较，加上异质标注者与部署环境变化，会使该点估计变脆，并称之为 fragile consensus：薄边际上的优势与噪声难以区分，小扰动即可反转支配序。
• 做法：提出 Robust Nash Alignment。主玩家在 KL 正则下最大化胜率，对抗方同时选择最难竞争策略，以及名义核周围 Bernoulli-KL 歧义集中的最坏核。作者称歧义集盖住不确定性时，该目标直接给出最坏表现的下界。硬约束难解，故改为四玩家原始-对偶代理，并用单循环乐观镜像下降-上升求解。

附录 A 按五条文献线讨论，下面合并为四组。论文只点名批评或对比的，才写区别。

奖励式 RLHF 与直接对齐

• RLHF 管线：Christiano 等 (2017)、Stiennon 等 (2020)、Ouyang 等 (2022) 收集成对比较、拟合奖励，再在靠近参考模型的正则下优化策略。论文称该范式通常把偏好当名义目标，并依赖潜在效用观点。
• 直接偏好优化：DPO、SLiC-HF、CPL、KTO、ORPO、SimPO、SPO 与自适应偏好缩放绕过显式奖励模型，直接优化偏好代理损失。论文称它们仍对着固定名义估计优化，而不是一组可能的偏好核。

一般偏好与博弈式对齐

• 一般偏好：Azar 等 (2024) 主张直接建模成对偏好，不压成标量奖励。NLHF（Munos 等, 2024）把对齐写成正则化双人博弈，并用 Nash-MD 做无遗憾学习；后续有在线、离线与策略损失实现（Ye 等, 2024；Zhang 等, 2025 等）。
• 与本文的关系：论文称本文与这条线最接近，但不假设学到的偏好博弈是精确的，而是对歧义集内最坏核优化。
• 序贯表述：Pásztor 等 (2025)、Chu 等 (2025) 用 Stackelberg 式领导者–跟随者做偏好优化或数据效率对齐。论文只描述这些工作，未写与本文的具体差别。

异质偏好与分布稳健对齐

• 软标签与人群差异：Hong 等 (2024)、Sharifnassab 等 (2024)、Furuta 等 (2024) 把软标签或成对置信度写入直接对齐；Chidambaram 等 (2025) 建模隐藏标注者类型。论文称即使名义目标被正确优化，汇总信号仍可能因标注者或部署人群差异而不稳；本文不改为拟合软标签或潜在子群，而是把核当作不确定并求最坏保证。
• 稳健 RLHF/DPO：Wu 等 (2024)、Xu 等 (2025)、Mandal 等 (2025) 等对提示分布偏移、噪声偏好或不确定偏好强度做稳健化。论文称它们稳健化的是提示分布、训练样本或名义成对损失，且基于奖励与 BT 假设；本文在一般偏好博弈内直接稳健化成对偏好核。

稳健博弈

• 博弈与 Markov 博弈中的稳健性：Aghassi 与 Bertsimas (2006) 处理集合型收益不确定；Liu 等 (2018)、Ananthanarayanan 与 Kroer (2022) 研究外生分布不确定下的分布稳健 Nash 或 Stackelberg；Zhang 等 (2020)、Mcmahan 等 (2024) 处理不确定奖励或转移。

• 论文写出的两点不同：那些工作多在对称玩家之间求稳健均衡，本文是单一学到的策略对战略跟随者和共享对抗核；单一 Bernoulli-KL 预算耦合同一提示内所有回复对，不能按动作或按玩家分解，也不能用稳健 Markov 博弈的多阶段 Bellman 递推。论文称已有结果因此不直接给出本文的代理表述或收敛保证。

• 基线与数据：实验基线是固定名义核上的两玩家 NashMD。数据为合成表格博弈、IMDb 续写、TL;DR。

作者把本文放在一般偏好博弈线上，区别是不把学到的核当作精确博弈，而是对歧义集内的最坏核优化。

Robust Nash Alignment 把不确定成对偏好下的对齐写成稳健极小极大：主策略要在最难竞争策略和歧义集内最坏核上，仍有高的 KL 正则胜率。硬约束难直接解，故改为四玩家代理，再用单循环乐观镜像下降-上升求平均迭代鞍点。

稳健博弈

• 对象：每个提示的回复集有限，记为 Y={1,...,m}，上三角边数 d=C(m,2)。偏好核由 p∈[0,1]^d 按反对称补全，对角线为 0.5。全局目标是提示矩形歧义模型下的期望。参考策略满支撑，可来自 SFT，温度为 τ>0。
• 歧义集：以名义核 p* 为中心的 Bernoulli-KL 球，半径 ρ。论文称 ρ 一般由领域专家或用户选择；离线时可用浓度不等式，使球盖住统计上可能的核。集合非矩形，各成对比较互相耦合。
• 目标：主玩家最大化、竞争策略与核最小化博弈值。忽略正则项时，若 π* 解该问题，则对任意球内核与任意竞争策略，胜率不低于该最优值。作者称这给出不确定对齐的基线表现。

目标写成 max_πmin_νmin_{p∈ P} J(π,ν;p)，即对最坏竞争策略和最坏核最大化 KL 正则胜率。

硬约束为何难解

• 固定核时：NLHF 是正则化双人零和博弈，可用无遗憾或乐观一阶方法。这里即使固定领导者，内层仍因胜率项把竞争策略与核耦合在一起。
• 两条消元都不容易：用 Gibbs 响应消掉竞争策略后，对核是凹函数最小化，论文称一般 NP-hard。先固定两个策略再求最坏核时，非矩形集合下的分布稳健问题仍可能低效或 NP-hard。
• 结构变化：把竞争策略与核合成一个对手，会失去 NLHF 的极小极大定理和唯一对称 Nash。作者称所得博弈在欧氏意义下不必单调，朴素同时梯度可能不稳定。

截断与四玩家代理

• 正则化可行集：主策略限制在地板截断单纯形，每个分量至少为 ε 倍参考概率，ε 可取得任意小以逼近全单纯形。核限制在内盒 [δ, 1-δ]^d。Theorem 1 称：若 p* 在该内盒中，截断硬值与原硬值之差，以及对 π 最大化后的最优值之差，都在 0 到 δ 之间。
• 拉格朗日：引入对偶变量 γ。跟随者也可限制到地板截断单纯形 Nβ；论文称这不改变最优解。对偶区间 Γ=[γmin, γmax] 取正的紧区间。代理先对 γ 最大化，再对跟随者与核最小化。

四玩家收益是 F(π,γ,ν,p)=J(π,ν;p)+γ(D_KL^Bern(p|p^⋆)−ρ)，即在原博弈值上加上半径违约的对偶项。

• 与硬目标的关系：Assumption 2 要求 p* 在开内盒内，0<β≤exp(-1/τ)，γmax≥1/ρ，以及 τ γmin≥1/4。前三条作者称为可由算法选择强制；(4) 是收敛分析用的曲率条件。Theorem 2：在前三条下，代理值总是截断硬值的下界；再加上 (4)，点态差距和最优值差距不超过 ρ γmin。若再满足 Assumption 3（任意主策略与跟随者下，对偶最优解都落在 Γ 内），二者相等。作者称相对原硬目标，误差至多为 δ+ρ γmin。
• 可解结构：交换 maxγ 与 minν 后，问题变成对 (π, γ) 最大化、对 (ν, p) 最小化，可当作二人零和博弈求鞍点。

单循环 OGDA

• 更新：Algorithm 1 把四块当作玩家。π 与 ν 用熵几何，γ 用欧氏几何，p 用二元熵几何。乐观梯度是当前梯度的两倍减去上一步梯度，再做镜像下降或上升。返回 T 步的平均迭代。精确更新在附录 (25)–(28)。
• 速率：Theorem 3 取常数步长 η=1/(8 Lδ)，其中 Lδ=O(1/δ)。平均迭代的对偶间隙不超过 8 Lδ (DX^diam+DY^diam)/T。由此，原目标值与该平均主策略的硬内层值之差，不超过该量加 ρ γmin 加 δ。
• 与摘要速率的对应：取 δ=O(1/√T) 时，论文给出相对原稳健博弈为 O(1/√T+ρ γmin) 的策略；Assumption 3 下为 O(1/√T)。摘要写代理对偶间隙的平均迭代收敛为 O(1/√T)；Theorem 3 的间隙界本身是 O(Lδ/T)，Lδ 随 δ 变小而变大。
• 与 NLHF 证明的差别：附录 C 称核块的强凸模与 γ 成正比，因此需要 γmin>0 且 τ γmin≥1/4，使核上的 KL 曲率压过跟随者与对抗核的混合双线性项。梯度依赖链是 γ 到 p，再到两个策略。

实验设置

• 三档：合成表格博弈；IMDb 续写上的 best-of-m 重排；TL;DR 摘要。基线都是固定名义核上的 NashMD。
• 表格：每提示 m=3。薄边边际从 Unif[0.015, 0.040] 抽取，厚边从 Unif[0.25, 0.40] 抽取，再随机置换标签。均匀参考策略，τ=0.05。对比 NashMD、训练半径 ρ∈{0.10, 0.20, 0.40} 的四玩家 OGDA，以及低维全局搜索得到的 V(ρ=0.2)。二者都从参考策略起训 2000 步，每步评估 gH(πt; ρ=0.2)。论文未报告提示条数。
• IMDb：N=8000 条提示，google/flan-t5-large 生成 m=8 条续写。三组标注者分别偏爱 300–600 字符的详尽回复、50–120 字符的简短回复，以及含 hedging keywords 的折中回复。名义核是三组的均匀混合。正文评估集是混合权重上、以均匀混合为中心的 KL 球；每个评估半径均匀抽 M=600 个核。WinRate 是稳健策略相对 NashMD 的成对胜率不低于 0.5 的核所占比例，再对 8000 条提示平均。附录 E.2 的训练实现是：在成对核的 Bernoulli-KL 球内，交替做闭式跟随者响应与核更新，K=8，再对 (π, γ) 做 OMD，步长 (0.25, 0.15)；NashMD 步长 0.30。
• TL;DR：微调骨干为 Qwen2.5-1.5B-Instruct（表 2 写 Qwen-1.5B）和 Gemma-2-2B（表 7 写 Gemma-2B），同时作为初始模型与参考模型。LoRA，5000 梯度步，τ=0.005，ρ∈{0.01, 0.05}。领导者与跟随者在同一冻结骨干上各有适配器。
• 两种名义核与评判：非 BT 核用 PairRM 的成对打分。BT 核用 DistilBERT-base-uncase 标量裁判，在 83573 对比较上训 3 个 epoch，验证准确率 72%。外部评判为 DeepSeek-R1-Distill-Qwen-32B、Gemma-4-31B、Nemotron-3-Nano-Omni，按准确性、连贯性、简洁性、对读者的帮助性比较摘要。各 1000 条提示。作者按 Bernoulli 试验使用 Clopper–Pearson 95% 区间，并称 n=1000 时最坏半宽约 ±0.032。论文未报告重复次数。

主结果

IMDb 上稳健策略对 NashMD 的 WinRate（Table 1，N=8000，m=8，每格 M=600）：

Swipe horizontally to read the table

ρtrain	0.05	0.10	0.20	0.30	0.50
0.01	0.986	0.967	0.927	0.894	0.844
0.02	0.985	0.965	0.925	0.891	0.841
0.05	0.984	0.961	0.918	0.883	0.832
0.10	0.978	0.949	0.901	0.866	0.814
0.15	0.934	0.894	0.844	0.810	0.766

• 作者称稳健策略在这些偏离名义训练偏好的抽样核上整体优于 NashMD，并改善分布外泛化。表中全部高于 0.50。
• 同一训练半径下，评估半径从 0.05 增到 0.50 时 WinRate 下降；同一评估半径下，训练半径从 0.01 增到 0.15 时也下降。正文未对这一下降另作解释。
• 摘要称名义表现与基线相当。Table 1 未单列评估半径为 0 的名义胜率。

表格博弈

• 测了什么：Figure 1 左图是 gH(πt; ρ=0.2) 随训练迭代的变化；右图是最终策略的 gH 随评估半径的变化。正文未给出曲线端点数值。
• 作者对左图的说法：NashMD 收敛到严格低于 V(0.2) 的固定值；ρ=0.2 的 OGDA 收敛到接近 V(0.2)；ρ=0.1 收敛到更低值；ρ=0.4 更保守，也低于 ρ=0.2 的最优值。
• 作者对右图的说法：四玩家策略在每个正的评估半径上都高于 NashMD，优势随评估半径增大。Figure 1 未标注具体坐标，无法从正文核对端点。

TL;DR：非 BT 名义核

• Table 2（Qwen-1.5B，1000 条，对 NashMD 的胜率）：ρtrain=0.01 时，DeepSeek-R1 为 0.708，Gemma-4 为 0.577，Nemotron-3 为 0.492；ρtrain=0.05 时为 0.625、0.615、0.732。
• 作者解读：六组中五组高于 0.50，并称框架不要求 Bradley-Terry 奖励模型。低于 0.50 的一格是 ρtrain=0.01、Nemotron-3 的 0.492。论文未单独解释该格。
• 核是否非 BT：附录 F.6 在 1000 个真实输出三元组上，到最近 BT 核的平均残差为 0.384 logits/边（3.10 个百分点），|C| 中位数 0.96，1.4% 成环。作者称偏离出现在几乎每个三元组，成环少。

TL;DR：BT 名义核

• Table 7（同样 1000 条，对 NashMD）：Qwen-1.5B、ρtrain=0.01 为 0.496、0.506、0.764；ρtrain=0.05 为 0.574、0.593、0.568。顺序均为 DeepSeek-R1、Gemma-4、Nemotron-3。
• 第二骨干：Gemma-2B、ρtrain=0.01 为 0.542、0.518、0.462；ρtrain=0.05 为 0.640、0.720、0.583。
• 低于 0.50 的格子：Qwen-1.5B、ρtrain=0.01、DeepSeek-R1 为 0.496；Gemma-2B、ρtrain=0.01、Nemotron-3 为 0.462。附录 F.5 称四玩家策略保持名义表现，且没有塌成过度保守的解；这两格低于 0.50，论文未逐格解释。

其他消融与分析

• 附录 Table 4，τ=0.01、群体偏移核：ρtrain=0.005 时，ρeval=0.05/0.50 的 WinRate 为 0.974/0.818；ρtrain=0.15 时为 0.917/0.775。各列最高在 ρtrain=0.005。
• 附录 Table 5，KL 随机核、各 τ 的最佳 ρtrain：τ=0.05、ρtrain=0.10 时，ρeval=0.05 为 0.996，ρeval≤0.30 的四格为 0.996、0.995、0.988、0.977。τ=0.001 的对应最佳行在 ρeval=0.05 为 0.972。作者称 τ=0.05 是整体最强区间。
• 作者对 Table 5 的解释：τ 很小时 NashMD 已高度集中，稳健训练的边际收益变小；τ 很大时两策略都接近均匀，对手利用核扰动的空间有限。
• 附录 Table 6，ρeval=0.30：τ≤0.01 时最小训练半径一律最高；τ≥0.05 时最高移到 ρtrain=0.10。例如 τ=0.001、ρtrain=0.005 为 0.860，同 τ、ρtrain=0.15 为 0.780。
• Figure 2，τ=0.05：作者称 ρtrain∈[0.005, 0.10] 在每个评估半径上成对差不超过 95% 置信半宽，ρtrain=0.15 更差，且评估半径增大时差距变大。正文未给出半宽数值。
• 附录 F.4：作者称对手更新 K=1 过弱、约束远未激活，K≥3 能贴近约束预算，默认 K=3。论文未给出各 K 的 WinRate。

作者指出的局限与后续方向

论文未在 Limitations、Discussion、Conclusion、Future Work 或附录中专门写出局限或后续方向。结论只重述了表述、代理、收敛和三档实验。

实验覆盖范围

• 实验为三档：m=3 的合成表格博弈（τ=0.05，2000 步，并用低维全局搜索计算 V(ρ=0.2)）；IMDb 续写 best-of-m（N=8000，m=8，生成模型 google/flan-t5-large）；TL;DR 摘要。
• 微调骨干为 Qwen2.5-1.5B-Instruct 与 Gemma-2-2B，LoRA，5000 梯度步，τ=0.005，ρtrain∈{0.01, 0.05}。外部评判为 DeepSeek-R1-Distill-Qwen-32B、Gemma-4-31B、Nemotron-3-Nano-Omni，各 1000 条提示。对比基线为名义核上的 NashMD。
• IMDb 评估包括混合权重 KL 球内均匀抽样（M=600）和 Dirichlet 群体偏移核，并扫描 τ∈{0.001, 0.005, 0.01, 0.05, 0.1}。TL;DR 名义核包括 PairRM 非 BT 核与 DistilBERT BT 核。附录 G 给出外部评判不一致的示例。
• 正文算法是四块乐观镜像更新；附录 E.2 的 IMDb 训练写成 K=8 的交替内层更新加 (π, γ) 的 OMD。TL;DR 默认每个策略与对偶更新配 K=3 次对手更新。
• 论文未报告表格实验的提示条数、各实验的重复次数、查询次数或墙钟时间，未报告三名外部评判之间的一致率，也未报告实验是否用浓度不等式选择 ρ，以及是否满足 Assumption 2-(4) 或 Assumption 3。

Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。

• 问题：RLHF、直接偏好优化和名义 NLHF 都可能在噪声、标注者异质或部署后偏移下变脆。作者关注的 fragile consensus 是：薄边际上的优势与噪声难以区分，小扰动就能反转支配序。
• 方法：歧义集是名义核周围半径为 ρ 的 Bernoulli-KL 球。主策略最大化 KL 正则胜率，对抗方同时选竞争策略和球内最坏核。硬约束经内盒截断和拉格朗日，变成领导者、跟随者、对抗核与对偶变量的代理；单循环 OGDA 返回平均迭代。Theorem 2 称代理总是截断硬目标的下界，在 τ γmin≥1/4 时差距不超过 ρ γmin。Theorem 3 在 δ=O(1/√T) 时给出 O(1/√T+ρ γmin) 的原问题策略；Assumption 3 下为 O(1/√T)。
• 表格：作者称 ρ=0.2 的 OGDA 接近由低维搜索得到的 V(0.2)，NashMD 严格更低；ρ=0.1 与 ρ=0.4 都低于该 ρ=0.2 最优值。最终稳健策略在正评估半径上高于 NashMD。Figure 1 未给出端点数字。
• IMDb：N=8000、m=8。Table 1 对 NashMD 的 WinRate 全部高于 0.50；ρtrain=0.01、ρeval=0.05 为 0.986，ρtrain=0.15、ρeval=0.50 为 0.766。训练半径或评估半径增大时，该表中的 WinRate 下降。
• TL;DR：非 BT 名义核、Qwen-1.5B、1000 条上，ρtrain=0.01 时 DeepSeek-R1 为 0.708，Nemotron-3 为 0.492。作者称六组中五组高于 0.50。BT 名义核的 Table 7 另有两格低于 0.50：Qwen-1.5B、ρtrain=0.01、DeepSeek-R1 为 0.496，Gemma-2B、ρtrain=0.01、Nemotron-3 为 0.462。
• 作者结论：显式建模偏好不确定性，是得到其所谓可靠的 Nash 式对齐的一种有原则且可实践的做法。摘要还称名义表现与基线相当，论文未单列评估半径为 0 的胜率表。