Robust Nash Alignment：面向偏好不确定性的博弈式对齐框架

研究者提出 Robust Nash Alignment，一个针对不确定成对偏好的博弈论对齐框架，论文已被 NeurIPS 2026 接收。该方法让主学习者在面对对抗竞争者以及位于名义偏好周围歧义集内的任意偏好核时，追求最坏情况胜率尽可能大的策略，由此直接得到最坏情况性能的认证下界。由于该问题优化计算困难，作者引入包含领导者策略、跟随者策略、对抗核与对偶变量的四人主对偶代理博弈，并设计单循环乐观镜像下降上升算法求解。理论上，代理目标始终下界于截断的硬约束目标，作者量化了代理与硬约束之间的差距，给出代理精确还原鲁棒目标的条件，并证明代理博弈对偶间隙具有 O(1/√T) 的平均迭代收敛速度。在受控表格博弈与偏好不确定的 LLM 对齐实验中，结果验证了收敛理论，并优于名义基线。