面向 LLM 偏好对齐的零阶范式：ComPO 方法

直接偏好对齐在低边际偏好对上优化边际损失，可能造成似然位移；如何在不直接优化可微偏好损失的情况下，仍从这些对中取出对齐方向。

• 场景与重要性：作者称 LLM 经大规模异构语料训练后，还需与人类偏好对齐，使回答 helpful、harmless、reliable。RLHF 先学奖励模型再用强化学习，多阶段且内存与计算开销大，因而出现 DPO 等直接对齐方法。
• 现有方法的不足：作者称似然位移（likelihood displacement）是一种反直觉现象：训练提高偏好响应相对非偏好响应的似然，却降低偏好响应的绝对概率，造成 “unintentional unalignment”，概率质量可能移到不安全回答。冗长（verbosity）则使回答变长而质量未必提高。加正则或用 CHES 过滤问题对可以缓解，但过滤会把这些对完全移出训练。
• 核心观察：作者把参考模型上对数似然边际很小的对称为 noisy preference pairs。作者认为，边际弱时固定的 DPO 式目标不适合直接优化，但局部比较仍有用：更好的策略应提高 y+ 的似然、降低 y− 的似然。
• 本文提出：作者提出基于比较预言机的零阶方法 ComPO。离线版扰动当前策略，用一位比较信号估计归一化更新方向，与施加在干净对上的直接对齐互补；在线版保留同一比较机制，并用无标签的当前策略生成做相对参考策略的 reverse-KL 控制。

直接偏好对齐

• DPO（Rafailov et al., 2023）：用偏好对直接优化策略，作为相对 RLHF 更简单、更稳定的离线替代。作者称 DPO 存在 verbosity 与 likelihood displacement。
• 排序与无参考模型变体：排序类方法把成对偏好扩展到更一般的反馈（Dong et al., 2023; Yuan et al., 2023; Song et al., 2024a; Chen et al., 2024; Liu et al., 2025）；无参考模型变体见 Hong et al. (2024)、Meng et al. (2024)。
• 数据与位移：Park et al. (2024)、Razin et al. (2025) 从数据整理角度讨论 verbosity 与 likelihood displacement。Pal et al. (2024)、Rafailov et al. (2024b) 用额外正则缓解位移；Razin et al. (2025) 用 CHES 过滤问题对，作者称其经验上比加 SFT 正则更有效，但会丢掉对中的比较信息。

在线数据的角色

• 在线偏好标签：Guo et al. (2024) 的 online AI feedback 为当前策略生成的回答再获取标签。
• HyPO（Song et al., 2024b）：把离线偏好优化与由无标签在线样本估计的 reverse-KL 正则分开。作者称在线 ComPO 沿用这一分离，但更新方向来自比较。
• 主动探索：Xie et al. (2025) 给在线 DPO 加显式探索奖励以引导偏好反馈。作者称在线 ComPO 不获取新偏好标签，也不引入该奖励，分析针对局部覆盖下的策略表现。

比较式优化

• 坐标搜索与方向估计：Jamieson et al. (2012)、Matsui et al. (2017) 的坐标搜索，以及 SCOBO（Cai et al., 2022a）、Sign-OPT（Cheng et al., 2020）。作者称 Sign-OPT 在光滑性及梯度噪声假设下已有驻点分析，因此与本文的区别不在于非凸本身。
• 其他比较反馈：比较与排序反馈还出现在赌博机优化、贝叶斯优化，以及 RLHF（Tang et al., 2024b; Zhang and Ying, 2025）。

基线方法与基准

• 实验基线为 DPO、只在干净对上训练的 DPOclean、SimPO（Meng et al., 2024 的已调好检查点），以及预训练前的 PA 检查点。离线数据为 UltraFeedback（Cui et al., 2024）；评测为 AlpacaEval 2、Arena-Hard、MT-Bench，协议跟随 Meng et al. (2024)。

作者把本文定位为：继续从数据几何出发，用参考模型赋予相近似然的 noisy 对中的信息缓解上述问题；比较机制专门用于偏好对齐，基本分析利用近似稀疏梯度，实现上使用输出层扰动与阈值；在线部分把低边际离线对的比较信号与无标签生成的步长控制结合起来。

ComPO 不把低边际对送进可微偏好损失，而是问：附近的策略扰动是否同时提高偏好响应似然、降低非偏好响应似然，再把这些一位答案合成更新方向。

问题设定与比较预言机

• 策略与数据：策略 πθ(y|x) 自回归生成。偏好集 D 含 (x, y+, y−)。直接对齐以 SFT 后的 πref 为参考。DPO 损失（式 (1)）优化的是对数似然边际，而不是分别最大化 y+、最小化 y−。
• 比较量：对非空 S ⊆ D，Δ+S、Δ−S 分别是 S 上偏好与非偏好响应的平均对数似然变化（式 (8)）。
• 偏好比较预言机：定义 3.1 中，仅当 Δ+S > 0 且 Δ−S < 0 时 CπS(θ, θ′) = −1，表示 θ′ 优于 θ；否则为 +1。S 为单个对时退化为成对预言机，为 mini-batch 时用平均变化。
• 干净与 noisy：式 (10) 用参考模型把 |log πref(y+|x) − log πref(y−|x)| ≤ δmargin 的对划入 Dnoisy，其余为 Dclean。作者称 noisy 只表示低边际，并不假定标签错误。

离线基本方案与收敛

• 估计：抽 m 个单位球面扰动 zi，令 yi = CπS(θt, θt + r zi)，再解式 (9)：在 ∥g∥1 ≤ √s 且 ∥g∥ ≤ 1 上最大化 Σ yi zi⊤ g，得到归一化稀疏方向 ĝ，并做 θ ← θ − ηĝ（算法 1）。
• 定理 3.2：若存在下有界的 ℓ-光滑潜在函数 f，使预言机与 f 的比较一致，且梯度近似稀疏 ∥∇f∥1 ≤ √s ∥∇f∥，则在给定 T、η、r、m 下，最好迭代的梯度范数以至少 1−Λ 的概率小于 ϵ。查询次数对维数 d 只呈对数依赖。作者称 f 的梯度范数不能当作实用停止准则。

离线实用方案

• 只扰动输出层：θ = [θ̄; θo]，冻结 θ̄，只扰动 θo。作者称全参数扰动对 LLM 计算过贵。式 (9) 改为带符号扰动的归一化和，再把绝对值小于 λg 的坐标置零。
• 门控：pt 为返回 −1 的扰动比例；仅当 pt > λ 时更新 θo ← θo − γ pt ĝo，否则保持不变（算法 2）。
• 两阶段：先用 DPO 或 SimPO 等直接对齐方法训练 Dclean，再对 Dnoisy 跑算法 2。DPO 情形记为 DPOclean+ComPO。实验中 δmargin = 3。

在线方案与覆盖保证

• 基本在线方案：比较方向仍来自固定离线对。候选 θ̃t+1 = θt − ηĝt，若其相对 πref 的序列级 reverse KL 不超过半径 τ 则接受，否则保持 θt（式 (11)–(12)，算法 3）。从可行策略出发，该规则保持 πθt ∈ Πτ。
• 定理 3.4：在精确 reverse KL 与局部 reverse-KL 覆盖（定义 2.2，半径 τ、常数 Cτ）下，Πτ 内任一策略与当前策略的 Jβ 差距不超过 Cτ √err(πθt)。err 是在 πref 上抽样的分布内成对奖励误差（式 (7)）。作者称 KL 约束只划定需要覆盖的邻域，并不蕴含密度比有界。
• 实用在线方案：不在候选策略上计算精确 reverse KL，而从当前策略采样，用长度归一化统计 d̂t（式 (14)）按式 (15) 缩小步长 γt = γ / (1 + ρ max{d̂t − τp, 0})。在线样本只改步长，不改预言机或偏好标签。作者称长度归一化改变了被估计的总体量，d̂t 的总体对应不必非负。
• 重放：训练按 n 步分块。每块开始时，重放缓冲换成上一块中通过 pt > λ 的 mini-batch。每步以概率 α 从非空缓冲均匀抽取，否则从 Dnoisy 抽新 batch；重访 batch 在当前参数附近重新采样扰动。作者称算法 4 受算法 3 启发，但式 (14)–(15) 不强制 π ∈ Πτ，不能被定理 3.4 覆盖，效果在第 4.3 节经验评估。

成功判定与作者对指标的解释

• 离线比较成功指扰动同时使偏好响应对数似然上升、非偏好响应对数似然下降。
• AlpacaEval 2 报告原始胜率 WR 与长度控制胜率 LC。作者把更高的 LC 解释为按回答长度调整后的评判表现更好，而不是回答更短的直接证据。

实验设置

• 模型：离线主实验为 Mistral-7B-Base、Mistral-7B-Instruct、Llama-3-8B-Base、Llama-3-8B-Instruct、Gemma-2-9B-it，初始化自 Meng et al. (2024) 的 SFT Base 与 Instruct 检查点。后续在线实验还包括 Qwen3-4B-Base、Llama-3.2-3B-Instruct、Gemma-3-4B-it。
• 数据与划分：离线实验均用 UltraFeedback。δmargin = 3。DPO 与 DPOclean 各训练一个 epoch；ComPO 从 DPOclean 初始化，在 noisy 对上再跑一个 epoch、100 次迭代。作者称 ComPO 实际只用前 100 个 noisy 对；另有 300 对的消融。
• ComPO 超参：Mistral-7B 用 r = 0.0005、m = 1600、λg = 0.00022、λ = 0.2；Llama-3-8B 与 Gemma-2-9B-it 用 r = 0.00075、m = 1800、λg = 0.00008、λ = 0.2。全部 ComPO 运行使用 30 张 NVIDIA A40（每张 46 GB）。
• 基准与评审：AlpacaEval 2-v0.6.6 的基线与评审均为 GPT-4 Turbo，报告 WR 与 LC。Arena-Hard 基线为 GPT-4-0314、评审为 GPT-4 Turbo，报告 WR；部分消融改用 GPT-4.1。MT-Bench 由 GPT-4 按 10 分制打分，报告 Turn-1、Turn-2 与平均。
• 重复：作者称主表为所报告运行的点估计；消融表显式报告重复运行的变异。Table 4–7 为五次运行的均值 ± 标准差，并在括号中给出最好一次。Table 2 为三次独立试验。论文未在主表报告重复次数。

主结果

据 Table 1，AlpacaEval 2 的 LC（%）如下。

表格较宽，可左右滑动

模型	PA	DPO	DPOclean	DPOclean+ComPO
Mistral-7B-Base	7.33	9.71	9.41	11.66
Mistral-7B-Instruct	16.54	24.14	23.89	26.17
Llama-3-8B-Base	3.21	4.14	4.28	5.39
Llama-3-8B-Instruct	24.06	32.59	32.92	35.79

• 作者的解读：只过滤低边际对并不一致地优于全量 DPO；DPOclean 总体与 DPO 相当，仅在部分初始化上更好，例如 Llama-3-Instruct-8B。作者认为对数似然边际是对歧义的不完美代理，CHES 等更丰富的准则可能分得更准，但边际计算便宜，ComPO 仍能从被滤掉的对中取出信息。
• LC 与例外：作者称增益在 AlpacaEval 2 LC 上尤其一致，并与下文的回答长度分开解释。主要例外是 Mistral-7B-Instruct 的 Arena-Hard：DPO 为 14.4，DPOclean+ComPO 为 10.5；两个 Llama 配置为持平或接近持平。作者给出的解释是 Arena-Hard 报告的是原始胜率而非 LC，可能偏好更长生成。该配置下 DPO 平均回答长度 513，DPOclean+ComPO 为 468。作者称这一差异与更低的 Arena-Hard 和更高的 AlpacaEval 2 LC 相一致，但本身不建立因果关系。
• 同表的其他点估计：Mistral-7B-Instruct 上 DPOclean+ComPO 的 AlpacaEval 2 WR 为 18.32，MT-Bench 平均为 7.69（DPO 为 5.86）。Llama-3-8B-Instruct 上对应 WR 为 35.03，Arena-Hard WR 为 23.1，MT-Bench 平均为 8.05。Mistral-7B-Base 的 MT-Bench 平均为 5.77，低于 DPO 的 5.79。

SimPO 上的增广

• 测了什么：把 ComPO 直接加到已调好的 SimPO 检查点上，训练与评测配置同第 4.1 节开头。
• 结果：Table 3 中，三个模型的 AlpacaEval 2 LC 与 WR 都上升。LC 分别为：Mistral-7B-Instruct 从 40.22 到 42.27，Llama-3-8B-Instruct 从 48.71 到 49.53，Gemma-2-9B-it 从 60.36 到 62.42。Arena-Hard 上前两者从 20.8、36.3 升至 22.0、37.3，Gemma-2-9B-it 同为 61.1。MT-Bench 平均分别从 7.62、7.66、8.77 到 7.64、7.70、8.79。Mistral 的 Turn-1 从 7.94 到 7.83，Gemma 的 Turn-1 从 9.07 到 8.99。
• 作者的解读：作者称 ComPO 可以增广其他直接对齐方法，而不改变其原训练目标。

成对似然诊断

• 测了什么：Table 2 在 Llama-3-Instruct-8B 与 Gemma-2-9B-it 上，对 γ ∈ {0.1, 1} 各做三次独立试验，其余超参为默认值，记录一个对的 (log πθ(y+|x), log πθ(y−|x))。
• 结果：Llama-3-Instruct-8B 初值为 (−46.761, −47.410)。γ = 1 的三次试验变为 (−46.728, −47.520)、 (−46.743, −47.525)、 (−46.753, −47.517)。γ = 0.1 时变化更小，例如第一次为 (−46.744, −47.411)。Gemma-2-9B-it 初值为 (−133.122, −134.557)；γ = 0.1 时三次几乎不变，γ = 1 时偏好响应对数似然非降、非偏好响应非升。
• 作者的解读：作者称在所报告的两个模型与试验中，基于预言机的更新把成对似然推向所要方向或保持不变。这是训练中的检查，不是总体性能保证。

其他消融与分析

• 扰动数 m（Table 4，Mistral-7B-Instruct，五次）：m 从 800 增到 5400，AlpacaEval 2 WR 均值从 17.32±0.86 到 19.69±0.36，LC 从 24.72±1.02 到 26.49±0.81；作者称增益递减，峰值显存不变。
• 扰动层数（Table 5，五次，Arena-Hard 评审为 GPT-4.1）：只扰动输出层（0.13B）时 WR/LC/Arena-Hard 均值为 17.50±0.65、25.02±0.91、10.80±0.21；再加第 30–31 层 MLP（共 0.25B）为 18.19±0.81、26.00±0.89、11.26±0.36。峰值显存从 16.3 GB 到 16.7 GB，600 次扰动用时从 50 秒到 60 秒。
• λg（Table 6，m = 3300，五次）：保留约 1%–6% 坐标时最强；λg = 2.2×10−4（约 1%）时 WR 19.21±0.58、LC 25.91±0.95；λg = 0（100%）时为 15.72±0.77、23.42±1.03；保留 0.15% 时降到 16.10±0.11、23.82±0.23。
• noisy 对数量（Table 7）：100 对时 AlpacaEval 2 WR/LC 与 Arena-Hard（GPT-4.1）均值为 19.21±0.58、25.91±0.95、11.02±0.13；300 对时为 20.07±0.99、26.28±0.81、11.76±0.30。
• 不先做 clean-only DPO（Table 8，m = 3300）：全量 DPO 的 AE LC 为 24.14，DPO+ComPO 为 27.03；DPO(clean) 为 23.89，DPO(clean)+ComPO 为 27.14。作者称增益与从 DPOclean 出发相当。
• 资源与预言机计数：Figure 1 左图在所选 λg 下，Mistral-7B 输出层非零项约 1.18%，Llama-8B 约 1.68%，Gemma-9B 约 6.82%。作者称 Mistral-7B 的 0.13B 输出层与 1.18% 保留率约对应 150 万可更新参数，约为 7B 全模型的 0.02%。中图 ComPO 峰值显存：Mistral 16.3 GB、Llama 23.1 GB、Gemma 30.3 GB（A40）；文中 DPO、SimPO 的报告峰值分别为 77 GB、69 GB（H100）。作者称硬件不同，这些数字描述实际资源需求，而不是受控对比。右图中 30 张 A40 上完成 600 次扰动的时间随扰动参数维数近似线性增加，标注的输出层规模为 0.13B、0.52B、0.92B。Table 9 给出前十个 noisy 对在八次运行中负预言机输出个数的均值与标准差，例如 Pair 5 为 591.00±13.46，Pair 8 为 242.13±15.29。

作者指出的局限与后续方向

• 潜在目标不可用作停止准则：定理 3.2 的保证针对基本离线方案；由于目标 f 是潜在的，其梯度范数不能作为实用停止准则（Remark 3.3）。
• 实用方案与定理的差距：算法 4 不能被定理 3.4 覆盖。长度归一化量不是序列级 reverse KL，步长公式也不强制 π ∈ Πτ；作者将其称为实用启发式，效果在第 4.3 节经验评估（第 3.2 节）。
• 很大的步长：作者称很大的步长仍可能使实用方案不稳定，而定理 3.2 只分析基本方案的步长（第 4.1 节）。
• 似然诊断的范围：Table 2 的成对似然检查是训练中的健全性检查，不是总体性能保证（第 4.1 节）。
• 覆盖与 KL：作者称覆盖是单独假设，并不由 KL 约束推出；reverse-KL 约束划定需要覆盖的类，但不保证密度比有界（引言与第 2.3 节）。
• 与会议版本的关系：作者称 NeurIPS 2025 初步版本包含离线 ComPO、比较预言机、收敛分析与原离线实验；期刊扩展加入在线扩展、基于覆盖的分析，以及更多模型族上对在线正则与重放的实验（Relationship to the conference version）。论文未在已读正文中另列 Limitations 专节。

实验覆盖范围

• 离线主结果的模型为 Mistral-7B Base/Instruct、Llama-3-8B Base/Instruct 与 Gemma-2-9B-it；SimPO 实验为三个 Instruct/it 检查点；Table 10 起还包括 Qwen3-4B-Base、Llama-3.2-3B-Instruct、Gemma-3-4B-it。
• 离线数据为 UltraFeedback，划分阈值为 δmargin = 3；评测基准为 AlpacaEval 2、Arena-Hard 与 MT-Bench。主表为点估计，Table 4–7 报告五次运行，Table 2 报告三次试验，Table 9 报告八次运行。
• 默认实现只扰动并更新输出层中通过 λg 的坐标；多层扰动只在 Mistral-7B-Instruct 的输出层加第 30–31 层 MLP 这一设置中报告。
• 在线实用方案用当前策略的无标签生成调节步长，并带重放；作者写明它不获取新的偏好标签。正文在 Table 10 处中断前，Qwen3-4B-Base 上 DPO+ComPO（online）+RKL 的 AlpacaEval 2 LC 为 17.43、WR 为 17.74，Arena-Hard 及另外两个模型的在线数字在所给文本中未完整出现。
• 显存对比同时涉及 A40 上的 ComPO 与 H100 上的 DPO、SimPO；作者写明这不是受控的逐项对比。论文未报告主实验的随机种子数，也未报告评审与人工评价的一致性。

ComPO 是一种基于比较预言机的零阶偏好对齐方法，用来从低边际偏好对取出方向信息，而不在这些对上直接优化可微偏好损失。

• 问题：DPO 一类方法优化对数似然边际。作者称，当参考模型对 y+ 与 y− 给出相近似然时，这种代理可能带来似然位移：相对边际上升，偏好响应的绝对概率却下降，概率质量可能离开拒绝类回答。过滤这些对会丢掉其中的比较信息。
• 方法：偏好比较预言机只在扰动同时提高 y+ 似然、降低 y− 似然时返回 −1。离线基本方案用稀疏一位估计得到更新方向；实用方案只扰动输出层，做坐标阈值与成功比例门控。流程是先在干净对上做 DPO 或 SimPO，再在 noisy 对上做 ComPO。在线基本方案用精确 reverse KL 做接受或拒绝；实用方案改用长度归一化统计缩小步长，并可重放通过门控的 batch。定理 3.2 在光滑、梯度稀疏与预言机相容下给出最好迭代收敛；定理 3.4 在局部覆盖下把 Πτ 内的性能差距界为 Cτ 倍成对奖励误差的平方根。作者称实用在线方案不在该定理范围内。
• 结果：Table 1 中，DPOclean+ComPO 的 AlpacaEval 2 LC 在四个配置上都高于 DPO 与 DPOclean，Llama-3-8B-Instruct 为 35.79%，Mistral-7B-Instruct 为 26.17%。Mistral-7B-Instruct 的 Arena-Hard 从 DPO 的 14.4 降到 10.5，作者将其与原始胜率及更短的平均回答（468 对 513）一并报告。Table 3 中 SimPO+ComPO 的 LC 在三个模型上分别为 42.27%、49.53%、62.42%。Table 2 的六组设定里，所报告试验中偏好响应对数似然非降、非偏好响应非升。增加 m、保留约 1%–6% 梯度坐标、把 noisy 对从 100 增到 300，均值都上升。
• 作者的结论：作者认为少量低边际对经比较预言机仍可提供对齐信息，ComPO 可与现有直接对齐方法兼容；更高的 LC 被解释为长度调整后的评判表现，而不是回答更短本身。成对似然诊断被作者视为与缓解似然位移相一致的证据，同时被限定为训练中检查。