PORT：通过鲁棒 token 级重加权进行偏好优化

核心问题：偏好优化在噪声标注下如何做到 token 级的鲁棒对齐，而不依赖外部奖励模型。

• 问题场景：作者认为偏好优化的效果高度依赖标注质量，而实际偏好数据常因标注者分歧、难区分样本的歧义和标注错误而含噪，噪声会偏置梯度估计、降低对齐效果。
• 现有方法不足：作者指出现有抗噪方法（标签平滑、正则、启发式过滤）都在序列级建模噪声，把回复内所有 token 视为同等可靠；但被拒回复可能含有用的推理步骤，被选回复也可能含局部错误。
• 论文的核心观察：作者举例说明，序列级方法会对被拒回复中局部通顺、与错误无关的 token 一并惩罚，引入不必要的偏差；因此需要按 token 位置区分可靠性。
• 论文的提案：提出 PORT（Preference Optimization via Robust Token-level reweighting），用批内 token 对数概率的经验 CDF 差做 token 级重加权，作者称其为梯度范数惩罚的前向代理，不需额外反向传播；并给出理论分析，称其在 instance-dependent 噪声下通过最小化梯度偏差上界来降低噪声标签带来的梯度偏差。

偏好对齐基础方法

• RLHF（Ouyang et al., 2022）——先训练奖励模型再用 PPO 优化策略；作者认为其流程复杂且不稳定。
• DPO（Rafailov et al., 2023）——用 Bradley-Terry 模型直接从成对偏好数据优化策略，不显式训练奖励模型；IPO（Azar et al., 2024）等扩展了目标函数与正则。

噪声反馈下的鲁棒偏好优化

• 标签平滑类：cDPO（Mitchell, 2023）对可能翻转的标签做保守平滑，ROPO（Liang et al., 2025）按估计噪声水平自适应调整平滑强度；作者指出二者对回复内所有 token 施加均匀校正，未考虑 token 级差异。
• 过滤类：Filtered DPO（Morimura et al., 2024）用预训练奖励模型按奖励间隔过滤样本，SamS（Huang et al., 2026）做批内样本调度；作者指出这类方法重新引入奖励模型依赖的计算开销与误泛化风险，且可能整对丢弃仅部分 token 受损的样本。
• 重加权类：Dr.DPO（Wu et al., 2025）按估计噪声率给样本对赋权，wDPO（Liu et al., 2026）在序列级做 Winsorized 重加权；作者指出它们仍是序列级方法，忽略序列内 token 差异。Im and Li（2026）从理论上刻画噪声下偏好优化的泛化条件。

token 级建模

• TDPO（Zeng et al., 2024）把偏好信号分解到单个 token；TIS-DPO（Liu et al., 2025）用外部奖励模型估计 token 级重要性采样权重，作者指出其继承了奖励模型依赖的开销与误泛化风险；LLMDoctor（Shen et al., 2026）与 TIDPO（Yang et al., 2026）分别做测试时 token 级对齐和基于注意力重要性的优化。

基线与基准：实验基线包括 SFT、DPO、IPO、SLiC-HF、cDPO、rDPO、β-DPO、Dr.DPO、wDPO、fDPO、SamS；基准为 AlpacaFarm、Anthropic HH、PKU-Beaver。作者将本文定位为：在 token 级做抗噪重加权，但不依赖外部奖励模型，与上述序列级或奖励模型依赖的方法相区别。

整体思路：把噪声下的梯度偏差写成可分析的式子，导出使偏差上界最小的闭式最优权重，再用批内 token 对数概率的经验 CDF 差近似该权重，得到只需一次前向传播的 PORT 目标。

问题设定与噪声模型

• 偏好数据 D={(x,y_w,y_l)}，观测到的噪声数据为标签以概率 η(z) 翻转后的版本；目标是为每个 token 位置学一个权重函数 w(z,t)，使加权目标在噪声数据上的解接近无噪声数据上 Eq. (2) 的解。
• 两种噪声模型（沿用 Im and Li 的设定）：ϵ-mislabeled（每对标签以固定概率 ϵ 独立翻转）和 α-uncertain（翻转概率随真实奖励间隔增大而减小，α 控制不确定度）。

梯度偏差与最优权重

• 定义梯度偏差 B 为噪声梯度与无噪声梯度之差；加权后的偏差 Bw 分解为噪声引起的 ∆gw 与重加权对干净梯度的扭曲 Rb 两项。
• 对两项分别用上界控制（Jensen、Pinsker 不等式），得到优化问题：最小化 E[w(z,t) η(z)|∇δ_t(z;θ)|] + 1/λ D_KL(p_w | p)，其中 δt 是 token 级对数比，λ 为权衡参数。
• Theorem 1 给出闭式解 w*(z,t) ∝ exp(−λη(z)‖∇δt(z;θ)‖)：噪声率高或梯度范数大的 token 权重更小；λ→0 退化为不加权，λ→∞ 接近硬过滤。
• Proposition 1 给出严格降低偏差的充分条件（一个协方差为正的条件）；作者验证：α-uncertain 噪声下当 α<1 时成立，α=1 时无收益；ϵ-mislabeled 噪声下在训练后期、模型能以足够间隔分开干净样本对时成立，训练初期对 ϵ<1/2 不成立。

从理论到实践：CDF 代理

• 最优权重依赖不可观测的 η(z) 和计算昂贵的梯度范数，作者用批内统计近似：把一个 batch 内所有非 padding 的 chosen 与 rejected token 的对数概率汇成参考集 R，定义经验 CDF F，再算方向性差 ∆CDF = F_l,t − F_w,t。
• 直觉：rejected token 相对 chosen token 获得反常高的概率质量，是偏好噪声的信号。Figure 2 报告 ∆CDF 与 SFT 梯度差异（乘噪声）在 8,752 个 token 上的 Pearson r = 0.4526，作者据此认为 ∆CDF 可作为梯度幅度的轻量代理。
• 最终权重 w_t = γ·exp(−ρ(F_l,t − F_w,t))（Eq. 10），γ、ρ 为缩放超参数，不做归一化；代入加权目标 Eq. (11) 训练，权重视为固定系数、不回传梯度。

实现要点

• 序列级方法是所有 token 共享一个标量权重的特例；PORT 允许权重随位置变化，噪声局部化时只影响部分 token，噪声遍布整句时整对被一致降权。
• 超参数 ρ=0.3、γ=1.5，由 held-out 验证集网格搜索选出；β=0.1；有效批大小 16；AdamW 加线性 warmup；从指令微调 checkpoint 初始化并作为 πref。

实验设置

• 被测模型：LLaMA2-7B 与 Qwen3-4B（主实验，均从指令微调 checkpoint 初始化）；Qwen2.5-0.5B 用于批大小消融与训练动态分析。
• 数据集：AlpacaFarm；Anthropic HH（用 harmlessness split 训练，训练集 42,537 条、测试集 2,312 条）；PKU-Beaver 仅用于评测，采样 100 个 prompt，每个方法用同一批 prompt、每个 prompt 生成一条回复。
• 基线：SFT、DPO、IPO、SLiC-HF、cDPO、rDPO、β-DPO、Dr.DPO、wDPO、fDPO、SamS，作者称均在相同训练条件下复现。
• 指标与评审：Gold RM Score 用大规模人类偏好模型（RewardBench 引用）打分并对初始策略零中心化；GPT Win Rate 用 GPT-4 与 SFT 基线成对比较，每个样本对换序评两次，只计一致偏好；Safety Rate 用 PKU-Beaver 安全分类器判定 100 条回复中安全的比例。
• 噪声设置：AlpacaFarm 实验将偏好标签以概率 0.3 翻转；Anthropic HH 消融覆盖 p∈{0.2,0.3,0.4} 与两种噪声类型。
• 重复次数：Table 1 报告 3 个随机种子的均值±标准差；其余表未报告重复次数。

主结果

据 Table 1（AlpacaFarm，标签翻转率 0.3，均值±标准差）：

表格较宽，可左右滑动

方法	LLaMA2-7B Gold RM ↑	LLaMA2-7B GPT WR (%) ↑	Qwen3-4B Gold RM ↑	Qwen3-4B GPT WR (%) ↑
DPO	2.66 ± 0.12	56.8 ± 0.9	2.18 ± 0.11	46.3 ± 1.2
SamS	3.68 ± 0.11	64.8 ± 0.9	2.84 ± 0.10	53.8 ± 1.1
β-DPO	3.42 ± 0.08	63.2 ± 1.0	2.73 ± 0.07	50.2 ± 0.9
Dr.DPO	3.39 ± 0.18	61.6 ± 1.0	2.69 ± 0.23	52.5 ± 0.8
PORT	3.82 ± 0.23	67.6 ± 1.8	2.98 ± 0.16	53.6 ± 1.4

（省略 SLiC-HF、IPO、fDPO、cDPO、rDPO 五行，其数值均低于表中所列方法。）

• 作者称 PORT 在两个模型、两项指标上大多取得最好成绩；LLaMA2-7B 上相对最强序列级基线 β-DPO 高 +0.40 Gold RM、+4.4% GPT WR。
• Qwen3-4B 上差距更小，GPT WR 53.6% 低于 SamS 的 53.8%；作者将此归因于 LLaMA2-7B 训练数据较旧、容量更高、更易记住噪声标签，使梯度级抗噪收益更大。

Anthropic HH 安全对齐

• 据 Table 2（Anthropic HH 训练、PKU-Beaver 评测）：PORT 的 SR 为 0.55、GPT WR 为 67.6%，均为表中最高；次高为 SamS（SR 0.53、GPT WR 65.8%）。
• 作者称标签平滑类方法（cDPO 0.48）整体低于重加权类，认为均匀标签校正不如自适应样本级调整适合安全对齐。

噪声强度与噪声类型

• 据 Table 3（Anthropic HH，PKU-Beaver SR）：p=0.2/0.3/0.4 时 PORT 的 SR 为 0.56/0.55/0.53，GPT WR 为 68.5/67.6/65.9%；DPO 的 SR 从 0.45 降到 0.38。作者称 PORT 与最强基线的差距随噪声增大从 0.03 扩大到 0.06。
• 据 Table 4（p=0.4）：ϵ-mislabeled 噪声下 PORT 的 SR 0.53、GPT WR 65.9%，比最强基线 Dr.DPO 高 +0.05 SR、+4.1% GPT WR；α-uncertain 噪声下 PORT 的 SR 0.49、GPT WR 62.5%，同为表中最高。

训练动态分析（Figure 3）

• 用 Qwen2.5-0.5B 在 HH-RLHF 的 128 条子集上跟踪 30 步训练损失；按初始策略对真实标签的分离度 m0 中位数分成 High/Low 两组各 64 对，奖励模型对两组真实顺序的一致率分别为 82.8% 与 59.4%。
• 作者称标准 DPO 下两组损失轨迹几乎一致，而 PORT 下 High 组损失下降更快更低、Low 组持续落后，认为这说明 ∆CDF 加权把梯度集中到可靠样本上。（转换文本不含图中曲线数值，此处为作者解读。）

其他消融与分析

• 批大小（Table 6，Qwen2.5-0.5B，GPT WR）：B=1 时 39.1%，B=4 时 42.8%，B=16 时 44.3%。
• γ、ρ 敏感性（Table 5，LLaMA2-7B，验证集对数概率间隔）：ρ=0.3、γ=1.5 时最高（0.3088）。
• 完整噪声类型结果（Table 7）与噪声强度结果（Table 8）在附录，数值与 Table 3、4 一致并含全部基线。
• 附录 Figure 4 报告另一组 ∆CDF 与梯度差异的相关性：Pearson r = 0.8475，n = 11,226（附录 C.2）。

作者指出的局限与后续方向

• CDF 代理依赖批级统计，批大小很小时可能不可靠（附录 E）。
• 理论保证在特定充分条件下成立，这些条件在实践中未必总能验证（附录 E）。
• 作者希望未来探索 token 感知的对齐方法，包括扩展到多轮设置和自适应超参数调度（附录 E）。

实验覆盖范围

• 被测模型为 LLaMA2-7B、Qwen3-4B（主实验）和 Qwen2.5-0.5B（批大小消融与训练动态分析），共 3 个。
• 数据集为 AlpacaFarm、Anthropic HH（harmlessness split 训练）、PKU-Beaver（仅评测，100 个 prompt）；噪声设置为标签翻转率 0.3（AlpacaFarm）及 p∈{0.2,0.3,0.4}、ϵ-mislabeled 与 α-uncertain 两种类型（Anthropic HH）。
• 评审方式为 GPT-4 成对比较（换序两次、只计一致偏好）、PKU-Beaver 安全分类器、大规模人类偏好模型打分；论文未报告评审结果与人工判断的一致性。
• 仅 Table 1 报告 3 个随机种子的均值±标准差；Table 2–8 未报告重复次数或误差范围。
• 论文未报告各实验的训练步数、训练时长或查询/计算开销的具体数字（仅给出服务器配置：2 个 Intel Xeon 6326 CPU 与 6 个 Nvidia A6000 GPU）。

一篇对齐/训练方法论文，针对偏好标注含噪声时 DPO 类方法把整条回复均匀处理的问题，提出 token 级鲁棒偏好优化框架 PORT。

• 方法：理论上把噪声引起的梯度偏差分解并最小化其上界，得到闭式最优权重 w* ∝ exp(−λη‖∇δt‖)；实践中用批内 token 对数概率经验 CDF 的方向性差 ∆CDF 作代理，权重 w_t = γ·exp(−ρ·∆CDF)，只需一次前向传播、不依赖外部奖励模型。
• 理论：Proposition 1 给出严格降低梯度偏差的充分条件；作者验证 α-uncertain 噪声下 α<1 时成立，ϵ-mislabeled 噪声下训练后期成立。
• 主结果：AlpacaFarm（翻转率 0.3）上，LLaMA2-7B 的 Gold RM Score 3.82、GPT Win Rate 67.6%，Qwen3-4B 为 2.98 与 53.6%（Table 1）；Anthropic HH 上 PKU-Beaver SR 0.55、GPT WR 67.6%（Table 2），作者称均优于序列级基线。
• 例外：Qwen3-4B 上 PORT 的 GPT WR 53.6% 略低于 SamS 的 53.8%；作者称差距缩小与模型容量和数据新旧有关。
• 消融：噪声越大 PORT 与最强基线的 SR 差距越大（p=0.2 时 0.03，p=0.4 时 0.06）；批大小 B=1 时 GPT WR 降到 39.1%，B=4 起恢复。
• 作者结论：作者认为 token 级 CDF 重加权在多种噪声设置和模型架构下均能提升鲁棒性，并指出批级统计依赖与理论条件可验证性是局限，未来可扩展到多轮设置与自适应超参数调度。