InfAlign：推理感知的语言模型对齐

研究者提出 InfAlign 框架，让语言模型对齐直接优化推理时对齐模型相对基座模型的胜率。研究证明，对任意推理时解码流程，最优对齐策略等价于对奖励做变换后的标准 RLHF 问题，并据此提出包含奖励校准与 KL 正则奖励最大化的 InfAlign-CTRL 算法。针对 best-of-N 采样和 best-of-N 越狱，作者给出特定奖励变换，带来最高 3-8% 的推理时胜率提升；作者还称其奖励校准方法可作为优化标准胜率的强基线。