研究：损失训练下AI对齐的帕累托最优性
先了解这件事
Alexandros Hollender 与 Sonja Kraiczy 在 arXiv 论文中研究 RLHF 这类通过最小化回答两两比较损失来训练奖励模型的方法能否满足帕累托最优（PO）公理。受 Constitutional AI 启发，他们把每条原则视为按该原则比较回答的投票者，并表示为固定嵌入空间中的线性方向。论文指出，在这一线性社会选择模型中，最优线性奖励模型可能违反 PO；任意固定次数的多项式和任意固定宽度 d≥2、参数有合适有限界的单隐层 ReLU MLP 奖励模型仍可能违反 PO；而在比较方向均匀、比较长度相等的理想化假设下，线性奖励的基于损失训练可恢复 PO。作者据此提出，数据集设计是在保留损失训练的同时让宪法式对齐恢复 PO 的一条途径。
AI 根据报道生成 · 1 天前更新
相关研究
这件事的论文
- 在基于损失的规则下为 AI 对齐强制执行公理
ICLR 2026 · 2026-11-09 · 深度解读
后续时间线
- arXiv：对齐、欺骗与监督在基于损失的规则下为 AI 对齐强制执行公理
Alexandros Hollender 与 Sonja Kraiczy 在 arXiv 论文中研究 RLHF 这类通过最小化回答两两比较损失来训练奖励模型的方法能否满足 Pareto 最优（PO）公理。受 Constitutional AI 启发，他们把每条原则视为按该原则比较回答的投票者，并表示为固定嵌入空间中的线性方向。在这一线性社会选择模型中，Ge et al. (2024) 已表明最优线性奖励模型可能违反 PO，即一个回答可以比另一个有用性更低、毒性更高，却获得更高奖励。论文进一步表明，任意固定次数的多项式和任意固定宽度 d≥2、参数有合适有限界的单隐层 ReLU MLP 奖励模型仍可能违反 PO；而在比较方向均匀、比较长度相等的理想化假设下，线性奖励的基于损失训练可恢复 PO。作者据此提出，数据集设计是在保留损失训练的同时让宪法式对齐恢复 PO 的一条途径。
相关讨论
关注度走势
每天新增来源
- 11月11日新增1个来源（1家媒体、0个账号）
- 11月12日新增0个来源（0家媒体、0个账号）
- 11月13日新增0个来源（0家媒体、0个账号）