在基于损失的规则下为 AI 对齐强制执行公理

核心问题：loss-based 规则（如 RLHF 的 Bradley–Terry 损失）训练出的奖励模型会违反 Pareto optimality（PO），这种违反能否通过更强的奖励模型或更好的比较数据消除。

• 问题场景：constitutional-style 对齐把每条原则视为一个投票者，按该原则比较两个回答（如更有帮助、更低毒性）。作者称，若回答 A 在所有原则上都优于 B，A 应获得更高奖励，这就是 PO（即 Unanimity）。
• 已有发现：Ge et al. (2024) 在线性社会选择模型中证明，最优线性奖励可能违反 PO——所有投票者偏好 A，B 却得到更高奖励；其反例只用两个加权原则，覆盖了 HHH 场景。作者认为这一结果反直觉（论文原话 "Finding this result counterintuitive"）。
• 核心假设：原则被建模为固定嵌入空间中的线性方向，这是受 Linear Representation Hypothesis 启发的简化假设；作者认为线性假设和 PO 等公理在原则数量较少的 constitutional-style 对齐中比在一般 RLHF 中更现实。
• 论文做了什么：(1) 证明 PO 和 PMC 对任意固定次数的多项式奖励、任意固定宽度 d≥2 的单隐层 ReLU MLP 奖励仍可能失败；(2) 把 PO 从固定候选集推广到整个嵌入空间的所有比较方向；(3) 在比较方向均匀、比较长度相等的理想化设定下，为线性奖励恢复 PO，并指出这激励以数据集设计恢复公理保证。

社会选择与对齐的对应

• Christiano et al. (2017) 提出 RLHF，Munos et al. (2024) 提出 NLHF；论文指出 RLHF 中 Bradley–Terry 损失的最优解诱导的排序等价于 Borda 排序（Anderson et al., 2009; Siththaranjan et al., 2024），NLHF 与 Dudík et al. (2015) 的 von Neumann winner 一致，进而等同于 Fishburn (1984) 的 maximal lotteries。
• Conitzer et al. (2024)、Dai and Fleisig (2024) 等立场论文主张用社会选择视角看 RLHF 与对齐。

线性社会选择模型（最直接的前作）

• Ge et al. (2024) 提出线性社会选择模型：投票者是固定嵌入上的线性方向；他们分析最优线性奖励在固定候选集上诱导的排序，发现 PO 和 PMC 可被违反，并改造一个组合式社会选择规则来获得保证。本文在此基础上研究 loss-based 规则下公理违反的稳健性。
• Noothigattu et al. (2020) 研究作为随机效用模型 MLE 的奖励函数的公理性质，是 Ge et al. 的基础。
• Elkind et al. (2022) 关于受限偏好域的文献，被论文指为与"固定嵌入上的线性偏好"最接近的社会选择对应物。

对齐与社会选择交叉的其他工作

• Procaccia et al. (2025) 分析 clone robustness，称对 Bradley–Terry 损失适当重加权可满足其公理。
• Qiu (2024) 的 representative social choice、Gölz et al. (2025) 对 distortion 框架的扩展、Xiao et al. (2025) 对单标注者 RLHF 的分析、Kim et al. (2025) 的 proportional alignment 提案；论文指出这些工作多采用无结构备选方案的经典社会选择设定，与本文的度量（嵌入空间）设定不同。

constitutional-style 对齐实践（附录 A）

• Bai et al. (2022a)、Glaese et al. (2022) 提出原则引导的监督（按 HHH 等明确标准评判）；Bai et al. (2022b) 的 Constitutional AI 用成文原则指导二元比较；Cui et al. (2023)、Sun et al. (2023) 等以不同名称实现类似思路。

本文定位：Ge et al. 用组合式社会选择规则恢复公理，本文则聚焦与现代 ML 流水线兼容的 loss-based 规则，考察提高奖励模型容量和改进比较数据两条路径。

整体思路：在 Ge et al. (2024) 的线性社会选择框架内，把原则建模为嵌入空间中的线性方向（投票者），研究 loss-based 投票规则能否满足 PO 和 PMC 两条公理；先给出不可能性结果（多项式、MLP 奖励），再给出均匀数据下的可能性结果（线性奖励）。

问题设定与形式化

• 备选方案与投票者：备选方案是 R^d 中的点；n 个投票者各自给出成对（严格）比较集合 Pi，(a,b)∈Pi 表示投票者 i 偏好 b 胜于 a；投票规则输出一个奖励函数 r，其诱导排序聚合投票者偏好。
• loss-based 规则：给定损失函数 ℓ，总损失为 L(r) := ∑_i∈[n]∑_{(a,b)∈ Pi} ℓ(r(a)−r(b))，规则输出最小化 L 的奖励函数；取 ℓ 为交叉熵即得 RLHF 用的 Bradley–Terry 损失。
• 公理：PO 要求所有投票者一致的比较 (a,b) 被 r 正确排序（r(a)<r(b)）；PMC 要求当存在与严格多数意见一致的排序时，r 诱导该排序。

PO 违反的直觉（Section 3）

• 简化最小例：单个投票者 v=(ε,1)、三个候选、奖励方向 θ 受单位范数约束时，最优线性奖励违反 PO；作者借此说明范数约束如何导致 PO 失败。
• 机制解释：多个投票者意见不一致时，损失同时包含沿两个相反比较方向的惩罚项；当这些方向张成嵌入空间时，其合效果相当于隐式范数约束。作者把范数约束解释为有限"预算"：更常见方向或差向量更长的比较对预算的使用影响更大。

不可能性结果（Section 4）

• 多项式奖励（Theorem 1）：对任何严格凸、有下界、可微且 ℓ′(0)>0 的损失（含 Bradley–Terry），构造 R^2 上 m+1=d(d+1)+2 个候选和两个加权投票者（α∈(1/2,1)，取 α=2/3 即三个未加权投票者）的实例，使任意固定次数 d 的多项式奖励都违反 PO 和 PMC；构造把候选放在直线 Lj（斜率 −2）上，使退化实例的唯一最优奖励由线性多项式 p*(x,y)=−x−y 实现，再用 Berge 最大值定理说明小扰动后最优解仍接近 p*。
• MLP 奖励（Theorem 3）：对任意固定宽度 d≥2，存在有限参数界 W，使单隐层 ReLU MLP 奖励仍违反 PO；构造 m+1=O(d^3) 个候选、分段仿射函数 z（斜率 −1,−M,…,−M^{d−1}），并用鸽巢原理（每块 3q 个候选，q=1+d+d^2 为铰线划分区域数上界）迫使任何最优 MLP 在各块附近与 z 局部一致，再取 M 避开有限集合 Ed 迫使所有铰线平行，最后同样用 Berge 定理完成扰动论证。

均匀数据下恢复 PO（Section 5）

• 方向化表述：线性投票者对比较 (a,b) 的偏好只取决于差向量 b−a 的方向，长度决定其进入损失的尺度；于是比较数据可用方向上的测度 µ 和长度函数 R 描述，PO 被推广到整个 S^{d−1} 上（Definition 3），覆盖训练数据中未出现的方向。
• 理想化设定与正面结果：比较方向均匀分布、长度全为 1 时，总损失为 L(θ) := ∑_i=1ⁿ ∫_{x∈ S^d−1, ⟨ vi,x⟩≥ 0} ℓ(−⟨θ,x⟩) dx；Theorem 4 证明：只要至少两个投票者方向不同，任何凸、非减、有下界、可微且 ℓ′(0)>0 的 loss-based 规则在此设定下满足 PO（证明核心：同范数下更靠近投票者方向的 θ 损失更低，即 Claim 7）。
• 两个负面结果：Proposition 1 称方向均匀但长度按椭圆径向函数变化时，BT 损失仍违反 PO（二维、两个加权投票者）；Theorem 5 称即使在理想化均匀设定下，严格凸损失仍违反 PMC。作者认为 PMC 在此设定下是否可取本身不明确，因为它在多数派比例跨过 0.5 时是不连续的要求。

实验设置

• 论文不包含实验：没有被测模型、数据集、基线、指标或评审方式；全部结果是数学定理与证明。

主结果

论文的主要结果是以下定理（均为作者证明的命题，非实验发现）：

结果	设定	结论（作者称）
Theorem 1	严格凸、有下界、可微且 ℓ′(0)>0 的损失；R^2；三个投票者	任意有界次数多项式奖励仍违反 PO 和 PMC
Theorem 3	同上损失；R^2；三个投票者	任意固定宽度 d≥2 的单隐层 ReLU MLP（参数界 [−W,W]，W 有限）仍违反 PO
Proposition 1	BT 损失；二维；两个加权投票者；方向均匀、长度取椭圆径向函数	方向均匀但长度不均时仍违反 PO
Theorem 4	凸、非减、有下界、可微且 ℓ′(0)>0 的损失；方向均匀、长度相等；至少两个投票者方向不同	线性奖励满足 PO（对整个 R^d 上的方向）
Theorem 5	严格凸、非减、有下界、可微且 ℓ′(0)>0 的损失；理想化均匀设定	仍违反 PMC

• 作者称 Theorem 1 和 Theorem 3 说明提高奖励模型表达能力（多项式、通用逼近的 MLP）不能恢复 PO。
• 作者称 Theorem 4 说明在方向均匀、长度相等的理想化数据下，loss-based 训练线性奖励可以恢复 PO，这激励以数据策展和重加权恢复公理保证。

构造与证明要点

• Theorem 1 的实例：两个加权投票者 v1=(1,0)（权重 α∈(1/2,1)）与 v2=(0,1)，只在 c0 与 c1 的比较上一致；候选放在 d 条斜率 −2 的直线上，每条 d+1 个点，使退化实例的最优奖励由 p*(x,y)=−x−y 唯一实现（Figure 1 给出 d=2 的候选位置示意）。
• Theorem 3 的实例：m+1=O(d^3) 个候选分 d 块，每块 k=3q 个（q=1+d+d^2），放在分段仿射函数 z 的各仿射段上；利用 Zaslavsky 的区域计数（Fact 1）和鸽巢原理，迫使任何最优宽度-d MLP 在每块附近与 z 的局部仿射片一致。
• Theorem 4 的证明：核心是 Claim 7（同范数下与投票者方向内积更大的 θ 损失严格更低），配合最小值存在性（Claim 8）和 θ=0 非最优（Claim 9）；Figure 2 给出几何直觉：若半平面 Hθ 不包含投票者锥 P，可将其旋转至支撑位置以降低损失。

其他消融与分析

• Section 3 的单投票者三候选最小例：在范数约束下最优线性奖励违反 PO，用于解释多投票者不一致如何产生隐式范数约束。
• Theorem 5 的证明实例：R^2 中 v1=(0,1)、v2=(1,0)，比例 p∈[1/4,1/2]；p=1/2 时唯一最小解 θ* 满足 θ1*=θ2*>0，由连续性在 p=1/2−δ 时最小解仍不是多数派方向 v2 的倍数。
• 论文指出 Theorem 4 的结论对"与方向和投票者独立的共同有界正长度分布"也成立（脚注 7）。

作者指出的局限与后续方向

• 扩展不可能性：作者猜想不可能性结果可扩展到任意固定深度和宽度的 MLP（冻结嵌入上），进而到固定架构的 transformer，在相同损失假设和适当有限参数界下成立，但本文未证明（Section 6）。
• 推导采样界：作者称自然的下一步是在均匀设定下推导显式采样界（Section 6）。
• 形式化重加权与数据查询策略：作者提出研究方向——能否更有针对性（更高效）地收集数据以达到 PO（Section 6）。
• 其他公理的推广：作者称未来研究应考虑其他公理如何扩展到嵌入空间并通过数据选择满足（Section 6）。
• 公理保证对数据分布的依赖：作者提出开放问题——保证应在多大程度上依赖比较出现的频率，嵌入空间是否存在有意义的参考测度用于评估或再平衡数据（Section 6）。
• 长度归一与方向覆盖的代价：作者称比较长度可通过损失归一化平衡，而更均匀的方向覆盖可能需要重加权比较，最坏情况下需要收集额外数据（Section 6）。

实验覆盖范围

• 论文为纯理论工作，无实验；结果覆盖：有界次数多项式奖励（Theorem 1）、单隐层固定宽度 ReLU MLP（Theorem 3）、均匀且等长数据下的线性奖励（Theorem 4）。
• 不可能性实例均在二维（R^2）、三个投票者（或两个加权投票者）下构造（Theorem 1、3；Proposition 1 为两个加权投票者）。
• 正面结果（Theorem 4）要求比较方向均匀分布、比较长度相等（或与方向、投票者独立的共同有界分布，脚注 7），并要求至少两个投票者方向不同。
• 分析基于线性社会选择模型：投票者是固定嵌入空间中的线性方向，作者称这是受 Linear Representation Hypothesis 启发的简化假设（Section 1）。
• 论文未报告任何在真实语言模型、真实偏好数据或实际奖励模型训练上的验证。

一篇社会选择视角的对齐理论论文，研究 constitutional-style 对齐中 loss-based 奖励训练能否满足 Pareto optimality（PO）。

• 问题：原则被视为嵌入空间中的线性方向（投票者）；Ge et al. (2024) 已证明最优线性奖励可违反 PO——所有原则偏好 A，B 却得更高奖励。作者问这种公理违反有多稳健。
• 方法：在线性社会选择框架内证明定理；先以单投票者最小例给出直觉（投票者不一致产生隐式范数约束，类似有限"预算"，常见方向和长差向量影响更大），再走两条路径：提高奖励模型容量、改进比较数据。
• 主要结果（作者称）：
  • Theorem 1：任意有界次数多项式奖励仍违反 PO 和 PMC（二维、三个投票者）。
  • Theorem 3：任意固定宽度 d≥2 的单隐层 ReLU MLP 在有限参数界下仍违反 PO。
  • Theorem 4：比较方向均匀、长度相等的理想化设定下，线性奖励满足 PO（且 PO 被推广到整个嵌入空间的方向上，覆盖未见比较）。
  • Proposition 1 与 Theorem 5：方向均匀但长度不均时 PO 仍失败；均匀设定下 PMC 仍失败。
• 作者的结论与启示：提高奖励模型表达能力不能恢复 PO，而控制比较数据分布可以（在理想化设定下）；作者认为这激励以数据策展、重加权和归一化比较长度来在保留 loss-based 训练的前提下恢复公理保证，并提出推导采样界、形式化数据查询策略、扩展不可能性到更深网络等后续方向。