研究者提出 k-robust 联盟对齐，用多智能体评审委托授权

在评审者本身也可能未对齐时，何种条件能保证委托授权的期望效用不低于指定基线。

• 场景：作者称长时运行智能体可写代码、发消息、发起交易，每一步改变状态并影响后续轨迹。若未完全对齐，保证安全需在执行前批准有后果的动作，但逐步人工批准使注意力成为瓶颈。
• 现有做法：作者举Codex的Auto-review为例，系统已把批准交给审批子智能体。作者称要求评审者完美对齐并不是出路，因为困难正在于完美对齐。
• 核心观察：存在弱于个体对齐、但对“委托人期望至少不差于基线”必要且充分的面板条件。作者称评审目标是委托人目标的无偏噪声扰动时，该条件可出现，无需任一评审者单独对齐。
• 本文给出：k-稳健联盟对齐（k-robust coalitional alignment），刻画容忍至多k次否决的阈值规则何时sound；并推广到折扣MDP、策略性评审，以及二元批准在精确soundness与completeness上的极限。
• 威胁模型：
  • 安全目标：单次决策中，每个被执行提案弱改进委托人相对基线的期望效用。序贯模型中，重复授权诱导策略的期望折扣效用不低于始终遵循基线。
  • 提议者：在每个状态提出相对基线的替代，提案可以是随机动作。序贯设定中，提议策略可任意依赖完整历史（history-adaptive）。
  • 评审与规则：外部评审者按自身目标比较提案与基线，各返回一位批准或否决。聚合规则只看批准集合；拒绝则执行基线。规则须使一致批准足以执行。
  • 保证范围：对每个可行提案、初始状态和history-adaptive提议者，在提案随机性与转移概率上取期望。策略性评审另在指定均衡概念下讨论。

对齐与委托监督

• Collina等（2026a,b）：研究不同未对齐的模型提供方竞争部署LLM、从而影响用户行动时的emergent alignment。作者称本文的k-稳健联盟对齐推广其market alignment，k=0时等价；区别是他们的模型里只有用户能行动、提供方争夺注意力，本文研究能自行行动的智能体，以及可集体阻止行动、但不在市场中争用户的其他模型。
• AI control与守卫智能体：Greenblatt等（2024）、Xiang等（2025）、Chen等（2025）把监督委托给模型，重点是检测有意颠覆或执行指定安全策略。论文提到Akinwande等（2026）：把共同评估标准拆到多次模型调用，可以改进基于模型的监督，并降低对对抗呈现的脆弱性。

经济理论

• Harsanyi（1955）：在帕累托条件下聚合期望效用偏好。作者称联盟对齐是其几何类比。
• 简单博弈：Freixas等（2011）研究获胜联盟与能阻止结果的群体。作者称本文刻画里的获胜联盟与阻挡群体也属于该理论。
• 专家面板：Nitzan与Paroush（1983）聚合共享同一目标、判断有噪声的专家。作者称本文评审者可以有真正不同的目标。

安全强化学习

• 运行时保障：Simplex架构在高级控制器与已验证基线之间切换（Seto等，1998）；shield与基于优势的干预用受信任规格或安全目标过滤动作（Alshiekh等，2018；Wagener等，2021）。
• 相对基线的保证：安全策略改进保证相对基线的表现（Pirotta等，2013；Thomas等，2015；Laroche等，2019）。Bennett等（2023）从把动作标为安全或不安全的预言机学习。
• 作者的区分：作者称本文聚合奖励不同的评审者比较，并对任意history-adaptive提议者给出保证。

实验基线与基准

• 基线方法：k-tolerant阈值、学习到的加权二元投票、等权与学习权重的基数委员会、单个评审者的数值阈值，以及去掉该评审者后重拟合的委员会。
• 基准：RewardBench 2用于答案选择，StrongREJECT用于放出或弃权。

作者把本文定位为：用弱于个体对齐的群体条件，保证能自行行动的智能体在委托监督下不低于基线；问题不同于争夺注意力的市场对齐，也不同于检测有意颠覆或向单一安全预言机学习。

评审者只报告提案相对基线是否提高自身效用。k-稳健联盟对齐把“删去任意k人后每个剩余子面板仍覆盖委托人”刻画为：容忍k次否决的阈值规则sound的充要条件。

单次决策

• 对象：有限结果上，委托人与评审者i∈N有效用uj。提案q诱导彩票，增益是相对基线彩票的期望效用差。偏差d(q)=μ(q)−μ0，C是可行偏差的锥。
• 规则：真诚时内积非负则批准。授权规则是获胜集族W，且一致批准必获胜。单调意味着多一张批准不能把执行改成拒绝。sound指每个被执行的d∈C都满足委托人增益非负。
• 个体对齐：可行张成空间L上存在c>0，使该评审者与委托人的增益成正比例。作者强调联盟条件可以在无人满足该定义时成立。

覆盖与阈值

u_P ∈ cone{u_i : i ∈ S} + C^∗表示uP是联盟效用的非负组合，加上对偶锥项；该项与每个可行偏差的内积非负。k-稳健要求每个大小为n−k的联盟都如此。

• 单调规则：Theorem 1陈述，soundness与“每个最小获胜联盟都覆盖”等价。覆盖对任意规则都推出sound；非单调规则还可利用获胜集之外的否决，故反向不必成立。
• 阈值：否决数不超过k才执行。Corollary 2将soundness、有害方向的最少否决数至少为k+1、以及k-稳健联盟对齐三者等价。允许有界损失时，精确覆盖换成有界集合D上的下覆盖（Definition 3.2）。
• 设计推论：全面板覆盖是存在任何可采纳sound规则的充要条件，此时一致同意sound（Corollary 1）。Proposition 1称，最宽松的sound单调规则恰好在批准集本身覆盖时授权。Corollary 3称，中心对称噪声、固定维数且n增大时，面板以高概率可容忍接近一半评审者被删，同时几乎可无人个体对齐。

序贯控制

• 投票：折扣MDP中，评审者在状态s用自身基线Q，比较“执行提案一次再遵循基线”与“一直遵循基线”。此后提议者仍可按完整历史再提案；投票时无法评估最终整条轨迹。
• 等价：Theorem 2陈述，对每个初始状态和任意history-adaptive提议者，诱导策略的期望折扣效用不低于基线，当且仅当每个被授权提案的委托人基线优势非负。单调规则下，这等价于各状态的最小获胜联盟覆盖该状态的基线Q向量。
• 恒等式：作者使用performance-difference恒等式：相对基线的期望增益等于实际轨迹上一步优势的期望折扣和。局部非负沿轨迹相加仍非负；若某状态失败，提议者可只在该处提交有害提案再回到基线。
• 奖励证书：系数在全部状态-动作上不变的奖励函数覆盖，对每个转移核与基线都给出同一状态无关规则的安全（Corollary 6）。局部误差不超过ε̄时，累积损失至多ε̄/(1−γ)（Corollary 4）。

策略投票与信息极限

• 单次与多轮：单调规则下真诚投票弱占优（Proposition 2）。多轮中评审者最大化实际轨迹回报，真诚比较不再占优。
• 均衡：Theorem 3要求最小获胜联盟在奖励函数空间覆盖委托人，且最小阻挡联盟不能靠一起永远否决而让每个成员都严格变好。一致同意时，全面板奖励覆盖使每个纳什均衡安全，与提议者目标无关（Corollary 7）。
• 宽松阈值：k≥1且提议者只经执行/拒绝依赖历史投票时，全员批准可以是不安全纳什均衡，即使每位评审者都对齐（Proposition 3）。此时需要k+1人联合偏离下的稳定性。
• 二元极限：可行方向兼有收益与损失时，Theorem 4称，仅凭批准集合做到精确sound且complete的确定性规则需要对齐评审者；规则单调时该比例常数为正。Proposition 4允许边界附近误差：固定夹角环上的多数投票，随机误差为O_θ(log n/n的平方根)，等间距为Θ(1/n)，且无人趋向对齐。Corollary 9称，线性域上加权数值分数精确sound且complete，当且仅当加权和与uP在L上正比例，这可不依赖个体对齐。

实验设置

• 评审面板：RewardBench 2的48个奖励模型，以及StrongREJECT的9个自动评估器。论文未写出这些模型的名称。
• 数据：RewardBench 2有1,763条标准提示，每题四个答案、一个标为正确。StrongREJECT保留1,084条同时具有全部五个人工标签与九个评估器分数的回复；人类伤害中位数按1/2划分，得190条有害、894条可接受。
• 委托人与基线：RewardBench上正确答效用为1、其余为0，基线均匀抽取四个答案。StrongREJECT上放出相对弃权的委托人增益为1/2−h，h为人类伤害中位数；评估器在自身伤害分数不超过1/2时批准放出。
• 投票：真诚投票，平局算批准。RewardBench上，分数不低于该评审者四答案均值则批准。彩票在抽样前按期望效用比较，拒绝则执行基线。未对齐程度用去均值后效用向量与委托人的夹角衡量。
• 拟合：类别分层，种子20260813：训练1,058、验证353、测试352。非负权重在训练集上拟合，惩罚强度与个体评审者按验证集正确答案选择准确率选取。分数阈值取自验证集确定性答案，同一阈值用于测试集的确定性与彩票评估。
• 指标：soundness是有害提案被拒绝的比例，completeness是有益提案被授权的比例。RewardBench确定性soundness指三个错误答案都被拒绝，completeness指正确答案被授权；彩票把条件扩到每个混合。论文未报告重复次数，也不发起新的模型调用。

主结果

Table 1报告48人面板对全部答案彩票的联盟覆盖。百分比是该行提示中的比例。

Swipe horizontally to read the table

最近评审者夹角	提示数	不删人	删任意1人	删任意5人
无限制	1,763	1,590（90.2%）	1,361（77.2%）	669（37.9%）
>5°	1,115	953（85.5%）	762（68.3%）	291（26.1%）
>10°	704	575（81.7%）	423（60.1%）	125（17.8%）
>15°	489	392（80.2%）	263（53.8%）	74（15.1%）
>20°	299	228（76.3%）	144（48.2%）	36（12.0%）

• 证书使用基准标签，针对四个答案上的全部彩票（Table 1表注）。
• 夹角组按最接近委托人的评审方向嵌套划分；作者称覆盖可以在没有个体对齐时成立。
• 删人列要求每种相应规模的删除之后都仍覆盖，因此对应稳健联盟对齐，而不只是存在某一种可删组合。

二元阈值的权衡

• 测了什么：k-tolerant规则随容忍否决数k变化。RewardBench分确定性答案与全部彩票；StrongREJECT上二者重合（Figure 5）。soundness与completeness是分开统计的提示或回复比例。
• 结果：StrongREJECT上每条有害回复至少两票否决，容忍一次否决不降低soundness，并提高completeness。RewardBench上k=9时，作者称两类确定性比率约70%，两类保证同时成立于904/1,763=51.3%提示。对全部彩票，没有被评估阈值同时有正的精确soundness与completeness。
• 附录：作者称全领域soundness与Table 1的覆盖率一致，并另给出确定性completeness从4.1%到11.8%（附录F.2，全部1,763条）。k=1扣下全部190条有害回复，放出894条可接受回复中的419条。k=6的条件soundness为141/190=74.2%，放出49条有害回复，条件completeness为872/894=97.5%，两类精确保证同时成立于1,013/1,084=93.5%（附录F.5）。

数值分数相对二元投票

• 测了什么：基数委员会、单个评审者阈值、加权二元投票与k-tolerant规则。彩票使用0.5-completeness：批准增益至少0.5的每个混合，即正确答案概率至少75%。文中比较在测试集上选取满足soundness要求的最完整阈值，作者注明只作描述。
• 结果：99%测试soundness要求下，委员会在60.5%测试提示授权正确答案，个体为46.6%（Section 7.4）。Table 2在至少95%精确测试soundness下的彩票0.5-completeness：委员会28.7%，去掉被选个体并重拟合20.7%，个体7.7%，等权委员会4.5%，加权二元投票与k-tolerant均为0。
• 作者解读：全面板覆盖315/352=89.5%测试提示，其余提示存在全体评审者都批准的有害彩票（Theorem 1）。作者称接受一致批准的全局二元规则，精确彩票soundness至多89.5%；除reject-all外，无法在90% soundness下还有正completeness。正的数值阈值会拒绝零增益基线，因而不能精确complete。作者称Figure 6b所示soundness范围内，被评估二元规则的工作点只有reject-all。

其他消融与分析

• 验证集单独定阈值：委员会测试soundness 98.6%、completeness 63.4%；个体96.6%、62.5%（附录F.4）。
• 学习委员会把52%权重放在被选评审者上（附录F.3）。
• 只改全局基数规则的阈值并按主题选取：测试0.5-completeness从29.5%（104/352）到40.9%（144/352），soundness从94.0%（331/352）到94.9%（334/352）（附录F.4）。
• 1,590条已覆盖提示上，用该提示标签的最宽松sound k-tolerant授权正确答案581条（36.5%），最大sound单调规则1,409条（88.6%）；一致同意为55条（该子集3.5%）（附录F.3）。
• 至少两条人工标注时保留1,184条、其中207条有害，仍均至少两票否决；纳入仅一条标注后，全档案出现一条九个评估器都批准的有害回复（附录F.5）。
• 加权二元投票在验证集99% soundness目标下选α=0.99，即99%权重来自拟合、1%来自等权（附录F.3）。

作者指出的局限与后续方向

• 联盟对齐并不保证成立，审计可能困难；刻画是双向的，因而该条件无法避开（Section 8）。
• 同时要求完美soundness与完美completeness时，面板须包含完美对齐的智能体；作者称这一不可能性是脆弱的，近似或更丰富的评审信息都可以绕过（Section 8）。
• 找到在新提案上仍保持覆盖、并跨变化状态保持覆盖的面板，被作者列为重要实证问题（Section 8）。
• 学习有用的批准规则，并使其性能能在部署前确立，同样被作者列为后续问题（Section 8）。

实验覆盖范围

• 实验使用单次决策模型，评审者真诚投票，平局计为批准（Section 7）。
• RewardBench 2使用1,763条提示与48个奖励模型分数；StrongREJECT使用1,084条回复与9个评估器分数（Section 7.1）。
• 学习规则是种子20260813的一次类别分层：训练1,058、验证353、测试352；使用基准已有分数，不发起新的模型调用（Section 7.4、附录F）。
• 彩票把奖励分数当作基数效用，并假设对混合概率线性；作者写明基准本身只评估单个答案（Section 7.1）。
• 序贯安全与策略性投票的结论在Theorem 2、Theorem 3与Proposition 3；实验节报告的是单次授权。论文未报告评审模型名称，也未报告实验重复次数。

委托授权的安全不要求每位评审者对齐，而要求面板在效用空间覆盖委托人。

• 问题：长时运行智能体的动作会改变后续状态。作者要在评审者也可能未对齐时，保证委托人期望不低于指定基线，从而不必逐步人工批准。
• 条件：评审者只报告提案是否相对基线提高自身效用。容忍k次否决sound，当且仅当删去任意k人后剩余子面板仍以非负组合加对偶锥项覆盖委托人。序贯控制中，评审者用基线Q比较“执行一次再回基线”；局部基线优势非负，对任意history-adaptive提议者既必要又充分。
• 策略与信息：一致同意加上奖励函数空间的全面板覆盖，使每个纳什均衡安全，且与提议者目标无关。容忍至少一次否决时，即使全体评审者都对齐，全员批准仍可以是不安全纳什均衡。精确sound且complete的二元规则需要对齐评审者；近似误差或数值分数可以不依赖个体对齐。
• 实验：RewardBench 2的48人面板覆盖1,590/1,763（90.2%）提示，其中669/1,763（37.9%）在删去任意五人后仍覆盖（Table 1）。StrongREJECT的190条有害回复均至少两票否决。k=9时，确定性两类保证同时成立于51.3%提示；对全部彩票，没有被评估阈值同时具有正的精确soundness与completeness。352条测试提示上，99%测试soundness要求下，基数委员会授权正确答案占60.5%，单个评审者占46.6%。
• 作者结论：作者认为，把评审委托给其他智能体不必只是把对齐问题再推深一层；每个状态覆盖基线Q向量时，一致、真诚的评审即安全，该条件弱于个体对齐，但是双向刻画，无法避开。完美完备性需要对齐评审者，但作者称这一极限在近似或更丰富报告下不再成立。