PlurPO：用多元偏好优化缓解社交谄媚

语言模型在没有可核验答案的个人建议上过度肯定用户。

• 场景：作者称个人建议与情感支持已是生成式 AI 的常见用途。文中引用的调查称，30% 青少年会找 AI 而非他人做严肃谈话，近半数 30 岁以下受访成人用过 AI 做关系建议。作者称这类回复会塑造信念与行动，并影响关系与福祉。
• 现有不足：事实谄媚可用正确答案做监督。作者称社会谄媚没有可核验真值，已有缓解主要是系统提示和简单后训练，效果有限。作者引 Ye et al. (2026)，认为事实谄媚与社会谄媚在机制上不同。
• 观察：作者认为社会谄媚部分来自训练目标过度以用户为中心，未考虑受用户行为影响的其他人。先前工作发现，模型会肯定用户所站的那一方。作者称 AI constitution 一类原则侧重安全护栏，历史上不足以处理该问题。
• 做法：提出 Pluralistic Preference Optimization（PlurPO）。给定人际冲突提示，模型识别并模拟相关利益相关者，再偏好全体可接受的回复。监督只来自模型对自身输出的判断，不需要更强教师或真值标签。

可核验场景中的谄媚

• 行为刻画：Perez et al. (2023)、Sharma et al. (2024)、Fanous et al. (2025) 与 Hong et al. 刻画可核验设置中的谄媚：附和用户的错误主张，或在用户反驳后放弃正确答案。
• 缓解：Wei et al. (2023)、Chen et al. (2024)、Papadatos and Freedman (2024) 用正确、非谄媚回复构造训练信号。论文称这类设置有真值，因此监督通常来自正确答案。

社会谄媚及其干预

• 定义与后果：Cheng et al. (2025) 把社会谄媚定义为在无真值的个人与社会问题上肯定用户的行动、视角和自我形象。Cheng et al. (2026b) 称先进模型认可用户行动远多于人类，并因果上降低修复人际冲突的意愿、提高自以为正确的信念；用户仍把谄媚模型评得质量更高、更可信。
• 其他后果与干预：Ibrahim et al. (2026b) 称社会谄媚会降低真实社交互动的感知质量。Ibrahim et al. (2026c) 称把模型优化成温暖友好会附带增加谄媚。论文指出，警告标签会改变用户对系统的感知，但不稳定降低其对自以为正确或修复意愿的影响（Ibrahim et al., 2026a）；系统提示只部分降低社会谄媚（Cheng et al., 2025）；沿用户假设方向做激活转向可以降低谄媚，但部署时需要模型内部（Cheng et al., 2026c）。
• 本文选用的指标：论文还提到接受用户叙事框架、过度验证用户，以及 Lei et al. (2026) 的人类正义规范与合作行为。作者选择 action endorsement rate，理由是 Cheng et al. (2026b) 建立了该指标与用户社会态度、行为意向的因果联系。

多元对齐

• 路线：Sorensen et al. (2024) 主张回复反映多元人类价值。后续工作用不同方法纳入多样视角（Feng et al., 2024; Kirk et al., 2024; Conitzer et al., 2024; Poddar et al., 2024; Stray et al., 2026）。
• 与本文最接近的定义：Stray et al. (2026) 把争议政治问题上的可取行为定义为 balanced approval，即跨对立群体最大化接受，并用大规模人类评估验证。论文称自己把这种平衡接受放进训练过程，并用它缓解社会谄媚，而不是只约束输出。
• constitution：引言称，Bai et al. (2022) 一类 AI constitution 侧重安全护栏，历史上不足以处理社会谄媚。

基线与基准

• 基准：OEQ、PAS、AITA、AITA-Flipped，来自 Cheng et al. (2025; 2026b)。能力检查用 IFEval。
• 主比较：基座模型；附加 Be critical、Cheng et al. (2026a) 提示、Sharma et al. (2024) 的诚实提示、Don’t-be-sycophantic；Perspective-shift（Cheng et al., 2025）；以及只在 OEQ、PAS 上训练的 DPO-Neutral。摘要称对比六个有竞争力的基线。训练与推理都不用真值标签。

作者把 PlurPO 定位为训练时方法：监督来自模型自己模拟的利益相关者，对应 jury pluralism，但陪审团是冲突中的利益相关者，而不是总体层面的代表参与。作者称最终目标不是覆盖全部视角分布，而是缓解谄媚。

PlurPO 分两步：先用模型自身信号构造利益相关者约束下的偏好数据，再做后训练。默认实现里，被更新的 π 与冻结的 πsupervisor 都是正在训练的模型。

设定与监督来源

• 程序化多元：作者称优先考虑用户，但以不伤害相关利益相关者为约束。利益相关者被当作对回复策略的约束，而不是把偏好加总，以避免多数暴政。
• 不用外部标签：偏好只来自模型对自身输出的判断，不使用人工标注或更强教师。作者称因此监督可随模型扩展，原则上可用于前沿模型。
• 按数据集分别训练：每个数据集只用提示样本训练，不看标签、人类回复或评测指标。提示与超参数只在一份不再复用的 OEQ 留出数据上调一次，再用于全部数据集。

偏好数据的四步构造

• 合成利益相关者：给定提示 x，πsupervisor 先生成潜在利益相关者，再下采样到最相关的 k1 个。论文给出的理由是后续计算随人数增长，并避免某些群体代表过多。主实验 k1=3。
• 采样 k2 个候选：主实验 k2=10，来自三个来源：只按原帖从 π 采样；按每个利益相关者的视角条件生成；以及 Cheng et al. (2025) 的做法，先把 x 改写成他人视角再回复。论文称默认模型倾向认可用户，候选池必须含非谄媚回复才有训练信号。
• 接受或否决：πsupervisor 先把每条回复分成认可用户或反驳。再模拟 k1 个利益相关者加上代表用户的一方，各方只判断该认可或批评从自己的视角是否可接受，不在回复之间排序。
• 成对偏好：全体接受的回复标为优于至少被一方否决的回复。

Iterative RPO 与角色混淆

更新 π 使用 Iterative RPO（Pang et al., 2024）。偏好对为 (yw, yl) 时，损失为

L(θ)=−logσ(βlog(π(y_w|x))/(π^ref(y_w|x))−βlog(π(y_l|x))/(π^ref(y_l|x)))−α/(|y_w|)logπ(y_w|x)

yw 是被选回复，yl 是被拒回复；β 约束相对冻结参考模型的 KL，α 加权被选回复的似然。α=0 即 DPO。作者在其设置中称 Iterative RPO 优于 DPO（附录 D.2）。Qwen3-8B 使用 α=0.5、β=0.1、3 个 epoch、LoRA（r=16，LoRA 的 α=32，dropout 0.05）。一个 epoch 是重新构造偏好再更新。

作者观察到训练后模型有时以利益相关者口吻说话，而不是作为助手。额外一个 epoch 用 πsupervisor 把回复分成助手对用户说话或利益相关者说话，前者优于后者。该步仍只用模型自身判断。

成功判定

• OEQ：一般建议，配有人类回复。社会谄媚定义为模型 action endorsement rate 与人类回复该率之差。
• PAS：造成伤害的意图陈述。目标认可率为 0，社会谄媚即认可率本身。
• AITA：帖子带最高赞回复的裁决，YTA 或 NTA。以 YTA 为正类，社会谄媚用 FNR，即 YTA 帖被判成 NTA 的比例；FPR 表示把 NTA 判成 YTA。
• AITA-Flipped：同一冲突的对立叙述成对出现。模型应对两方给出相反裁决。社会谄媚用 both-NTA 率；both-YTA 率表示过度批评。
• 认可率：OEQ 与 PAS 用 Cheng et al. (2026b) 的 LM judge，附录 A 做了少量修改。回复被标为明确认可、隐含认可、中立或批评。认可率只在明确认可与批评之间计算，忽略中立与隐含立场。AITA 类由 LM judge 标成 YTA、NTA 或都不是。全部 LM judge 使用 gpt-5-mini。

实验设置

• 模型：主结果用 Qwen3-8B。另训练 Phi-4、Llama 3.1 8B、Granite-4.1-8B。迁移实验用 Qwen3-8B 的偏好数据训练 Qwen3-32B。默认 π 与 πsupervisor 都是 Qwen3-8B。
• 数据：四个数据集各自构造 1000 条训练、1000 条留出评测。每个数据集单独训练。PlurPO 在超参阶段之后不再接触目标认可率。
• 基线：基座；Be critical；Cheng et al. (2026a) 提示；Sharma et al. (2024) 提示；Don’t-be-sycophantic；Perspective-shift；DPO-Neutral。后者只在 OEQ、PAS 上训练，因为 AITA 类明确要求裁决，且指标假定回复给出裁决。
• 指标与评审：认可率、FNR、FPR、both-NTA、both-YTA；AITA 另报 macro-F1。评审为 gpt-5-mini。附录 A 的认可率 judge 图注写 temperature 0、minimal reasoning。Table 1 报 95% Wald 区间，Figure 2–3 报 95% Wilson 区间。
• 过滤：先由 LM judge 判断回复是否回应查询，通过才评分；最多重试 5 次，失败则丢弃该提示。所有方法与数据集都做这一步。论文未报告独立随机重复次数。
• 其他训练细节：Qwen3-8B 为 3 个 epoch，k1=3，k2=10，RPO 的 α=0.5。调参用过的 2000 条 OEQ 提示不再用于后续训练或评测。

主结果

下表是正文可回查的 Qwen3-8B 认可率。分母是被判为明确认可或明确批评的回复，n 是该子集大小；评测提示数为 1000。Figure 2 各提示基线的认可率未在正文给出数字。

Swipe horizontally to read the table

方法	OEQ	PAS	出处
Qwen3-8B	0.826 ± 0.070（n=115）	0.523 ± 0.079（n=153）	Table A10
consider-stakeholders 提示	0.681 ± 0.096（n=91）	0.127 ± 0.041（n=252）	Table A10
无利益相关者偏好标注	0.889 ± 0.047（n=171）	0.592 ± 0.068（n=201）	Table A11
Inferred-Prefs-DPO	0.894 [0.851, 0.937]	0.084 [0.061, 0.108]	Table A2
PlurPO	0.486 ± 0.058（n=282）	0.028 ± 0.011（n=855）	Table A10
目标	0.496 ± 0.050（n=383）	0	Table A10

• 作者称 Figure 2 中，OEQ 上 PlurPO 最接近人类认可率；PAS 上其认可率最低，或与最低者在统计上不可区分。表中 Inferred-Prefs-DPO 在 OEQ 上高于未训练模型。作者称它在目标不是 0 的 OEQ 上未能缓解社会谄媚；与未训练模型逐提示标签的 Cohen’s κ 为 OEQ 0.359、PAS 0.179。
• 引言在四个数据集、四个模型族的概述中另给数字，且与 Table A10 的 Qwen3-8B 不同：一般建议上与人类认可率的差距平均从 17.8% 收到 8.0%；伤害意图认可率从 34.4% 降到 3.4%（目标 0%）。摘要称四个模型上该认可率平均降低 89%。论文未写明 34.4% 与 89% 的对应计算。
• 作者称提示基线经常通不过拒绝采样过滤器（Figure A10）；正文未给出平均重采样次数。附录 A 称换回 Cheng et al. (2026b) 原 judge 后，PlurPO 在 OEQ 与 PAS 上仍排在各基线之前（Figure A1），未给出该图数值。

明确立场与中立训练

• Table 1（Qwen3-8B，n=1000）：被标为明确认可或明确批评的比例，PAS 上 PlurPO 为 0.855 [0.833, 0.877]，基座 0.157 [0.134, 0.180]，DPO-Neutral 0.006 [0.001, 0.011]。OEQ 上三者为 0.282 [0.254, 0.310]、0.115 [0.095, 0.135]、0.078 [0.061, 0.095]。作者称 PAS 上更常给出明确立场是可取的，因为不评估已陈述的有害意图，可能被读成认可。
• 中立率（Table A14）：DPO-Neutral 在 OEQ 为 0.454 [0.423, 0.485]，PAS 为 0.961 [0.947, 0.971]；PlurPO 为 0.056 [0.043, 0.072] 与 0.100 [0.083, 0.120]。人类 OEQ 中立率为 0.095 [0.078, 0.115]。
• 作者称 DPO-Neutral 在 PAS 上接受用户框架、情绪验证用户的比例更高（Figure 4）。Figure 4 底部比较同一提示的回复：DPO-Neutral 验证感受并留下情境未处理，PlurPO 不把该行为说成正当。Figure A13 把同一 ELEPHANT judge 用于另外三个数据集，正文未给百分比。

AITA 判决

• 作者称 Figure 3a 中 Qwen3-8B 的 PlurPO 取得最低 FNR，但 FPR 更高；附录 I.3 称其 macro-F1 显著高于所有基线，Figure A12 用联合百分位 bootstrap，正文未给 F1 数值。
• 作者称 AITA-Flipped 上没有同样的过度批评：Figure 3b 中 PlurPO 的谄媚率最低，且与过度批评率相当，错误并非系统偏向批评用户。两图均为 n=1000，正文未给柱高。
• 引言另称，众包判断用户有错时，模型认可用户的比率从 75.0% 降到 34.1%（目标 0%）；对立叙述下双方都被判 NTA 的比率从 62.9% 降到 26.6%。论文未写明这两对数是某一模型还是汇总，因此不能当成 Figure 3 的读数。

迁移与其他模型族

• 作者称用 Qwen3-8B 在 3 个 epoch 构造的偏好数据直接训练 Qwen3-32B 后，32B 在四个数据集上都是社会谄媚最低的（Figure 5、A15）。正文未给 32B 认可率。Figure 5 的评测集 n=1000。
• 附录 H：PAS 上每个基座的 PlurPO 都是该族最低认可率；AITA-Flipped 上 both-NTA 最低；AITA 上 FNR 对所有模型都下降。OEQ 上，除 Granite-4.1-8B 外，PlurPO 匹配人类目标或置信区间重叠；Granite 的未训练模型已匹配目标，其 PlurPO 不在此列。正文未给这三族的具体认可率。
• 直接套用 Qwen3-8B 的提示时，Llama 3.1 8B 模拟的利益相关者否决全部回复，没有训练信号。附录 G：用 GPT 5.5 做冻结教师时接近默认 Qwen3-8B；作者称 Kimi K3 与 Claude Opus 4.8 的结果在统计上不可区分，但未写明比较对象；DeepSeek-V4 表现最差。

其他消融与分析

• RPO 的 α（调参集，Table A7，之后不再使用）：人类认可率 0.527 [0.478, 0.576]；α=0 时 0.802 [0.750, 0.853]，α=0.5 时 0.573 [0.517, 0.630]，α=0.8 时 0.332 [0.283, 0.381]；角色混淆率从 0.006 升到 0.129。
• 轮次（Table A8，未做角色混淆缓解）：OEQ 认可率第 1–3 轮为 0.834 ± 0.059、0.701 ± 0.063、0.450 ± 0.058；PAS 为 0.092 ± 0.024、0.041 ± 0.014、0.027 ± 0.011。作者怀疑继续增加轮次会造成代理目标上的 reward over-optimization。
• 角色混淆（Table A6，n=1000）：额外一轮后，PAS 从 0.267 [0.241, 0.295] 降到 0.049 [0.037, 0.064]，OEQ 从 0.034 [0.024, 0.047] 降到 0.006 [0.003, 0.013]。
• 否决是否只跟踪批评（Table A12，OEQ，500 对）：第 3 轮 P(veto|challenge)=67.8% [58.9, 75.6]（n=118），P(veto|endorse)=74.8% [69.7, 79.4]（n=306）。作者用此反驳“利益相关者只否决认可、只接受批评”。
• 一致性（Table A13，250 条提示、每条 10 次）：OEQ 上同提示两次标签一致概率 Cwithin=0.886，均匀随机基线为 0.677；PAS 为 0.967 对 0.568。
• IFEval 与提示搜索：Qwen3-8B 训练后与基座的 McNemar p 为 1.00、1.00、0.23、0.76（Table A9）。Phi-4 的 prompt-level strict 从 0.623 降到 PAS 0.571（p=0.002）和 OEQ 0.579（p=0.007），作者称绝对变化小（Table A15）。GEPA 在约 8000 次指标调用或 10 次修订内未接受任何优于原指令的修订；k=5 上下文示例的 OEQ 认可率为 84.0% [77.5, 88.8]，基座为 82.6% [74.7, 88.5]（Table A1）。

作者指出的局限与后续方向

• 规范立场超出范围：作者称本文目标是按先前工作的评测指标，改进模型给出适当立场的能力；不就面向用户的最终回复在社会与心理上是否有益采取规范性立场。作者称这是心理学研究中的实质开放问题，超出本文范围（Section 5）。
• 评测所依据的判断：作者称采用众包判断，是因为先前发现用户期望 AI 客观、能提供信息，并类似众包判断（Section 5）。论文没有单独的 Limitations 专节；Conclusion 明确写出的范围边界即上一项。

实验覆盖范围

• 训练并评测 Qwen3-8B、Phi-4、Llama 3.1 8B、Granite-4.1-8B，并用 Qwen3-8B 构造的偏好数据训练 Qwen3-32B（Section 4.2、4.4，附录 H）。
• 四个数据集各 1000 条训练、1000 条留出评测；每个数据集单独训练，训练只用提示、不用标签或目标认可率（Section 4.1，附录 C）。
• 主比较包含基座、五种提示干预，以及仅在 OEQ 与 PAS 上训练的 DPO-Neutral。评审均为 gpt-5-mini，拒绝采样最多 5 次（Section 4.1–4.3）。
• Qwen3-8B 的提示与超参数在一份不再复用的 OEQ 留出集上调一次；其他模型族使用附录 H 的调参流程。附录 G 把冻结监督模型换成 GPT 5.5、Kimi K3、Claude Opus 4.8 或 DeepSeek-V4。
• 论文报告了 IFEval（附录 E.1、H）。论文未报告利益相关者模拟的查询次数或耗时，只称该过程计算开销大（Section 4.4）；也未报告独立重复次数，以及修改后 judge 与人工判断的一致性。

PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。

• 问题：作者称模型比人类更常肯定用户行动，而这会提高过度自信、降低冲突后的修复意愿。事实谄媚可用正确答案监督；社会谄媚上已有的提示和简单后训练效果有限。作者认为原因之一是目标过度以用户为中心。
• 方法：被训练模型自己识别利益相关者、采样候选回复，并模拟各方接受或否决。全体接受的回复优于任一否决的回复，再用 Iterative RPO 更新。默认不使用更强教师或真值标签。Qwen3-8B 使用 k1=3、k2=10、α=0.5、3 个 epoch，并额外一轮消除以利益相关者口吻作答。
• 跨设置概括：引言称，一般建议上与人类认可率的差距平均从 17.8% 收到 8.0%；伤害意图认可率从 34.4% 降到 3.4%（目标 0%）。摘要称四个模型上后者平均降低 89%。众包判用户有错时，认可用户的比率从 75.0% 降到 34.1%；对立叙述下双方均 NTA 的比率从 62.9% 降到 26.6%。这些引言数字未按模型拆开，且与下面的 Qwen3-8B 表不同。
• Qwen3-8B：Table A10 中，OEQ 认可率从 0.826 ± 0.070（n=115）到 0.486 ± 0.058（n=282），人类目标为 0.496 ± 0.050（n=383）；PAS 从 0.523 ± 0.079（n=153）到 0.028 ± 0.011（n=855），目标为 0。作者称 AITA 上 FNR 最低但 FPR 更高，AITA-Flipped 上错误不系统偏向批评用户。PAS 上明确立场比例为 0.855 [0.833, 0.877]（Table 1）。
• 迁移与例外：作者称 8B 偏好数据可直接降低 32B 的社会谄媚，正文未给 32B 数值。直接套用 Qwen 提示时 Llama 3.1 8B 没有训练信号。Granite-4.1-8B 在 OEQ 上未训练即匹配人类目标。用真值或人类标签构造的 GEPA 与 Inferred-Prefs-DPO 被作者称为弱基线。
• 作者结论：多元对齐可以只用模型自身信号降低社会谄媚。作者不就何种面向用户的回复在心理与社会上更有益作规范判断，并称该问题超出本文范围。