在算法单一文化中培育多元性:Community Alignment 数据集
Cultivating Pluralism In Algorithmic Monoculture: The Community Alignment Dataset
作者提出负相关采样并发布Community Alignment;称温度1下21个LLM英语回答只对齐41%人类偏好。
- 偏好可能沿文化或政治冲突时,LLM如何服务不同用户。作者认为多元对齐要先学到这些差异,但现有偏好数据的候选由模型独立采样,同质到学不出价值观上的主要分歧。
- 作者在五国样本中比较人对IW两维手策展回答的选择,与21个LLM的开放生成。负相关采样让一个模型一次生成价值观更分散的候选。Community Alignment据此收集五国多轮比较。
- 作者报告温度1下21个LLM英语回答只对齐41%人类偏好。Figure 2:温度采样覆盖traditional 15%、survival 30%;NC为60%、53%。Table D.1:8B、survival、提示词条件的NC win rate为0.428,21个LLM温度采样为0.494。
- 作者指出数据只覆盖五国语言,平衡子集未计入教育与政治倾向;IW维度不能代表全部偏好;自动评审不完美。实验含五国N=15,000与21个LLM的对照,以及PRISM首轮上两种Llama、四种对齐方法。论文未报告该学习实验的独立重复次数。
- 被测模型
- claude-3.7-sonnetgemini-2.5-pro-preview-03-25Qwen2.5-72B-InstructMixtral-8x22B-Instruct-v0.1gpt-4oLlama-3.3-70B-InstructLlama-3.1-8B-Instruct
- 基准
- 五国日常提示调查(60 prompts)PRISM(仅第一轮)Inglehart-Welzel dimensions
- 指标
- IW preference scorevalue coveragewin ratejudge accuracy
论文通过五国代表性样本、1.5 万人的大规模多语言人类研究,发现人类的偏好差异显著大于 21 个前沿大语言模型的回答,并指出候选回答的同质化使现有偏好数据采集方法不足以学到这种多样性。作者主张在生成候选集时采用负相关采样,称简单的基于提示词的技巧即可显著提升对齐方法学习异质偏好的表现。据此他们收集并开源了 Community Alignment 数据集,包含五个国家标注者的 233,319 条比较,论文称这是迄今规模最大、最具代表性的多语言多轮偏好数据集。
深度解读
这篇论文试图解决什么问题?
作者认为候选回答的算法单一文化,使现有偏好数据学不到价值观上的分歧。
如何得到能区分相互冲突偏好的候选回答,使对齐方法有可能服务价值观不同的用户。
- 场景:作者认为LLM已在全球使用,用户偏好会沿文化、政治等维度冲突。个人化、本地化、社会选择与分布对齐等多元对齐做法,都先要能学到不同偏好。
- 现有做法的问题:主流偏好数据让人在至多约四条候选中选择。作者援引调查设计研究,认为候选预选会大幅影响对人群偏好的结论;候选又通常由LLM独立温度采样,可能自带偏差。若基座模型不以不可忽略的概率同时给出不同价值观的回答,数据里就没有可学习的比较。
- 观察:作者用Inglehart-Welzel(IW)的secular-rational/traditional与self-expression/survival作强负结果案例,因其来自World Values Survey的主要变异维度,并与常见政治分野相关。作者报告人类在这两维上异质,而21个先进LLM对日常提示呈现algorithmic monoculture。
- 本文做的事:作者提出负相关采样(negatively-correlated sampling),用提示词让同一候选集覆盖更散的价值观;并据此发布多语言、多轮数据集Community Alignment。作者把学会多样偏好视为多元对齐的中间步骤,而不是终点。
有哪些相关研究?
作者把本文放在多元对齐的前提上:先要能从候选回答里学到不同偏好。
多元对齐
- 策略谱系:Sorensen et al.(2024)等讨论多元对齐。作者列举的方向包括个人化、面向社群或语境的适配、社会选择聚合、把回答对齐到偏好分布,以及在一次生成里呈现多种观点。作者认为这些都依赖先学到多样的人类偏好。
- 本文位置:作者称本文不提出新的聚合或个人化算法,而是检查这一前提在现有偏好数据上是否成立。
LLM与价值观评估
- 用既有调查作代理:Durmus et al.(2023)、Santurkar et al.(2023)等用社会调查代替人类对LLM行为的偏好。作者认为这些调查并不直接测量对具体LLM回答的偏好,一般态度如何映射到回答偏好并不清楚。
- 问卷与开放生成:Röttger et al.(2024)指出,模型在问卷式评估中的价值观常常与开放生成不一致。作者因此评估与人类相同的日常提示上的开放回答,而不是把World Values Survey原题直接交给模型。
- 维度来源:Inglehart and Welzel(2005)从World Values Survey抽出上述两个维度。作者用它们做案例,并写明其不能覆盖全部价值变异。
算法单一文化与多样生成
- 单一文化:Kleinberg and Raghavan(2021)、Bommasani et al.(2022)、Wu et al.(2024)。作者采用较宽用法:不是多个决策者共用同一算法,而是许多LLM给出同类结果。
- 其他同质现象:作者转述Jiang et al.(2025)在Infinity-Chat(26K条真实开放提示)上的发现:没有标准答案时,不同模型的回答仍常常很相似。相关工作还提到写作辅助与模拟人群观点时的同质输出。
- 多样解码:Ippolito et al.(2019)等,以及Hayati et al.(2024)让模型对给定陈述生成同意或反对的多样意见。作者认为更复杂的多样性技术可以以后再考虑;本文只检验简单提示词是否已能提高价值覆盖。
基线方法与数据集
- 基线方法:prompt-steering、SFT、DPO(Rafailov et al., 2023)、GRPO(Shao et al., 2024)。学习实验用PRISM第一轮(Kirk et al., 2024b);作者称它是现有最多样的开源偏好数据集。对照数据集还包括Anthropic HH(Bai et al., 2022a)与OpenAssistant(Köpf et al., 2023)。人类侧是自建的60个日常提示。
- 作者的区分:作者称失败来自候选回答同质,而不是模型不知道这些价值。Community Alignment相对HH、PRISM的设计差异是负相关采样、多语言、比较级自然语言解释、提示级标注者重叠,以及更多每人对话数(Table 1)。
论文如何解决这个问题?
用提示词做负相关采样,让单个模型一次生成价值观更分散的候选回答。
整体做法是:先用IW两维对照人类选择与模型开放回答,再把候选从独立温度采样改成负相关采样,并用该采样采集Community Alignment。
问题设定与编码
- 检验维度:secular-rational对traditional,self-expression对survival。作者还在探索阶段看过Hofstede的个人/集体,以及性别角色,但正式分析集中在IW;IW占手策展回答集的70%。
- 编码:手策展回答在某一维上记为1(secular-rational或self-expression)、0.5(balanced)或0(traditional或survival)。人的分数是其选中回答在该维上的平均。主分析去掉选了默认Llama-3.3-70B-Instruct的题目。
- 作者不主张把模型部署成只优化某一个IW方向;学习实验用来检验温度采样是否足以支撑异构偏好学习。
人类选项与模型评估
- 人类选项:60个日常提示,覆盖写作、信息、摘要、操作指南、效率、闲聊、幽默、个人建议、推荐等。每题四个选项:一条Llama-3.3-70B-Instruct默认回答,加三条沿一个价值维策展的回答(两端加balanced)。英语原稿由职业译者译成法语、意大利语、葡萄牙语、印地语;少数被认为文化上不转移的题除外。
- 模型侧:对同一提示做开放生成,而不是填问卷。GPT-4o成对比较,两种顺序各一次;冲突时取得分标签条件概率更高的一侧,两边概率相同则判平局。分类是相对人类看到的同一条balanced回答,再记为1、0.5或0。
- 探索阶段:正式调查前在Remesh上做了约每国200人的非代表性探索,用来看预选的四个价值维是否突出。附录B给出流程。
负相关采样
- 动机:作者认为问题不是模型不知道异构价值,而是默认行为只对齐其中一部分,独立采样因此缺少可区分比较。负相关指:候选集里已有某类回答,同类回答再进入同一集合的可能性应下降。
- 实现:一条提示词让单个模型同时生成四条代表不同价值观的回答,以固定标记分隔;提示词不点名IW四类价值。附录E.1给出采集时的系统提示词:首轮三条负相关回答加一条默认Llama回答,其后各轮同时生成四条,并要求每条自洽、不以身份开场白起句。
- 学习实验的三种候选:都用PRISM提示,只取对话第一轮。一是Llama-3.3-70B-Instruct、温度1、独立采样;二是原始PRISM回答,温度1、来自21个LLM,再用本文评审重标;三是同一Llama做负相关采样。首选回答由GPT-4o对每对打分后,按成对分数之和排序得到;其余三条为拒绝项。同一评审既标注也评估。
四种对齐方法
- prompt-steering:每个测试题随机取10条训练提示及其被选回答,作为上下文示例;生成温度为0。
- SFT:只在被选回答上监督微调。
- DPO:每个提示配成三对被选/拒绝。KL系数β在附录C按设定调整。
- GRPO:奖励是把策略生成与该提示在数据集中的一条候选做同一评审的成对比较,奖励再乘10;每个提示采四条生成估计均值和标准差。KL惩罚按模型、价值方向和数据集分别设置(Table C.1)。
- 比较协议:win rate是调后模型对原模型。评原始PRISM回答调出的模型时,原模型与调后模型使用PRISM当时的系统提示词和最大长度256;其余用默认Llama对话提示词,最大长度4096。
Community Alignment怎么采
- 谁标:数据标注平台招募,按时薪28–90美元(按学历与国家)。标注者按个人偏好排序,不按外部评分细则;话题指引与PRISM类似,涉及对自己重要或体现自身价值的内容。任务说明为英语,自由解释也要求用英语以便审计。
- 题从哪来:一部分是预置提示,一部分由标注者自拟,以同时看同一提示内的分歧和真实使用。预置题由Llama-3.3-70B-Instruct生成后再整理,共1146条英语题,再经职业翻译。生成时排除若干敏感主题;附录E.1给出提示词。使用场景参考了第2节里偏好变异较多的类型。
- 轮次与质量:每个对话2–4轮,第一轮之后的提示都由标注者给出。训练阶段有注意力测试和解释审计;生产阶段对一部分标注收集自由解释并抽查。未通过多项质量检查的标注者被移除。
- 五个设计点:负相关采样;多语言;比较级自然语言解释;同一提示多名标注者;每人多段对话。作者认为这分别对应测量更多偏好、非英语对齐、把解释接进偏好学习、社会选择与分布对齐,以及个人化。
论文做了哪些实验?
作者称NC采样改善IW偏好学习;Table D.1里温度采样与NC都有不合该概括的格子。
实验设置
- 人类调查:YouGov招募美国、法国、意大利、巴西、印度各3000人,共N=15,000。各国样本按年龄、性别、教育、次国家级地区匹配;种族只在美国匹配。每人随机看60题中的20题。语言为英语、法语、意大利语、葡萄牙语;印度按偏好一半印地语、一半英语。
- 开放生成:21个模型,作者称来自6个提供方:Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Llama-3.3-70B-Instruct、Llama-3.1-405B-Instruct、Qwen2.5-7B/14B/32B/72B-Instruct、Mistral-7B-Instruct-v0.2、Mixtral-8x7B-Instruct-v0.1、Mixtral-8x22B-Instruct-v0.1、gemini-2.5-pro-preview-03-25、gemini-2.0-flash-001、gemini-2.0-flash-lite-001、gemini-2.0-flash-thinking-exp-01-21、gpt-4o、o1-mini、o1、claude-3.7-sonnet、claude-3.5-haiku、claude-3.5-sonnet-v2。上下文4096;温度1时每题20次。少数Gemini题因RECITATION拒绝,计算Gemini均分时排除这些题。
- 评审:开放生成用GPT-4o。作者称在人类看到的手标回答上,五语言、两维准确率为80%–91%;Table B.1的格子为0.8046至0.9149。偏好学习另用一个允许直接判平局的GPT-4o评审:PRISM手标120对上,secular-rational/traditional为85.8%,self-expression/survival为78.3%。
- 偏好学习:PRISM第一轮,训练5463条提示、测试608条。被调模型为Llama-3.1-8B-Instruct与Llama-3.3-70B-Instruct。三种候选生成、四种方法见上一问。指标是相对原模型的win rate。Figure 3的误差条是standard error of mean。论文未报告独立重复运行次数。
- 数据集对照:Table 1比较Anthropic HH、PRISM与Community Alignment。CA的标注与平衡子集统计在第4节和附录E。
主结果
下表只列SFT+DPO,win rate相对原模型(Table D.1)。8B为Llama-3.1-8B-Instruct,70B为Llama-3.3-70B-Instruct。±为standard error of mean。
表格较宽,可左右滑动
设置 τ=1, 1个LLM τ=1, 21个LLM NC, 1个LLM 8B,secular-rational 0.528±0.005 0.527±0.006 0.701±0.011 8B,traditional 0.489±0.005 0.563±0.007 0.812±0.010 8B,self-expression 0.676±0.010 0.632±0.011 0.958±0.006 8B,survival 0.509±0.010 0.616±0.010 0.808±0.011 70B,secular-rational 0.510±0.005 0.519±0.006 0.640±0.011 70B,traditional 0.498±0.004 0.529±0.007 0.816±0.010 70B,self-expression 0.590±0.009 0.615±0.010 0.871±0.011 70B,survival 0.581±0.010 0.600±0.010 0.852±0.010 - 作者的概括与表内例外:作者称温度采样下各方法未能有效转向给定价值,即使用21个LLM的原始PRISM回答;NC带来Pareto改进,且单模型NC明显优于21模型温度采样。Table D.1并不逐格如此。prompt-steering、survival、8B:NC为0.428±0.013,低于τ=1、21个LLM的0.494±0.010。SFT+GRPO、survival、8B、21个LLM为0.650±0.010,并不接近0.5。作者称微调从接近随机升到约70%–90%;同表NC微调还有0.546±0.010(70B,SFT+GRPO,secular-rational)。
- 作者同时称:NC不仅提高候选集里较少的traditional与survival,也提高模型默认更对齐的self-expression与secular-rational。附录G的生成示例被作者用来对照:温度采样数据调出的模型未见明显离开默认行为,NC数据调出的模型则有离开。
- 评审用法:同一GPT-4o评审既标偏好也算win rate。作者认为即便评审有误差,实验仍在问候选回答如何影响异构偏好的可学习性。评21个LLM那一列时,原模型与调后模型还对齐了PRISM的系统提示词和256最大长度。
五国人类偏好与21个LLM
- 人类:作者称五国偏好分数都是单峰、大约居中于balanced,且各国内部都有落在各象限的人;日常非政治提示上,IW并未解释国家之间的差异。作者假设这种跨国相似可能来自提示的日常性质。Figure 1左图是美国;法国、意大利、印度、巴西见Figure B.2。
- 模型:温度1、英语时,作者称21个模型的分数几乎都在secular-rational与self-expression象限,只与41%的人类偏好分数对齐。脚注5的算法是取两轴最低分,再算落在该最低分及以上的人类偏好分数比例。该句写的是英语回答;论文未在同句写明这41%用的是哪一国的人类分数。Figure 1并列的是美国人类偏好与英语模型回答。
- 语言与默认项:作者称法语、意大利语、葡萄牙语也偏向这两个方向,但程度较轻;印地语下部分模型转向traditional与survival(Figure B.2)。主分析排除默认Llama项。若计入,该默认项被选比例为美国61%、意大利53%、法国51%、巴西45%、印度35%;Figure B.4的分布偏向self-expression,traditional/secular-rational仍较均衡(Section B.4)。
候选集的价值覆盖
- Figure 2:四条候选里至少有一条对齐某价值的比例。温度采样、跨模型平均,traditional为15%,survival为30%;NC为60%与53%。作者称四个IW价值的覆盖都有Pareto改进;正文没有给出secular-rational与self-expression的对应百分比。
- 作者还报告:60%–80%的情形下,四条温度采样回答里一条traditional或survival都没有。温度与覆盖没有单调关系。Section 2.2写Figure B.3对应温度0和0.5;Figure B.3图注写的是τ=0、0.1、1。
Community Alignment的规模
据Table 1:
表格较宽,可左右滑动
项目 HH PRISM Community Alignment 比较数 169,352 27,172 233,319 非英语 0% 1% 66% 标注者 115 1500 3,603 每人对话中位数 Unknown 6 26 每人比较中位数 Unknown 19 67 - 作者称它是迄今最大、最有代表性的多语言多轮偏好数据集,也是首个带提示级标注者重叠和选择解释的偏好数据集。Section 4.1写OpenAssistant是他们所知的另一个开源多语言人类偏好数据集,以英语和西班牙语为主;结论又称CA是首个多语言开源偏好数据集。脚注写DICES有每段对话多名标注者,但是安全评估而非一般偏好。2,582条提示至少有10名标注者;44%的比较带自然语言解释。年龄、性别、族群平衡子集N=2,215。
其他消融与分析
- 评审Table B.1:traditional/secular-rational为0.8046–0.8391,survival/self-expression为0.8830–0.9149,分语言列出。
- DPO:Llama-3.3-70B-Instruct、self-expression、β=0.05时生成坍缩为计数或重复,改为β=0.2(附录C.5)。
- GRPO:生存与传统方向、两条温度采样数据上,较低β时模型倾向拒绝;原始PRISM短回答上,较低β时几乎对所有陈述生成“no”(附录C.6)。各β见Table C.1。
- prompt-steering的NC win rate:self-expression为8B 0.770±0.012、70B 0.862±0.009;survival为8B 0.428±0.013、70B 0.530±0.014(Table D.1)。
- 训练阶段注意力测试占任务的9.4%;队列进入正式采集前,注意力测试通过率与中高质解释比例都要至少85%。移除350+名未通过多项检查的标注者(附录E.2)。
- 印度总体样本69%为男性;平衡子集775人在性别、年龄、族群上进入5%边际(附录E.3)。法国、意大利55岁及以上在平衡子集用10%而非5%边际。
有什么可以进一步探索的点?
作者指出五国范围、IW不能代表全部偏好,以及自动评审不完美。
作者指出的局限与后续方向
- 国家与语言:人类调查和Community Alignment都只涉及五个国家与语言。平衡子集按年龄、性别、族群匹配(美国、印度、巴西在5%边际内,法国、意大利在10%边际内),未计入教育与政治倾向(Section F)。
- 维度:IW不能覆盖人类偏好异质性的全部。作者写明不应把本文读成主张用这两轴刻画全部偏好;它主要是在说明现有采集方法连这些宽维度也恢复不了(Section F)。
- 正向结果的范围:作者认为NC改善IW学习这一正向结果相对更弱;理想情况应展示NC能改善许多类型的偏好,而不只是IW。附录里的NC候选集被作者当作部分补充,因为其中常出现不能整齐映射到IW的价值(Section F)。
- 自动评审:第2.2节与第3节依赖自动评审才能做到所需规模。评审在人标数据上准确率高,但仍不完美;作者建议不要过度解读细小差异,例如模型实例之间的差别(Section F)。作者同时写:即便评审没有完美抓住IW,温度采样数据集的局限这一主要结论仍然成立。
- 后续:把第2节的对照流程用到其他偏好维度和提示分布;除提示词以外的语义多样性方法;在线向用户采集偏好时的样本效率(Section F)。
- 数据集上的后续:在真实人类偏好上测试社会选择聚合与分布对齐;多语言在多元对齐中的作用;回答偏好与提问行为的关系;使用场景与偏好异质性相交的价值(Section F)。
实验覆盖范围
- 开放生成评估的模型为图例中的21个,语言为英语、法语、意大利语、葡萄牙语、印地语;温度包括Figure B.3图注的0、0.1、1,以及正文第2.2节所写的0与0.5(Section 2,Figure B.2、B.3)。
- 偏好学习使用PRISM第一轮,训练5463条、测试608条;被调模型为Llama-3.1-8B-Instruct与Llama-3.3-70B-Instruct;方法为prompt-steering、SFT、DPO、GRPO;候选生成为单模型温度1、21模型温度1、单模型NC(Section 3,Table D.1)。
- 评审为GPT-4o。人类研究的准确率按语言和IW维度列在Table B.1;PRISM手标为120对,准确率85.8%与78.3%(Section C.2)。同一评审既标注偏好也计算win rate(Section 3.1)。
- Community Alignment有3,603名标注者、233,319条比较、66%非英语;五国年龄、性别、族群平衡子集N=2,215;2,582条提示至少10名标注者(Table 1,Section 4、E.3)。
- 论文未报告偏好学习实验的独立重复次数,也未报告温度采样与NC采样的查询次数;Figure 3的误差条为standard error of mean。模型评估在温度1下每题重复20次,温度0下每题1次(Section B.3.2)。
总结一下论文的主要内容
作者用负相关采样采集多语言偏好数据,针对温度采样学不到的异构偏好。
- 定位:这篇工作检查偏好数据的候选回答过于同质时,标准对齐方法为什么学不到相互冲突的人类偏好,并给出一种采集方式和一个数据集。
- 问题:作者认为个人化、社会选择和分布对齐都要先有可区分的比较。他们用IW的两个维度做最低检验:这两个方向来自全球价值观调查的主要变异,也与常见政治分野相关。若连它们都学不到,独立温度采样就不够。
- 做法:五国各3000人在60个日常提示上,从手策展的两端、balanced和一条Llama默认回答里选择。21个LLM对同一提示做开放生成,由GPT-4o相对balanced回答打分。负相关采样让一个模型一次写出多条价值观更分散的回答,提示词并不点名IW。学习实验把PRISM第一轮改成三种候选来源,再用prompt-steering、SFT、DPO、GRPO去拟合评审所标的四个方向。
- 结果:作者称温度1的英语模型分数只与41%的人类偏好分数对齐;法语、意大利语、葡萄牙语偏向同一象限但程度较轻,印地语下部分模型转向另一端。Figure 2里,温度采样对traditional、survival的平均覆盖为15%与30%,NC为60%与53%。Table D.1中,8B的SFT+DPO在NC、self-expression上的win rate为0.958;但8B的prompt-steering在survival上NC为0.428,低于21个LLM温度采样的0.494。作者称约70%–90%的微调概括,也盖不住70B、SFT+GRPO、secular-rational的0.546。
- 数据:Community Alignment有233,319条比较、3,603名标注者、66%非英语,2,582条提示至少10人标注,44%带比较级解释。作者称它是迄今最大的开源多语言多轮偏好数据集;Section 4.1另提到OpenAssistant这一以英语和西班牙语为主的多语言集。
- 作者的结论:算法单一文化会让温度采样数据集测不到常见分歧;单模型负相关采样被作者视为更直接、也更可区分的采集方式。作者同时写明,IW只是案例,不主张把模型部署成只服务某一个价值方向,自动评审也不适合用来细读模型之间的小差别。
相关论文
共同使用 PRISM