以数据为中心的 AI 对齐：挑战与未来方向

对齐研究多在设计算法与损失，却低估了用来对齐的反馈数据是否准确、有代表性。

• 场景：作者称，系统能力与社会影响增大后，使行为符合人类价值、偏好与目标成为关键问题（第1节）。人类反馈直接反映偏好与社会标准；AI反馈可以扩大规模，但需要监督。
• 现有不足：作者称，RLHF、DPO等算法中心方法强调优化算法与奖励函数，并假定训练数据已反映真实偏好；该前提因人类判断复杂且失准而常常不成立。数据有缺陷时，算法设计再好也可能对不齐（第1、3节）。
• 观察：作者对Anthropic-HH子集做定性分析，把人类反馈的unreliability分成多类来源，并讨论时间漂移、情境依赖，以及AI反馈受底层模型限制、难以体现人类价值。
• 本文做什么：这是立场论文。作者主张转向数据中心对齐（data-centric alignment），强调反馈的质量与代表性，并在第5节提出改进收集、清洗与核验。

相关研究按第2–3节组织，用来定位数据中心对齐，不是本文跑过的对照实验。

算法与奖励模型

• RLHF：Ouyang et al. (2022)、Bai et al. (2022a)等学习奖励函数，再用强化学习最大化期望奖励；Christiano et al. (2017)、Ziegler et al. (2019)等被归入同一路线。作者称强化学习计算上不划算，因而后续转向直接使用离线偏好的闭式损失。
• 闭式偏好优化：Rafailov et al. (2023)的Direct Preference Optimization，以及Gheshlaghi Azar et al. (2024)、Pal et al. (2024)、Ethayarajh et al. (2024)等改进。论文只列举，未逐篇与本文对比。
• 奖励模型变体：Wang et al. (2024b)的ArmoRM从多维数据学习偏好，并用Mixture-of-Experts选择奖励目标；Zhu et al. (2024)的Starling在7-wise数据集Nectar上用K-wise最大似然。另有工作处理多维奖励、奖励过拟合与偏好微调后的校准（Zhong et al., 2024; Kim et al., 2024; Hadji-Kyriacou and Arandjelovic, 2024）。

多样偏好与个性化

• 公平、安全与个性化：Siththaranjan et al. (2024)、Boldi et al. (2024)、Ramesh et al. (2024)对齐多样偏好；Choi and Li (2024)、Poddar et al. (2024)、Pitis et al. (2024)做个性化。论文只作归类。
• 分布与隐藏情境：Siththaranjan et al. (2024)还被列入处理偏好中隐藏情境的工作。作者未给出与本文的实验差别。

人类反馈的多样性与噪声

• 狭窄对齐：Ryan et al. (2024)、Santurkar et al. (2023)、Lerner et al. (2024)。作者称这些研究指出，按狭窄偏好集合对齐会带来非预期的负面影响，并主张收集多样、有代表性的反馈。
• PRISM：Kirk et al. (2024)收集1,500名参与者、75个国家的偏好。作者转述：社会人口特征会影响对话主题，例如女性与非二元性别者比男性更多讨论LGBTQ+议题，年长者比年轻者更多讨论选举与旅行。
• 标签噪声：Wang et al. (2024a)与Lee et al. (2024b)考察偏好标签中的噪声。作者称噪声从何而来、如何缓解仍under-explored。

AI生成反馈

• 扩大规模：Zheng et al. (2023)、Lee et al. (2024a)的RLAIF、Cui et al. (2024)的UltraFeedback，用奖励模型或已对齐系统生成反馈，以便以较低成本收集大量反馈。
• 弱模型作教师：Tao and Li (2025)。作者转述，弱LLM可以训练到提供与全人工标注相当、甚至超过全人工标注的反馈。作者同时称AI反馈会带入偏差、不一致和模型限制（Li et al., 2024b;c）。
• 评审偏差：作者列举呈现相关（Shi et al., 2024; Zheng et al., 2023）、社会相关（Zhao et al., 2023b）、内容相关（Jiang et al., 2024）、认知相关（Panickssery et al., 2024）偏差，位置偏差（Wang et al., 2024c），以及幻觉（Xu et al., 2024）。

对照与定位：本文没有实验基线。作者用Table 1做概念对照：数据中心对齐关注反馈是否准确反映价值、偏好与目标；算法中心对齐关注奖励模型与优化算法。作者把瓶颈放在“训练数据完善、已反映真实偏好”这一不切实际的假定上。

数据中心对齐把质量与代表性放在训练和评估所用的反馈上：质量指准确、少错误；代表性指覆盖人类价值、行为与偏好的范围，以降低偏差风险。作者按来源分成人类反馈与AI生成反馈，并用一次定性重标具体化人类反馈的失准从哪里来。本文没有提出新的训练算法。

与算法中心路径的划分

• 三组件：作者按RLHF写成人类反馈、奖励模型、策略。算法中心对齐处理后两者。作者称其瓶颈是假定训练阶段的数据完善、反映真实偏好。
• Table 1：数据中心的焦点是用于对齐的反馈，目标是使数据准确反映价值、偏好与目标；列出的挑战包括数据偏差、反馈的reliability、收集的可扩展性、多样性与代表性。算法中心列出的挑战包括reward hacking、不确定性下的robustness、聚合多样偏好与理论限制。
• 两类反馈：人类反馈直接来自用户，用来抓住偏好的主观性。AI反馈用奖励模型或已对齐系统生成，目的是扩大规模、降低收集成本。作者把两类都放进数据中心框架。

定性重标怎么做

• 抽样：从Anthropic-HH的harmless与helpful划分各随机抽80条，共160条（附录A.1）。
• 标签：三名实验室成员重标为chosen更好、rejected更好、both are good、both are bad。多数投票；三人各选不同标签则记uncertain。好坏沿用该数据集对harmlessness与helpfulness的定义，允许主观判断。
• 编码：附录A.2对rejected更好、both are bad与低标注者间一致（IAA）样本做主题分析：先按标注笔记编码，再归成六个主题。子代码在附录，例如可识别的原标签错误、推荐类提示、简洁对详细、有害程度的阈值等。

六类unreliability

• 人为标错：标注者可以论证原rejected优于原chosen。论文举例：用户要其他约会活动，chosen仍停在桌游，rejected给出跳舞、徒步、一起做饭等。
• 高主观且缺上下文：旅行推荐等主观问题常缺少个人信息，两条回复可以走向完全不同的方向。作者引Beck et al. (2024)：主题越主观，标注说明的措辞和选项顺序越可能影响标注者。
• 标准不一致：偏好标准不同，指对helpfulness与harmlessness的侧重不同，例如直接作答或先追问。标准阈值不同，指内容判断接近，但对要紧程度不一致。论文举例：两边都没有效解决如何结识新人，有的标注者仍觉得其中一条措辞稍好。
• 两边都差却被迫二选一：两条都跟着用户指令走，但都给出有害建议；或都无视指令、包含无关或不正确信息。作者称没有both are bad选项时，原标注只能随机二选一，或依赖无关紧要的细节。Table 2给出示例，此处不复述有害内容。作者称六类或与人有关、或与数据有关，但未在表中逐类标注归属。

作者提出的方向

• 收集：整体化数据源与提示；从标注者、提示、回复三方面看多样性。纵向、定时收集，以追踪价值漂移与时间敏感问题。
• 清洗：作者建议由人与奖励模型委员会一起找出与原人类标签不一致的样本，再过滤低一致数据；并主张看整条样本的提示与回复，而不是只增加数据量。
• 核验：为AI反馈保留人类监督；为人类反馈与AI反馈建立可按部署环境调整的核验协议。第5节展开这些方向，本文没有实现对应系统。

作者自己运行的只有对Anthropic-HH子集的定性重标与主题分析，没有训练或评测对齐模型。

实验设置

• 数据：Anthropic-HH的harmless与helpful划分各随机80条，共160条（附录A.1）。论文未写该数据集的总规模。
• 标注者：3名，均为作者实验室成员。作者称其熟悉RLHF、LLM与Anthropic-HH。
• 标签：chosen更好、rejected更好、both are good、both are bad。多数投票；三人标签各不相同则记uncertain。
• 好坏标准：沿用Anthropic-HH，按harmlessness与helpfulness分别理解，允许结合情境与个人经验做主观判断。
• 分析：对rejected更好、both are bad与低IAA样本做主题分析，先编码再归成6类（附录A.2）。
• 指标：标签比例与Fleiss's κ。无实验基线。论文未报告重复次数，也未在本文训练或评测模型。

主结果

结果	数值	出处
rejected is better，与原标签相反	25%	附录A.1
both are bad	25%	附录A.1
uncertain	less than 5%	附录A.1
Fleiss's κ	0.46	附录A.1

• 作者称κ处于moderate agreement。
• 作者称both are bad这一档提示候选回复质量差。
• 作者把加入both are good与both are bad视为可以表达真实意见，而不是在难以取舍时强迫二选一。

低IAA与both are bad的来源构成

Table 3把六类来源在两个切片中的占比并列。正文Source 2亦称high subjectivity and lack of context。

来源（Table 3用语）	低IAA	both are bad
1. Mis-labeling by humans	2%	0%
2. High subjective query	28%	0%
3. Different preference criteria	29%	25%
4. Different thresholds of criteria	37%	0%
5. Harmful suggestions in both responses	0%	39%
6. Misinformation/irrelevant in both responses	4%	36%

• 作者称低IAA的分歧主要来自主观性、不同偏好标准与不同阈值。
• 作者称both are bad主要来自不同偏好标准，以及两边都有有害建议或错误/无关信息；并称这组样本反映回复质量差本身就能带来失准的监督信号，与低IAA的情形不同。
• 作者未解释Table 3两列百分比之和不是100%的原因。论文未报告这两个子集各有多少条。

同一分析中的提示质量

• 测了什么：作者在同一份Anthropic-HH定性分析里查看提示，而不只看偏好标签。
• 结果：作者称看到无效提示，例如寒暄，或让模型猜用户瞳色；多轮对话里偏好只标在最后一轮时，较早的差回复会进入后续提示。论文未给这些提示的条数。
• 作者的解读：作者称提示质量会影响前面识别的第1、2类失准；并转述Kirk et al. (2024)，社会人口特征会改变话题，从而影响收集到的提示是否多样。标注者选择上的偏差可能使系统偏向特定群体与话题。

作者转述、非本文实验

• 弱模型与GPT-4：Tao and Li (2025)。作者转述，弱LLM的反馈可与全人工标注相当甚至超过；两个选项差别细微时，GPT-4在多次试验中的选择大约各占一半。本文未复现。
• 质量相对规模：Li et al. (2024d)仅用原Alpaca的5%即超过全量训练的Alpaca；Lu et al. (2024)在MT-Bench上，6K选出数据超过用50K以上数据训练的模型。作者用来支持优先数据质量，本文未复现，也未报告统计检验。
• 委员会改标：Yeh et al. (2024a)。作者转述，奖励模型委员会与原人类标签不一致时可识别人为错误，清洗后数据上训练的模型优于原始数据上训练的模型。本文未给出该对比的数字。

其他消融与分析

• 论文未报告消融、超参数扫描或重复实验。
• 时间漂移与情境依赖在第4.1节作为挑战讨论，本文没有对应的纵向测量。
• 负面对照：Table 3中，人为标错在低IAA为2%、在both are bad为0%；两边都有有害建议在低IAA为0%。作者没有把失准主要归因于简单标错。

作者指出的局限与后续方向

论文没有单独的Limitations节，也没有把这次重标的样本量或标注者构成写成局限。明确写出的后续方向如下。

• 整体化收集（第5.1节Direction 1）：作者提出要覆盖不同人口、文化与环境，并从标注者、提示、回复三方面评估偏好数据的多样性。标注者标准包括age、gender、ethnicity、country、religion、education、politology、income。
• 纵向偏好（第5.1节Direction 2）：作者称追踪价值随时间的变化既难又费资源，建议先看历史变化，再按间隔收集，并覆盖政治、法律、技术等时间敏感问题。
• 核验收集协议（第5.1节Direction 3）：作者称反馈形式、选项种类和界面仍under-explored，呼吁做更完整的分析；并称both are good与both are bad有助于表达真实意见，而不是强迫选择。
• 人机协同清洗（第5.2节Direction 4）：作者提出由标注者与奖励模型委员会一起找出、改正不可靠样本，以降低第4.1节中的人为错误。
• 质量优先于规模，以及AI反馈的监督与标准化核验（第5.2–5.3节Direction 5–7）：作者主张清洗时同时去掉不合格提示与回复；为AI反馈加入人类监督；建立可按部署环境调整的反馈核验协议。
• 来源是否普遍、能否自动检测（第4.1节；结论第6节再次呼吁）：作者称需要更广的研究，判断这些unreliability因素是普遍存在还是特定于某类数据；自动检测与分类，以及按来源分别缓解，仍然是挑战。结论称理解和改进数据中心对齐仍有缺口。

实验覆盖范围

• 附录A：自Anthropic-HH的harmless、helpful划分各随机抽80条，共160条，由3名实验室成员重标。
• 附录A.2：主题分析对象为rejected is better、both are bad与低IAA样本，编码后归为6个主题；Table 2给每类一个示例。
• 附录A.1与Table 3报告标签比例、Fleiss's κ和来源占比；论文未报告低IAA子集与both are bad子集的条数，也未报告重复次数。
• 第5.2节关于Alpaca 5%、MT-Bench上6K与50K以上、以及清洗后模型优于原始数据的说法，均为转述他人工作；本文未训练对齐模型。
• 第5.1节列出的标注者、提示、回复多样性标准是建议；本文未按这些标准采集新数据集，也未测量偏好随时间的变化。

立场论文，主张对齐不能只改算法与损失，还要处理反馈数据的质量与代表性。

• 问题：以RLHF的奖励模型与策略为代表的算法中心方法，假定训练反馈已经反映真实偏好。作者认为这一假定不成立：人类判断复杂且失准，静态数据还会在规范与情境变化后过时；AI反馈则受训练数据与模型限制。
• 框架：Table 1把数据中心对齐的焦点放在反馈数据，把算法中心对齐的焦点放在奖励模型与优化算法。反馈分成人类提供与模型生成两类。
• 分析：从Anthropic-HH的harmless与helpful划分各抽80条，共160条，由三名实验室成员按四类标签重标，再对分歧和两边都差的样本做主题分析，得到六类unreliability。没有both are bad选项时，原标注可能被迫二选一。
• 数字：附录A.1中，25%被标为rejected更好、与原标签相反，另25%为both are bad，uncertain为less than 5%，Fleiss's κ为0.46，作者称属moderate agreement。Table 3里，低IAA占比最高的是不同标准阈值（37%）；both are bad中，双方皆有有害建议为39%，双方皆有错误或无关信息为36%。
• 作者的结论：作者提出改进收集、做数据清洗，并建立反馈核验，使反馈覆盖多样的价值、偏好与目标，同时减少失准。作者还认为，反馈标签形式的改变会进一步影响奖励建模与对齐算法，数据路径与算法路径需要配合。