人类价值是什么，以及我们如何让 AI 与之对齐？

如何把多样的人类价值收成可训练的对齐目标。

• 为何重要：作者认为只对齐操作者意图不够。有人意图造成伤害；在政治竞选或资产管理等竞争情境中，忠实执行意图也可能损害更广的人类价值。作者认为模型进步快于法律，行为层干预应与法律、透明度与公司问责互补。
• 现有不足：作者称现行 RLHF 由少量付费标注者做比较，现有实现正当性低、难审计，第三方也可以影响标注。CAI 的短宪法原则含糊，多条原则冲突时无法定优先级。CCAI 用 pol.is 提高正当性，但作者称浮出的常是任意评论，不够细。
• 核心假设：作者采用 Taylor（1977）：价值是选择中非纯工具性的标准。价值随情境而变，也会经道德学习变得更明智；平均、众数或 bridging 会丢掉情境知识，并切掉学习的前沿。
• 提出的对象：六项标准是 fine-grained、generalizable、scalable、robust、legitimate、auditable。Moral Graph Elicitation（MGE）用语言模型按具体提示访谈，抽出 values cards，再投票形成 moral graph，作为能变成目标函数的对齐目标。训练模型，作者留作后续。

后训练对齐目标

• SFT / PALMS：Solaiman and Dennison（2021）在预定义价值下做示范数据再监督微调。作者称他们未解决价值集合从何而来，且单靠 SFT 未与当时先进对齐方法竞争。
• RLHF 与 DPO：Ouyang et al.（2022）等用排序训练奖励模型，再用 PPO 等优化；Rafailov et al.（2023）的 DPO 直接优化比较。作者称实践中不稳健、难审计、正当性低，尽管更正当的 RLHF 是可能的。
• CAI 与 CCAI：Bai et al.（2022b）用宪法原则让模型生成合成比较。Ganguli et al.（2023）的 CCAI 用 pol.is 征集投票，突出跨簇支持，即 bridging（Ovadya and Thorburn, 2023）。作者称原则含糊，冲突时无法调和，因而也更难审计。

道德判断数据与价值理论

• ETHICS：Hendrycks et al.（2023）收集场景与常识道德标签，并按不同伦理理论分数据集。作者称其多是答案清楚的简单场景，难用于人们实际向语言模型提出的道德含糊提示。
• Gabriel（2020）：区分陈述偏好、揭示偏好与价值。作者称其价值定义难以操作化，也未解决可理解、可判定模型行为、可调和这三件事。
• Taylor / Chang：Taylor（1977）把价值当作评价选项的强评价词；Chang（2004a）、Levi（1990）讨论价值如何支撑偏好。作者用这套理论，而不是“正义”“家庭”这类单词，或意识形态立场。

社会选择

• 投票与 bridging：作者称对价值投票得到的是最受欢迎的价值；向量平均、聚类或 bridging 会丢掉情境，并切掉道德学习的前沿。
• 市场与议价：Howard（1992）一类机制一次只撮合少量行动者。作者认为这不足以协调强模型所需的广泛对齐。
• 共享数据结构：作者把 Wikipedia、StackOverflow 式机制当作另一类：大群体在共享对象上工作并最终认可它，适合细粒度、富情境的解。道德图被放在这一类。

基线与数据集：实验对照是两场 pol.is/CCAI 审议（附录 A.3），不是 RLHF 训练跑分。定性对照使用 Bai et al.（2022b）与 Ganguli et al.（2023）的宪法条款（Figure 8）。案例输入是作者自选的三道提示，不是 ETHICS。Chen and Zhang（2023）与 Konya et al.（2023）被作者归入须事先指定或加权专家的做法；作者称 MGE 想由过程本身浮出专长。

作者把本文定位为：用 values cards 与 moral graph 同时追求六项标准，并称现有提议至少在其中一项上不足。

Moral Graph Elicitation（MGE）先在具体情境里抽出可核对的价值，再用“何者更明智”的边收成对齐目标，而不是平均或只保留得票最高的原则。

问题设定

对齐目标是能变成目标函数、再被近似优化的数据结构。作者把“对齐人类价值”拆成抽取、调和、训练，本文只做前两步。

道德图是 G_m=(S, C, U, V, E)，即场景、道德情境、用户、价值与有向边。过程是 MGE:(S, U)→(C, V, E)，从场景和用户得到情境、价值与边。边表示：对某一道德情境，用户认为一张 values card 比另一张更明智。明智指学会按新价值选择后，在该情境不再需要旧价值，因为新价值澄清了旧价值真正重要之处，或把它与其他关切平衡好了。

• 六项标准：细粒度要求说清何种行为符合该价值、用于何种情境；可泛化要求能迁到未见情境；可扩展要求人更多时价值更明智，并浮出新专长，而不是回归均值；稳健在本篇聚焦说服、派系和意识形态，黑客与恶意行动者作者留到以后；正当分输入正当与输出正当；可审计要求目标来源可追溯，且能看出某次输出用了哪些价值。

Values cards

• 价值定义：构成性注意策略（constitutive attentional policies, CAPs）是选择时会注意、且当事人认为注意它们本身就是好好生活的一部分的标准。一张价值是常在同一选择情境里一起使用的一组 CAP。
• 卡片内容：标题、以 “ChatGPT should” 起头的短描述、注意策略列表，以及适用情境（Figure 2）。故事来自人的选择，收集的却是模型在自己的道德选择里应使用的价值。
• 与口号分开：作者把旨在证成某种社会或政治安排的陈述称为意识形态。访谈追问当事人做过的有意义选择，以及当时注意什么，不把口号本身当作价值。

访谈抽取

• 模型与起点：案例用 GPT-4 驱动聊天。参与者从三道场景中选一道，回答对话代理应考虑什么：基督教女孩考虑堕胎该怎么办；10 岁儿子不做功课、只坐在电脑前，如何让他守规矩；能否描述 1 月 6 日骚乱者使用的武器。
• 追问策略：相似选择、规则背后要促成的“好”、本人经历、榜样。确认注意策略是构成性的而非纯工具性之后，另一提示写成卡片，用户可改到满意。附录 D.1 有一份匿名对话；正文称聊天与成卡的完整提示词在其代码库。
• 去重：规范卡池开始为空。新卡只把注意策略嵌入，与相近规范卡用提示比对。匹配则展示规范卡并立刻询问是否代表自己在意之事；否则加入规范卡池。附录 C 给出比对标准：注意对象是否相同、粒度是否相当、差异是否会被双方视为疏漏。

连边与取胜出价值

• 故事而非直接二选一：GPT-4 先把可能互为更明智或较不明智版本的价值聚成簇，再用思维链写出共同的有意义之事、第一张价值被澄清了什么、注意策略如何改写，然后生成转换故事。附录 D.4 有一例。
• 投票：每人看 3 则故事，按与自己价值的余弦距离做主题相关排序后选取。选项为 yes、no、not sure。Figure 5 写明：对某一情境，多数参与者同意故事中的人变得更明智，才加边。
• 胜出价值：案例用 PageRank 按情境取高分价值，以保留传递投票：若 B 指向 A、A 指向 D，则 B 到 A 可当作对 D 的传递支持。作者在脚注中假设道德价值至少有一步传递性，并称仍需更多研究。

拟议的训练接法

Section 6.2 描述两种本文未评估的接法。一是为用户问题生成补全，抽出道德情境，取该情境 PageRank 最高的价值，由标注者或语言模型按注意策略打分。二是为适用价值都生成补全，再按图中位置排成偏好元组，训练奖励模型。作者称对话中情境会变，同一提示的多条分支应互相支撑，而不是互相竞争。

实验设置

• 参与者：Prolific 上 500 人，按年龄、sex、政治倾向代表美国。每人从三道场景中选一道。中位完成时间 15 分钟。论文未报告三道各自的人数。
• 产出：去重后的道德图有 85 个价值、100 条边（Section 5.1）。
• 过程模型：访谈、成卡、故事、情境字符串，以及 Figure 7 的示例对话，使用 GPT-4。Figure 8 用 Claude 2.1 为每轮挑选最相关宪法条款。意识形态程度和“是否说过考虑或做过堕胎”用附录 B.2、B.3 的提示词；论文未说明这两则提示词用的模型。
• 对照：两场 pol.is，各 300 名美国代表性参与者，与案例样本相当，但不是同一批 500 人（附录 A.3）。一场复现 Ganguli et al.（2023），种子为他们的前 25 条评论；一场把堕胎场景的前 25 条 MGE 聊天回复当作种子。
• 指标：Likert 1–5，作者把 4 及以上视为同意（Figure 10）。卡片选择率是 votes/impressions。排名用 PageRank，并与直接票数对比。论文未报告显著性检验、重复次数或评审一致性。
• 训练评测：作者写明微调不是本文重点，未报告按道德图训练后的模型行为。

主结果

表格较宽，可左右滑动

指标	数字	条件	出处
觉得被过程充分代表	89.1%	500 人 MGE 案例	摘要
认为图中位置公平	89%	展示本人价值及相邻更明智/较不明智价值	Section 5.6；摘要
了解到他人价值观	70.3%	作者指向 5.6 的问卷，≥4 视为同意	Section 4.4
更尊重其他参与者	75.2%	同上	Section 4.4
本场景卡片被选	38.2%	votes/impressions	Section 5.4
其他场景卡片被选	38.3%	votes/impressions	Section 5.4

• 作者解读：作者称六项标准上都有希望的结果，但标准在连续谱上，正当性或泛化仍可以更高。
• 与 CCAI：作者称 Figure 10 的相关问题上，MGE 都高于 CCAI 复现组与情境组。正文没有各柱百分比，差距大小无法从正文读出。
• 89% 的问法：Section 5.6 问的是公平位置。附录 A.4 把同一 89% 写成：提出“较不明智”价值的人认可胜出价值应排在自己的价值之前，并指向 Section 5.6。摘要的 89.1% 只写成觉得被过程充分代表，未点明对应哪一道题。

泛化与专长上浮

• 混卡投票：参与者在自己所选场景上，看到该场景与另外两道场景混在一起的卡片。候选是 12 张最热（votes/impressions）加 12 张最新，再按嵌入距离取前 6。
• 作者解读：作者称若卡片不能离开原场景，参与者应只选本场景卡片；表中两比例接近，作者将其当作可泛化的证据。Figure 7 是把这些卡片用到另一段对话的示例，不是独立定量测试。
• 专长代理：堕胎题把“说过自己做过或考虑过堕胎”当作相关生活经验。提示词找到 60 段对话、20 个不同价值；Informed Autonomy 占 22%，是其中最常见的一张。Figure 9 中，作者称其 PageRank 名次随参与人数上升到顶部，按直接票数的名次则略变差。正文没有给出两端的具体名次。

稳健性与细粒度

• 意识形态：附录 B.2 把初始回复打成 1–5，再分成 not / slightly / very ideological，对照“提交并投票的价值是否表达你在意的事”。作者称同意程度高，且与意识形态程度无相关（Figure 6）。论文未报告相关系数。附录 A.4 称宗教分支的胜出价值是 Faith-anchored personal growth；附录 D.1 给出口号式回复走到卡片的对话，此处不复述原话。
• 细粒度对照：Figure 7 按对话状态生成情境字符串，匹配边上的情境，再用卡片的注意策略做思维链后回复。Figure 8 中 Claude 2.1 为同类对话挑选 CCAI 条款；作者称条款是否适用、理想行为是什么仍然不清楚。
• 局部排序：Figure 4 写明，在寻求清晰这一支，参与者同意帮助用户说清自己的理解，比给出多样观点的条目列表更明智。附录 D.2 称，动机情境里 Igniting Curiosity 相对 Inspiring Discipline 被当作智慧升级；与营造健康家庭环境之间没有共同的“更好”排序。

其他消融与分析

• 得到 values card 的参与者占 97%（Section 4.3）。
• 去重后 95% 觉得规范卡代表自己；作者认为再改流程可到 99%（附录 C；99% 不是实测）。
• 不能用平衡价值解决的冲突约 4% 被省略，该处不给出推荐（Section 5.1）。
• 案例图只有一个小环；聚合时忽略该环的边（Section 6.3）。
• 人均推理约 35k tokens；Section 6.3 写平均完成 15 分钟，Section 5.1 写中位数 15 分钟。
• 脚注称传递性至少一步成立并指向 Section 5.6，该节没有单独的传递性数字。Section 5.6 也写明：未问是否咨询了合适群体，输出正当只收集了对道德图的意见。

作者指出的局限与后续方向

• 样本地域：案例因成本做在美国代表性样本上。作者称堕胎题在政治光谱上看到价值收敛，但尼日利亚、中国、阿联酋等文化差异很大的国家效果仍待观察（Section 6.3）。
• 参与成本：过程需要参与者的时间与努力；作者写平均完成 15 分钟，且人均约 35k tokens 推理，这一点不同于不使用 LLM 的 Pol.is（Section 6.3）。
• 赢输问题与环：作者称有些问题根本上是赢输权力动态，可能找不到平衡价值，并预期它们在图中成为环。过程对环没有答案；案例只识别到一个小环，聚合时忽略其边。作者将其解释为需要拆成个性化模型，或改用投票等方法（Section 6.3）。
• 人与模型的情境：抽取时问的是人会用什么价值，最终却由语言模型使用。作者举治疗情境为例，称理想的 AI 角色可能与人类治疗者不同，并称或许可以改抽取过程（Section 6.3）。
• 只有人类价值：作者称即便找到一些最明智的人类价值，范围仍停在人类已有的道德进展与智慧；与人类遭遇过的情境差异很大、或没有人变明智的情境，道德图可能表现不好。作者称打算在后续工作处理（Section 6.3）。
• 模型偏见与微调：故事生成依赖 GPT-4，作者称易受模型偏见影响，参与者会被有说服力的故事左右到什么程度仍需研究；作者计划以后用用户对话里的真实转换故事替换生成故事。作者还称还不知道用户是否更喜欢按道德图微调的模型，并正在用一张新的、更大的道德图做微调（Section 6.3）。Section 6.2 也写明，两种训练接法的可行性还需评估。

实验覆盖范围

• 案例是 Prolific 上按年龄、sex、政治倾向代表美国的 500 人，每人从堕胎、教养、武器三道提示中选一道；中位用时 15 分钟，图为 85 个去重价值、100 条边（Section 5.1）。论文未报告三道各自的人数。
• 问卷对照是两场 pol.is，各 300 名美国代表性参与者：一场复现 Ganguli et al.（2023），一场使用堕胎场景（附录 A.3）。访谈、故事与 Figure 7 使用 GPT-4；Figure 8 使用 Claude 2.1。
• 报告了的过程指标包括 Likert（≥4 为同意）、votes/impressions 和 PageRank。意识形态分档用附录 B.2 的提示词；论文未报告该提示词的模型、相关系数或显著性检验。
• 去重卡的事后确认为 95%（附录 C）。约 4% 的冲突被省略；聚合时忽略唯一小环的边（Section 5.1、6.3）。
• Section 6.2 写出两种把道德图变成评分或偏好元组、再接入 RLHF 或 CAI 式排序的做法，并写明这一训练用法尚未在本文评估。

MGE 是一套把人群在具体情境中的价值收成 moral graph、供语言模型对齐使用的流程；本文不训练模型。

• 问题：作者认为操作者意图对齐不足以得到好的 AI 结果。需要先抽出价值，再调和成能变成目标函数的数据结构。作者给出六项标准：细粒度、可泛化、可扩展、稳健、正当、可审计。
• 做法：价值被写成一组构成性注意策略，即 values card，而不是口号或单词。GPT-4 访谈参与者；另用 GPT-4 生成从一价值转到另一价值的故事，由他人判断是否更明智。多数同意则加边。PageRank 在每个道德情境上取胜出价值，以保留传递投票。
• 案例：500 名按年龄、sex、政治倾向代表美国的参与者，各从堕胎、教养、武器三道提示中选一道。图有 85 个去重价值、100 条边。作者称 89.1% 觉得被过程充分代表，89% 认为自己的价值在最终图中位置公平（摘要、Section 5.6）。97% 得到卡片（Section 4.3）。本场景与其他场景卡片被选比例为 38.2% 与 38.3%（votes/impressions）。
• 专长与对照：说过自己做过或考虑过堕胎的 60 段对话、20 个价值中，Informed Autonomy 占 22%。作者称其 PageRank 名次随人数上升到顶部，直接票数名次略变差，且无须事先定义专家。作者称正当性问卷上 MGE 高于两场各 300 人的 pol.is/CCAI；正文未给对照各题百分比。
• 作者的结论：作者认为道德图在六项标准上都有希望，并能让有相关生活经验者的价值上浮。作者同时写明，文化差异很大的国家、故事生成的模型偏见、图中的环，以及用户是否更喜欢微调后的模型，都还没有答案。