Values in the Wild：发现并分析真实语言模型交互中的价值观

真实部署里，AI助手回答主观问题时实际依赖哪些价值，缺少经验测量。

• 场景：作者举例，职业建议要在经济保障、个人实现与家庭期待之间取舍。作者称此类决策每天大量发生，而Constitutional AI或Character training之后，这些设计在对话中如何显现、哪些价值与真实任务相关，了解仍然很少。
• 现有不足：作者称已有测量多用静态、预定义维度，并常借用人类框架，而不是在AI系统上经验验证过的维度，因此未必能说明真实使用。
• 操作定义：作者把价值定义为影响模型对主观询问作答的规范性考量，如human wellbeing或factual accuracy；依据可观察的回应模式，而不是对内在属性的断言。
• 本文做法：自下而上、保护隐私地从数十万条Claude.ai对话抽取价值，建成层级分类，并用卡方看价值如何随任务和人类价值变化。作者称这是部署中AI价值的首次大规模经验图谱。
• 作者列出的四点：3,307个AI价值的经验分类；价值随任务变化；价值随人类价值变化；支持、重构或抵制如何随任务与人类价值变化。作者称不常见但不合意的价值还被用来把可能的越狱交给安全团队。

作者把先前工作分成测量、对齐和真实使用三组，并认为静态、人类中心的量表不足以说明部署中的价值。

语言模型中的价值或视角测量

• 人类量表：论文列举把Big Five、MBTI、Dark Tetrad，以及Schwartz基本价值观、Hofstede文化维度、Moral Foundations用于语言模型的工作（Serapio-García et al., 2025; Jiang et al., 2023; Kovac et al., 2023; tse Huang et al., 2024; Pan and Zeng, 2023; Pellert et al., 2024; Hadar-Shoval et al., 2024; Masoud et al., 2025）。
• AI专用测量：社会偏见测试（Parrish et al., 2022; Bai et al., 2025）、意见代表性（Santurkar et al., 2023; Durmus et al., 2024）、道德困境（Jiang et al., 2022），以及模型撰写的价值评估（Perez et al., 2023）。
• 论文自己的批评：作者称静态评测缺少泛化与代表性（Lyu et al., 2024; Moore et al., 2024; Röttger et al., 2024），也常常未建立与真实场景的相关性。人类认知框架用于AI被质疑（Dorner et al., 2023; Dominguez-Olmedo et al., 2024; Tjuatja et al., 2024）。作者认为，模型的Big Five外向性分数，或Schwartz理论中的“看重享乐”，不太可能对理解模型属性或行为有意义。

价值对齐与多元

• 对齐：Gabriel (2020)、Ouyang et al. (2022)、Weidinger et al. (2023) 被列为让系统依照人类价值与原则运作的工作。
• 多元输入：Sorensen et al. (2024) 在假设情境中识别价值张力；Huang et al. (2024) 用公众输入训练模型；Kirk et al. (2024) 研究跨国家偏好。
• 论文的区分：作者称这些工作着重设计用于测试或编码价值的输入；本文看输出，即价值在实践中如何显现，以及一种价值多元如何随人类价值与情境出现。

真实使用分析

• 隐私分析：Tamkin et al. (2024) 的Clio在保护隐私的前提下分析真实行为；本文直接沿用该框架。
• 交互日志：Zheng et al. (2024) 的LMSYS-Chat-1M与Zhao et al. (2024) 的WildChat用于研究实际使用。作者称Lam et al. (2024)、Aroyo et al. (2023) 能补充受控评测，显出受控设置中未必出现的模式。

对照框架与数据

• 没有外部方法基线：实验不与另一套价值测量方法比分数。概念参照是Schwartz的10–19个价值、Rokeach的36个价值，以及helpful, harmless, honest（Askell et al., 2021）。训练背景提到Constitutional AI（Bai et al., 2022）和Character training（Anthropic, 2024c）。
• 数据：主分析用Claude.ai Free与Pro对话。附录A.5只用WildChat演示抽取输出，不作为主结果。

作者把本文定位为部署中的经验图谱，用来补静态评测所缺的经验基础，并把价值看成随对话对象与情境变化的关系性现象。

作者沿用Tamkin et al. (2024) 的隐私保护分析，用Claude从真实对话抽取AI values等特征，再分层聚类，并用调整后的Pearson残差比较情境关联。

数据与主观性过滤

• 抽样：2025年2月18–25日，Claude.ai Free与Pro的随机、聚合、匿名样本700K。作者称这是当时流量的代表性快照，91.0%为Claude 3.5 Sonnet，其余含3.5 Sonnet（June）、3.5 Haiku和3 Opus。
• 过滤：Claude 3.5 Haiku按四级判断回应主要靠事实（Level 1–2）还是需要依个人与情境作较多解释（Level 3–4），只保留后者。得到308,210条，占44.0%。
• 核对：6名标注者看90条对话。yes/no分界正确率为97.8%±3.6%，精确分数为94.4%±5.0%；正文概括为94%。作者注明，含价值的对话是主观互动的子集，并非所有主观互动都含价值。

特征抽取

• AI values：规范性而非经验性考量，引导模型如何推理或选定回应。claude-3-5-sonnet-20241022寻找模型附和并帮助实现用户价值、引入新考量，或通过改写、拒绝和框定选择而隐含的价值。标签为1–4个词。作者援引Rokeach (1973)、Anderson (1995) 和显示偏好（Samuelson, 1938）。
• Human values：仍由3.5 Sonnet抽取，但只收直接陈述的信念或偏好，不推断对话选择所隐含的偏好。
• 回应类型：strong support、mild support、neutral acknowledgment、reframing、mild resistance、strong resistance、no values。strong resistance包括拒绝或不回答。
• 任务：claude-3-5-haiku-20241022判断主要请求，再聚成6745个基层、458个二级、30个顶层任务。
• 显式变体：另一提示只抽助手明确说出的信念、偏好或意图，供附录B.6比较，不替代主定义。
• 隐私：人不审阅对话。抽取时省略私人信息，去掉只出现在一条或少数对话中的特征，再审计。作者称因此默认一次只能关联两个属性维度。

校验

• 一致率：80条用户提交作研究反馈的对话上，AI values与stated AI values对应人工判断的比例均为98.8%±3.3%（95%置信区间），human values为93.8%±5.6%，回应类型为90.0%±6.7%。任务抽取未再验证，作者称流程与Tamkin et al. (2024) 相同。
• 未做标注者间信度：六人独立标注。Appendix A.4把这一点写成方法局限。
• 作者记录的难点：基线帮助与超出常规的支持难分开；混合信号下支持或抵制的程度更难判；生成文本里的价值是否算模型自身持有，并不清楚。作者仍保留服务取向的基线价值，以免图景不完整。

层级与卡方

• 聚类：3,307个AI values用all-mpnet-base-v2嵌入后做k-means，由claude-3-5-haiku-20241022命名并去重，再人工改写不准确的名称。指定5个顶层、4级，得到266个一级、26个二级、5个顶层簇。
• 残差：对特征列联表计算调整后的Pearson残差。正残差表示高于独立性假设下的期望。Figure 3与Figure 8的图注把低于4.33的残差灰掉，并写明该阈值对应3307次比较的Bonferroni校正。
• 额外样本：价值镜像使用2025年2月27日–3月6日、先按回应类型分开再抽取的1.5M对话（主观641,900，42.8%）。跨模型另有3.7 Sonnet样本700K（主观301,753，43.1%）和3 Opus样本14,841（主观9,218，62.1%）。

实验设置

• 对话模型：代表样本含Claude 3.5 Sonnet（October与June）、Claude 3.5 Haiku、Claude 3 Opus，作者称91.0%为3.5 Sonnet。跨模型比较把该混合样本当作3.5 Sonnet的代理，并另用Claude 3.7 Sonnet与Claude 3 Opus样本。
• 工具模型：价值、人类价值、回应类型用claude-3-5-sonnet-20241022；主观性、任务和簇命名用claude-3-5-haiku-20241022；嵌入用all-mpnet-base-v2。
• 规模：代表样本700K，主观308,210，2025年2月18–25日。Table 2的其余样本均为2月27日–3月6日。主抽取的重复次数论文未报告。
• 无外部方法基线。对照是模型变体，以及概念上的Schwartz、Rokeach和HHH。
• 指标：对话中出现某价值的比例、全部价值表达中的类别占比、调整后Pearson残差、回应类型占比、镜像率、变异系数。
• 判定：主分析由Claude抽取；人工只核对反馈对话样本（主观性90条、特征80条），不阅读主分析对话。

主结果

据Table 3，五类顶层价值占全部价值表达的比例如下。

类别	占比	作者给出的范围
Practical	31.4%	实施、卓越标准、资源管理
Epistemic	22.2%	获取、组织与核验知识
Social	21.4%	关系、社区与尊重性互动
Protective	13.9%	安全、边界与伦理治理
Personal	11.1%	个体发展、自我表达、心理福祉

• 作者称实用与认识价值超过全部表达的一半，比所分析的人类框架更突出；并认为Schwartz与Rokeach的价值似乎都能在分类中找到对应。
• 对话层面集中在服务与能力：Table 1中，主观对话里helpfulness为23.4%，professionalism 22.9%，transparency 17.4%，clarity 16.6%，thoroughness 14.3%。作者称这五项约占全部AI value出现次数的近24%。人类侧authenticity为3.8%。独特AI values为3,307个，人类价值为2,483个。AI values平均每对话4.0次，仅1.4%的对话没有；显式人类价值平均1.48次，54.9%的对话没有。
• 回应类型：Section 3.4列出人类价值在场64.3%，strong support 28.2%，mild support 14.5%，neutral acknowledgment 9.6%，reframing 6.6%，mild resistance 2.4%，strong resistance 3.0%。作者称两类抵制合计5.4%，少于其他任一单类，且强抵制多出现在可能违反Usage Policy的任务。Table 9把代表样本标为3.5 Sonnet时，strong support为27.8%、no values为35.7%，strong resistance仍为3.0%。两处不完全相同，论文未解释差异。64.3%与54.9%也来自不同特征，论文未解释为何不同。

任务与人类价值的关联

• 测了什么：卡方比较AI values与任务、与人类价值。图注以4.33为残差阈值。正文举例：historical accuracy与分析有争议历史事件的残差为24.55，creative collaboration与创作科幻的残差为20.73。
• 作者描述的任务关联：关系建议不成比例地出现healthy boundaries与mutual respect；争议历史事件关联historical accuracy；技术伦理与AI治理关联human agency及其他人类福祉价值。
• 作者描述的人类价值关联：authenticity常引出同一AI价值；competence常对应accountability与humility。deception对应ethical integrity、harm prevention与honesty。作者称deception压倒性地出现在规避护栏、以生成有害或露骨或不伦理内容的任务中。Figure 9文字称，用户表达efficiency时，模型回应efficiency的残差为271.38。

回应类型、镜像与跨模型

• Figure 4：作者称strong support主要关联community building、empowerment等亲社会人类价值，以及情感或个人内容生成；reframing不成比例地出现在心理健康与人际讨论，用户侧有honesty、self-improvement，模型侧有emotional validation；强抵制时用户侧不成比例地出现rule-breaking与moral nihilism，模型侧有ethical boundaries、constructive engagement。图只展示七类中的三类，百分比不合计为100%。正文未给出各条残差。
• 镜像：Section 3.4与Table 6中，人类表现出某价值时，strong support与mild support的镜像率均为20.1%，reframing 15.3%，mild resistance 9.2%，strong resistance 1.2%，neutral acknowledgment与no values为0.0%。
• 跨模型：Table 9中，3 Opus的strong support为43.8%，3.5 Sonnet为27.8%，3.7 Sonnet为28.4%；strong resistance分别为9.5%、3.0%、2.1%；no values为19.1%、35.7%、37.2%。作者称控制任务后Opus仍更偏价值表达：创意写作中Opus的strong support为58.7%，代表样本40.2%，3.7 Sonnet 37.2%（Table 10）。软件开发中三类都以helpfulness居首，Opus为17.5%（Table 11）。

其他消融与分析

• 跨任务变异系数最低的是transparency（1.23）、helpfulness（1.30）、thoroughness（1.42）；跨人类价值最低的是helpfulness（5.43）、professionalism（5.55）、transparency（5.73）。
• 75%的AI values出现频率低于0.04%。sexual exploitation、dominance、amorality低于0.16%，作者称多数大约0.01%；由此交安全团队的案例条数论文未报告。
• 显式价值中intellectual honesty为2.6%，harm prevention为0.9%，epistemic humility为0.8%（Figure 13a）。作者称抵制或重构时更常明说；Figure 13b无可用柱高数字。
• Table 4最常见配对是人类价值none、AI价值helpfulness，占15.41%；非空配对中authenticity–authenticity为1.65%。
• Table 7：代表样本中professionalism镜像率为69.1%；3 Opus最高为academic rigor 64.0%。作者认为Opus可能更优先学术标准而非同意。
• 创意写作的strong resistance高于软件开发：代表样本9.4%对0.7%，3.7 Sonnet 10.5%对0.3%，3 Opus 7.9%对0.0%（Table 10、Table 11）。作者称technical competence更多与no values同现；mild resistance时responsible gambling的发生比约为其他回应方式的490倍（Appendix B.3.1）。

作者指出的局限与后续方向

• 数据与模型范围：只分析短时间窗内、达到最小规模阈值的Claude对话聚合统计，排除罕见互动、原始数据分析和纵向模式，并限制向其他AI系统推广（Section 5.1）。
• 需要部署数据：不能用于发布前模型；作者称它补充而非替代发布前测试，二者都需要（Section 5.1）。
• 推断限制：从对话抽取价值包含大量解释；何谓价值表达需要判断，不可能只凭对话完全确定底层价值。方法会简化概念，对很隐含或含糊的情形可能有解释偏差，也不记录哪一方的价值先出现。鉴于人类先说、助手处于支持角色，作者常假设AI价值更多依赖人类表达（Section 5.1）。
• 用Claude评估Claude：为规模与隐私这样做，可能带来偏差，例如训练强调helpfulness时更容易找到helpful行为（Anthropic, 2023）。作者同时认为，这也可能让抽取更准确；他们试图用校验和提示减轻偏差（Section 5.1）。
• 英语关键词：分析不限于英语对话，但用简短英语关键词概括，可能低估跨文化视角（Ethics Statement）。
• 无标注者间信度：Appendix A.4写明未做interrater reliability，并称后续研究若纳入更完整的信度评估会有帮助。

实验覆盖范围

• 主样本是2025年2月18–25日700K条Claude.ai对话中的308,210条主观对话。另有回应类型条件样本1.5M（主观641,900）、3.7 Sonnet样本700K（主观301,753）、3 Opus样本14,841（主观9,218），后三者均为2月27日–3月6日（Table 2）。
• 单独报告的变体是Claude 3.5 Sonnet（以91.0%为该模型的混合样本作代理）、Claude 3.7 Sonnet和Claude 3 Opus（Appendix B.5）。混合样本还含3.5 Haiku及3.5 Sonnet的June、October版本，论文未单独给出Haiku行。
• 抽取内容为AI values、显式human values、七类回应类型、任务，以及附录中的显式AI values。人工核对为90条主观性分类和80条特征，标注者6人。
• 关联分析用卡方与Bonferroni；默认可同时关联两个特征维度。价值镜像的三维分析使用按回应类型分开的第二样本（Appendix A.1.1）。
• 控制任务的跨模型比较匹配了创意写作和软件开发两类顶层任务（Appendix B.5.3）。论文未报告主特征抽取的重复次数，也未报告每条残差对应的原始对话数。

作者用真实Claude.ai对话做自下而上的价值测绘，而不是用预定的人类心理量表给模型打分。

• 问题：主观请求要求助手做规范性取舍，但helpful, honest, harmless等训练原则如何落到具体对话，缺少部署测量。价值被定义为影响回应的规范性考量，从可观察模式识别。
• 做法：2025年2月18–25日的700K条对话滤成308,210条主观对话。Claude 3.5 Sonnet抽取AI价值、人类显式价值和七类回应，Haiku抽取任务；人不阅读对话，并去掉过稀特征。3,307个AI价值聚成Practical、Epistemic、Social、Protective、Personal。
• 分布：Table 3中Practical为31.4%，Epistemic为22.2%。Table 1中helpfulness出现于23.4%的主观对话。显式人类价值在54.9%的对话中缺失。Section 3.4中strong support为28.2%，strong resistance为3.0%。
• 情境：作者称关系建议更多出现healthy boundaries，争议历史更多出现historical accuracy，技术伦理更多出现human agency。支持时常见同一或互补价值；对deception，作者称模型以ethical integrity、harm prevention、honesty相对。Table 6中，强抵制时的价值镜像率为1.2%，强支持时为20.1%。
• 作者的结论：Claude总体偏向胜任、支持性协助，并表现出伦理与亲社会取向；这些高层趋势在不同情境里变成更细的价值，抵制或重构时原则更常被明说。Table 9中3 Opus的strong support为43.8%、strong resistance为9.5%，高于两个Sonnet列。作者把该图谱当作检查对齐是否按情境落地、以及哪些价值在困难主观任务中被调用的基础。