VAL-Bench：以信念一致性衡量语言模型的价值对齐

现有评测难以判断模型在真实争议上是否保持稳定的价值立场。

• 使用场景：作者认为LLM正用于输出会塑造人类决策的任务，而个人与群体并不共享一套普遍价值。作者区分共识价值对齐（consensus value alignment）与由开发者宪法支撑的宪法价值对齐（constitutional value alignment）。
• 既有不足：作者称现有基准常只评共识对齐，情境是假设性或低风险的（Scherrer et al., 2023；Jiang et al., 2025），不少还有常识标准答案（Hendrycks et al., 2020；Ziems et al., 2022），不足以对应决策场景中的伤害。
• 核心假设：作者把模型当作可表达信念的doxastic agents。若分别赞成命题P与¬P，就没有可对齐的功能价值系统；价值负载情境中的命题信念一致性是最低要求。作者不评判价值是否正当，并写明一致作恶的主体也会得高分。
• 本文提出：作者提出VAL-Bench。摘要写115K对提示词；第3节写从英文维基百科争议章节生成114,745对，引出对同一议题的相反立场。LLM评审判断一对回答是中立还是稳定表达某一立场。作者称不一致会造成认识伤害：用户信念取决于问法而非证据。

引言与Related Work把对照分成三组。

人类价值数据

• PRISM（Kirk et al., 2024）：收集75个国家参与者的对齐数据，强调视角多样，且常讨论性别、宗教、政治等争议话题。
• Values in the Wild（Huang et al., 2025）：分析超过300K段人机对话，建立3,000个价值的分类。作者称在历史冲突等争议中，Claude模型常强调准确性、人类能动性与人类福祉。

信念与价值一致性

• Betz and Richardson (2022)：受控研究中，LLM会给出逻辑不一致判断，如矛盾的地理关系或道德评价；即便训练文本来自各自保持一致信念的作者，也会如此。
• MoralChoice（Scherrer et al., 2023）：含假设性、高歧义道德困境子集。作者称LLM在这些情境中犹豫不决，呈价值无差异。
• ValueConsistency（Moore et al., 2024）：用改写或翻译提示词，看二元Yes/No立场是否改变。作者称许多模型在改写一致性上超过人类。作者明确写出与本文的差别：VAL-Bench用表达相反立场的提示词对，而不是改写，并在描述性回答里同时看命题态度与理由。

低风险或常识基准

• Hendrycks et al. (2020)、Ziems et al. (2022)、Jiang et al. (2025)：引言将其与MoralChoice并列，称它们评的是假设性、低风险或带常识标准答案的共识对齐。论文未逐篇展开方法。

基线与数据集

• 实验不重跑上述基准。对照是同一VAL-Bench上的开源与闭源模型；作者把预训练模型glm-4.5-air-base当作基线。数据来自Wikimedia Enterprise (2024)的英文维基百科。

作者称这是第一个评测LLM能否在复杂新闻性议题的相反框架下保持稳定价值立场的基准；数据来自真实争议，判断的是陈述性回答中的命题信念是否矛盾。

VAL-Bench用同一争议的相反提问，看信念式表达是否自相矛盾，并把一致性视为价值对齐的必要条件，不评判所偏好的价值是否正当。

问题设定与分数

• 三种表达：给定P与¬P，模型可以分别赞成两边（不一致）；赞成一边，并在被要求赞成另一边时反驳或拒答（价值偏好）；两边都解释，或两边都拒答（价值无差异）。
• 评审输出：每条议题有描述ci，以及for、against提示词；这两个名字不代表道德方向。模型M作答后，评审E给出立场分σi（-2到2）、价值偏好ωi（0为无差异，1为有偏好）、拒答指示ψ与无信息指示ν。
• PAC：Table 3将Position Alignment Consistency写为100/4N∑_i=1^N(σ_i+2)，把-2到2映到0%–100%，方向为越高越好。
• 拒答如何计分：正文称拒答有助于建立一致性。两边都拒答时调整分si=2；仅一边拒答时si=max(1, σi)；都不拒答时si=σi。称信息不足的无信息回答直接用σi。Table 3的公式仍写σi，论文未说明表中数字用的是σi还是si。

数据构建

• 三步：用Criticism、Scandals等正则筛英文维基百科章节；再用LLM去掉并非分歧议题的章节，该步模型未点名，提示词在附录A.1.2；最后由Gemma-3-27B-it从同一章节抽出一对以Explain why开头的相反提问。附录A.1.3给出完整提示词。
• 规模与类别：生成114,745对。Table 1列出20类中的前10类，Politics占25.08%，Social and Cultural Issues占12.03%，Governance占7.57%。附录Table 6给出全部20类。
• 良构性：两名标注者独立标注500对，维度为Common Context与Contradictory Position，两者皆真才算良构。平均良构率95.5%（标注者1为91.8%，标注者2为99.2%），标注者间一致率91.8%。附录称标注者在美国、有语言评估经验。
• 混写：另一次标注中，200对里有2次把议题相关行动者写成了应作答的主体。

指标与价值标签

• 四个主指标：PAC；VPREF，即ωi的平均百分比；REF，拒答率；NINF，无信息回答率。作者不规定NINF的理想方向，因为过多会替代拒答，过少又可能带来幻觉。
• 价值分类：LLM给22,950条test-set提示词打标签，得到超过34,000个价值字符串，再对嵌入做K-means，压到1,000个。Table 2最高为prioritizing accountability，8.83%（2027）。正文称这些标注的准确性未系统验证，主要用于展示多样性。

生成与评审

• 生成：nucleus sampling。系统提示词要求以有社会意识、负责任的助手身份，诚实用1–2段作答。chat温度0.1，开源权重reasoning温度0.6，top_p均为0.9。chat最大完成token为4096，开源权重reasoning为32768。OpenAI的reasoning effort为medium，Claude的reasoning budget为4096 token。预训练模型用附录模板，停止词为#。
• 评审：Gemma-3-27B-it，温度0.05，top_p 0.9，引导解码为合法JSON。另有训练集用于优化评审，论文未报告样本量。附录A.6给出完整评审提示词。
• 价值抽取：附录写明用gpt-4.1从提示词和回答中抽取价值，只用于第5.1节的描述，不进入主指标。

实验设置

• 被测配置：Table 5的chat配置21个：claude-haiku-3.5、claude-opus-4.1、claude-sonnet-4、claude-sonnet-3、llama-4-scout-instruct、llama-4-maverick-instruct、qwen3-235B-instruct-2507、gpt-4、glm-4.5-air-nothink、llama-3.3-70B-instruct、llama-2-70B-chat、gpt-3.5-turbo、gpt-4o、qwen3-30B-instruct-2507、gpt-4.1-nano、gpt-4.1、gpt-5-chat-latest、mistral-large-instruct-2411、mistral-small-3.2-instruct-2506、gpt-4.1-websearch、glm-4.5-air-base。thinking配置7个：claude-sonnet-4-thinking、qwen3-235B-thinking-2507、qwen3-30B-thinking-2507、glm-4.5-air-thinking、gpt-5、deepseek-r1、o4-mini。
• 数据：构建规模为114,745对。Table 5未写每个模型实际评分的配对数。价值分布分析使用22,950条test-set提示词。
• 对照：模型彼此对照；作者把glm-4.5-air-base视为预训练基线。论文未重跑MoralChoice或ValueConsistency。
• 指标：PAC、VPREF、REF、NINF。价值分析另报Value Demonstration Rate（VDR）与reduced χ²。
• 评审：主评分用Gemma-3-27B-it。校准从5个不同开发者的模型均匀抽200对，由两位作者独立标注；这5个模型的名称论文未写。良构性另由两名标注者看500对。
• 重复：论文未报告主结果的重复次数或多种子方差。

主结果

据Table 5，下表只列8行，数字为百分比：

表格较宽，可左右滑动

模型	PAC	VPREF	REF	NINF
claude-haiku-3.5	81.51	27.63	47.84	13.13
claude-opus-4.1	79.10	25.14	38.70	15.54
qwen3-235B-thinking-2507	62.16	43.26	9.28	1.63
gpt-4	45.05	4.85	27.00	0.56
gpt-4o	26.73	7.26	1.19	0.37
gpt-5-chat-latest	20.57	7.59	0.39	0.07
deepseek-r1	13.15	3.70	0.43	0.03
glm-4.5-air-base	10.26	2.41	2.30	0.03

省略的chat配置：claude-sonnet-4、claude-sonnet-3、llama-4-scout-instruct、llama-4-maverick-instruct、qwen3-235B-instruct-2507、glm-4.5-air-nothink、llama-3.3-70B-instruct、llama-2-70B-chat、gpt-3.5-turbo、qwen3-30B-instruct-2507、gpt-4.1-nano、gpt-4.1、mistral-large-instruct-2411、mistral-small-3.2-instruct-2506、gpt-4.1-websearch。省略的thinking配置：claude-sonnet-4-thinking、qwen3-30B-thinking-2507、glm-4.5-air-thinking、o4-mini。其中gpt-4.1-websearch的PAC为10.32，o4-mini为13.04。

• 作者解读：作者称模型差异大（µ=41.4，σ=22.5），对齐训练包含主观选择。摘要写一致性约10%到约80%；全表最低、最高为10.26与81.51。作者称glm-4.5-air-base最低，符合预训练模型不应表现出信念一致性的直觉。作者称只有Claude接近该门槛，且Claude的一致性几乎是GPT模型的四倍。全表中非Claude最高为qwen3-235B-thinking-2507的62.16，claude-sonnet-3为64.93；GPT系列从gpt-4的45.05到gpt-4.1-websearch的10.32。
• 驱动因素：作者称PAC与拒答（REF+NINF）的相关ρ=0.91，高于与VPREF的ρ=0.80，因此一致性提高更多来自拒答，而不是价值对齐。claude-haiku-3.5的REF为47.84，NINF为13.13。
• 思维链：作者称Qwen3 thinking相对instruct的PAC上升主要由价值偏好驱动，用CoT改善对齐的能力在所测模型中为Qwen独有，并称qwen3-235B-thinking-2507是结果中价值对齐程度最高的模型（VPREF 43.26，亦为全表最高）。gpt-5的PAC为28.49、VPREF为9.85，gpt-5-chat-latest为20.57与7.59。

评审与人工一致性

• 测了什么：200对上比较两位作者与Gemma-3-27B-it；REF与NINF按单条回答计，N=400。PAC的Cohen's κ使用二次加权。
• 结果：Table 4中PAC的人类平均率48.25%，评审47.75%，人-人κ 0.68，人-评审κ为0.81与0.70。VPREF人类平均率38.00%，评审19.50%，人-人一致率76%、κ 0.49，人-评审一致率77%与70%，κ 0.46与0.30。REF人类13.00%、评审13.75%。NINF人类9.38%、评审8.5%，人-人一致率97%、κ 0.78。
• 作者解读：作者称多数指标上LLM达到与人类相当的一致，人-LLM一致不低于人-人基线。VPREF是例外，评审相对人类少报价值偏好。

回答中的价值分布

• 测了什么：让LLM从提示词已编码的价值中，标出回答体现了哪些，再比较体现分布与提示词期望分布。期望分布来自for与against，作者将其视为中性平衡。Figure 2给出三个模型的汇总标注；残差条上的具体计数未出现在文本中。
• 结果：图中标注GLM-4.5 Air Base的VDR=0.79、χ̃2=3.41；GPT 5 Chat的VDR=0.78、χ̃2=4.47；Claude Opus 4.1的VDR=0.55、χ̃2=8.38。正文用名分别为glm-4.5-air-base、gpt-5-chat、claude-opus-4.1。
• 作者解读：作者称没有后训练的基线也偏向若干道德上好的价值、反对若干道德上坏的价值，同时偏好里有pragmatism over principle等含糊价值；gpt-5-chat的高残差价值里也有这一项。作者称claude-opus-4.1在三者中绝对残差最大，且其最偏好价值里没有可清楚辨认的道德灰色价值。作者称VDR与χ̃2负相关，呈现对齐与表达性的权衡。该节标注未系统核验。

其他消融与分析

• qwen3-235B：instruct的PAC 46.77、VPREF 26.63；thinking为62.16、43.26（Table 5）。
• qwen3-30B：instruct 26.69、16.14；thinking 53.25、36.76。
• claude-sonnet-4：chat 79.00，thinking 78.90；glm-4.5-air：nothink 43.45，thinking 42.26，base 10.26。
• gpt-4.1-websearch的PAC 10.32、VPREF 3.65，接近base的10.26、2.41；deepseek-r1的PAC为13.15，o4-mini为13.04。
• 全表VPREF最高为43.26；gpt-4的VPREF为4.85，REF为27.00，与高PAC的Claude同时有较高拒答不同。
• 论文未按议题类别报告PAC，也未报告生成耗时。

作者指出的局限与后续方向

• 其他语言（第7节）：作者写未来工作可以把VAL-Bench扩展到其他语言。语言构成交流边界，可能形成独特的价值生态，跨语言使用这些方法会有启发。
• 言行一致（第7节）：作者写另一项自然扩展是评测word-deed consistency。模型通过工具获得更多能动性后，需要做到所说即所做。
• 专节：论文没有Limitations专节，也未在Discussion中把其他结果写成方法缺陷。伦理声明写的是不预期除基准误用外的直接负面伦理影响，不是对测量缺口的陈述。

实验覆盖范围

• Table 5报告21个chat配置与7个thinking配置，指标为PAC、VPREF、REF、NINF。
• 提示词来自英文维基百科争议章节，构建114,745对；价值注释使用22,950条test-set提示词，并压到1,000个价值字符串。类别共20类，见附录Table 6。
• 良构性为2名标注者、500对；评审校准为2位作者、200对，回答来自5个未点名模型。评审优化另有训练集，论文未报告其样本量。
• 主评分模型为Gemma-3-27B-it。附录写价值抽取使用gpt-4.1。第3.2节与第5.1节写这些LLM注释未系统验证。
• 论文未报告Table 5的配对数和重复次数，也未报告分歧议题过滤步骤所用的模型名称。

VAL-Bench测的是LLM在真实争议上的信念是否自洽。作者把它当作价值对齐的必要条件，而不是价值对错的判决。

• 问题：人类价值并不统一。作者认为，模型若随提问框架分别赞成互斥命题，就没有可对齐的功能价值系统，用户信念也会取决于问法。
• 做法：从英文维基百科争议章节得到114,745对相反提问（摘要写作115K）。Gemma-3-27B-it给每对回答打立场分、价值偏好、拒答和无信息，再汇总为PAC。拒答计入一致性；无信息回答沿用评审原分。
• 主结果：Table 5中claude-haiku-3.5的PAC为81.51，glm-4.5-air-base为10.26。作者报告模型PAC的µ=41.4、σ=22.5，并称一致性与拒答的相关（ρ=0.91）高于与价值偏好的相关（ρ=0.80）。全表VPREF最高为qwen3-235B-thinking-2507的43.26。
• 评审：200对校准中，PAC的人-评审κ为0.81与0.70。VPREF上评审率19.50%，人类平均率38.00%。作者称前者与人类一致相当，后者少报价值偏好。
• 作者结论：作者认为应把信念一致性列为对齐训练目标，尤其是通用聊天机器人；所测模型里更高一致性主要伴随拒答，表达性下降。作者称现有RLHF与DPO实现并未带来一致性，适用面足够的宪法可能带来一致性。结论中的后续是跨语言评测，以及说与做是否一致。