EVALUESTEER：衡量奖励模型对价值与偏好的可引导性

给定用户的价值与风格画像，奖励模型（RM）能否选出与该画像对齐的回答。

• 场景：作者认为 LLM 已全球部署，用户在 traditional 与 secular-rational、survival 与 self-expression 等价值上不同，也对 verbose/concise、warm/cold 等风格期待不同，因此需要能适应多元价值与风格的系统。
• 为何看 RM：作者把 RM（含 LLM-as-a-Judge，以及为偏好分类微调的 LLM）视为对齐的基础。早期 RM 多学习“平均标注者”信号；近期工作才用少量上下文适配个体的道德、文化与风格。
• 现有不足：作者称既有价值基准多看道德困境等范围，不直接衡量偏好排序模型的可转向性（steerability）。真实数据往往缺少可分离的价值与风格真值，尤其在二者冲突时。
• 核心设定：其他语言与语义因素保持不变，只系统变化价值与风格，以隔离模型能否被转向到指定的联合结果，并观察对某些价值或风格信号的偏向。
• 提出的基准：EVALUESTEER 合成偏好对，覆盖 4 个价值维度与 4 个风格维度，在 11 种提示条件、6 种成对比较下，评测模型是否选出与用户画像一致的回答。

价值对齐与可转向性

• 早期道德分类：ETHICS（Hendrycks et al., 2021）与 Delphi（Jiang et al., 2022）把简单场景按规范性道德价值分类。作者称这类判断对当今模型已经较直接。
• 多元价值与困境：Value Kaleidoscope（Sorensen et al., 2023）与 IndieValueCatalog（Jiang et al., 2024）考察细粒度多元与个体价值的生成。作者称它们仍只考虑简单决策。另有工作扩展到现实道德困境（Jin et al., 2022; Chiu et al., 2025）以及大规模全球与多语言情境（Awad et al., 2018; Jin et al., 2025b）。
• 可转向性评测：Li et al. (2025)、Liu et al. (2024a)、Samuel et al. (2024) 评测 LLM 可转向性。作者称任务类型覆盖有限，且主要看文本生成，而不是奖励建模。

奖励模型与偏好建模

• 两类用法：LLM-as-a-Judge 用提示词模拟人类偏好（Zheng et al., 2023b）。RM 在标注偏好上微调（Bai et al., 2022; Ouyang et al., 2022a; Dai et al., 2024; Ji et al., 2023; Cui et al., 2024），用于 RLHF、DPO 等后训练。
• 一般与专项基准：RewardBench（Lambert et al., 2024）、RewardBench 2（Malik et al., 2025），以及 Liu et al. (2025)、Zhou et al. (2025)、Frick et al. (2025)，评测一般下游表现。另有多语言（Gureja et al., 2024）、智能体（Jin et al., 2024; Lù et al., 2025）和数学推理（Kim et al., 2025）。
• 作者指出的空缺：这些通用评测没有计入更主观设定中的标注者裁量（Buyl et al., 2025），也没有针对 RM 偏见（Mire et al., 2025; Christian et al., 2025）。

多元对齐数据

• PRISM（Kirk et al., 2024）：收集多样化人群的人类偏好。作者称它缺少可分离、用来解释偏好选择的价值或风格真值规格。
• 合成人格：PERSONA（Castricato et al., 2024）与 Zollo et al. (2024) 生成合成人格。作者称它们主要看人口统计属性与简单偏好，而不是同时系统变化深层价值与风格。
• 原则与社区反馈：SALMON（Sun et al., 2023）按一小套作者称为任意的、由人定义的原则生成 AI 反馈。Community Alignment（Zhang et al., 2025）提供多语言人类偏好反馈。作者称它同样缺少隔离特定价值–风格组合所需的受控变化。

基线与数据

• 实验对照：无上下文设定被当作期望接近随机的基线。Oracle 设定用 GPT-4.1，只给相关价值与风格信息。价值来自 World Values Survey（WVS），提示来自 PRISM，风格族来自既有风格偏见文献。被测模型按 RewardBench 排行榜选取。

作者称先前对齐文献没有考虑偏好排序模型的可转向性。EVALUESTEER 用已知真值的价值–风格组合，检查 RM 能否识别并适应用户画像中与当前问题相关的部分。

整体做法是构建 EVALUESTEER：用调查锚定价值、用风格族锚定表达偏好，合成二者可独立变化的偏好对，再看 RM 在不同上下文下能否选对。作者认为去掉混杂因素的受控评测常给出能力上界，因此把该合成设定当作 RM 可转向性的受控上界。后文 RM 兼指微调分类器与 LLM-as-a-Judge。

价值与风格画像

• 价值空间：按 Inglehart et al. (2014)，用 WVS wave 7 的 10 题操作化 Inglehart–Welzel 地图，对应 Traditional vs. Secular-Rational，以及 Survival vs. Self-Expression。作者称这 10 题概括超过 94,000 名用户、覆盖 100+ 国家的六次调查，并解释 70–75% 的国家间方差。摘要另写 4 个价值维度来自 233 条价值陈述，并按 Jiang et al. (2024) 转成自然语言。
• 四象限：约 94k 名受访者被分为 Traditional-Survival 41.0%、Secular-Self-Expression 29.0%、Secular-Survival 17.2%、Traditional-Self-Expression 12.8%。多样性最大化后保留 18 个价值组合，覆盖四象限。原始题目按 IndieValue 模板改写，保留极性。
• 风格：verbosity（verbose/concise）、reading difficulty（high/low）、confidence（high/low）、warmth（warm/cold），共 16 种组合。与 18 个价值画像相乘，得到 288 个用户画像。附录 A.4 用词数、Flesch–Kincaid、断言/模糊标记和 VADER 核对这些改写。
• 上下文长度：完整价值上下文是所选画像的全部自然语言陈述，N≈200。完整风格上下文是 4 句带描述的风格陈述。

提示、回答与过滤

• 提示匹配：在 10 个 IW 题之外，按 Li et al. (2024) 再取 14 题（每个调查主题 2 题），共 24 题。用 all-MiniLM-L6-v2 嵌入，与 PRISM 开场提示做余弦近邻（k=10），每题留 1 条并人工确认主题重叠，保留 24 对。
• 生成：对每对，GPT-4o 写两个可独立阅读的回答，隐含 WVS 陈述的相反极，且不逐字引用 WVS。再改写成 16 种风格，得到 24×16=384 个 completion。附录 C 给出生成与风格改写提示词。
• Oracle 过滤：用 GPT-4.1，只提供相关价值与风格信息；作者称它能完美选出偏好回答的对话才保留。第 5.1 节把该可识别性写成 100%，摘要写成只给相关风格与价值偏好时 >99%。附录 D 另做人工校验。

六种偏好对与十一种提示

• 价值偏好，每段对话 4 对：两回答的价值内容不同，正确项与用户编码价值一致；风格可以相同或相反。中性设定下用价值对齐打破平局。
• 风格偏好，每段对话 2 对：立场相同，一个符合用户的 verbosity、reading difficulty、confidence、warmth，另一个相反；风格偏好项为正确。附录 B 列出 6 种具体组合。
• 11 种提示：无上下文；仅完整 WVS；仅完整风格；二者合并且优先价值、优先风格或中性；以及后五种的 Chain-of-Thought（CoT）变体。合并设定中两类上下文顺序随机。CoT 要求先找出与该题相关的价值与风格，再选择。分类器不做 CoT。

成功判定

正确项由构造规则决定，主结果不另请模型裁判。指标是偏好对被正确排序的比例。Figure 2 以 0.5 为随机参考线。作者称数据被平衡，因此无上下文时期望接近随机。

实验设置

• 被测模型：LLM-as-a-Judge 为 GPT-4.1-Mini、Gemini-2.5-Flash（No Thinking）、Llama-3.1-8B、Qwen-2.5-7B。分类器为 Skywork-Llama-3.1-8B、Skywork-Qwen-3-8B。作者称按 RewardBench 排行榜选取，并覆盖专有/开源、生成式/分类器。Table 2 将 Qwen 写作 Qwen-2.5-7B-Instruct。
• 数据：Table 1 列出 24 个合成对话、4 种风格增强、6 种偏好组合、18 个价值画像、16 个风格画像，总计 165,888 次成对评测，以及 11 种 prompting settings。正文另写 288 个用户画像。
• 生成与校验：回答由 GPT-4o 生成，Oracle 过滤用 GPT-4.1。附录 D：200 条 completion（10 个核心 WVS 题 × 5 个风格对 × 4 条），3 名内部标注者，-2 到 +2，≥1 视为可接受。第 3 节称平均 98.6% 有效、一致率 95.5%。附录 D 写 84.1% 为 2 分、14.5% 为 1 分，各标准一致率为 R1 84.4%、R2 98.8%、R3 98.8%、R4 100%。
• 指标与解码：成对偏好准确率。temperature 0，top-p 1。Gemini-2.5-Flash 另加 zero thinking budget 与 800 token 输出上限。论文未说明 Table 2 中 ± 的重复次数；Figure 4–5 给出 95% CI。

主结果

下表为 Table 2 的 verbosity 行点估计（%）。列对应 simple、full wvs only、full style only、full wvs style prefer wvs、full wvs style cot prefer wvs。± 见原表。confidence 与 reading difficulty 行的点估计与 verbosity 相同。

表格较宽，可左右滑动

模型	无上下文	仅价值	仅风格	优先价值	CoT优先价值
GPT-4.1-Mini	44.16	62.27	60.60	67.33	73.54
Gemini-2.5-Flash	46.70	65.05	62.46	71.14	69.66
Llama-3.1-8B	42.20	57.82	55.28	59.58	54.47
Qwen-2.5-7B	51.35	53.40	61.57	62.10	64.32
Skywork-Llama-3.1-8B	46.08	49.76	57.99	56.15	未报告
Skywork-Qwen-3-8B	45.24	52.52	59.79	62.03	未报告

• 作者称单独提供价值或风格上下文，相对无上下文的总体提升为 12.11%；二者都给且指明优先级后还会再升。摘要写完整画像下准确率最高的模型 <75%，只给相关偏好时 >99%。第 5.1 节写完整上下文最高 75%，Oracle 为 100%，并称与 Oracle 有 25 个点差距。Figure 2 注称最高设定仍比 Oracle 低 25% 以上。引言另写从 42% 到约 75%。
• Table 2 象限分表中，CoT 且优先价值的最高格是 GPT-4.1-Mini、Secular-Survival 的 75.08%，高于上表 verbosity 行。作者称价值上下文对 LLM-as-a-judge 更有影响，分类器在风格上更好。上表中 Qwen-2.5-7B 的仅风格高于仅价值，与这一概括不完全一致；两个 Skywork 的仅风格高于仅价值，与分类器概括一致。
• 作者称 CoT 使 GPT-4.1-Mini 在价值转向上下文提升 5–6%，Qwen-2.5-7B 提升 2–4%。Gemini-2.5-Flash 与 Llama-3.1-8B 的 CoT 优先价值列不高于对应的非 CoT 列。分类器无 CoT。作者推测 Gemini 的 zero thinking budget 与 800 token 上限影响了推理。

价值与风格偏向

• 价值：作者称 6 个 RM 在 10 个价值载荷题中有 5 题方向一致：God 不重要、后物质主义（自我表达与生活质量优先于经济与人身安全）、国家自豪感低、对权威尊重的偏好低；生活满意度低与政治参与低为中等一致。堕胎、同性恋与人际信任上有差异。作者称投影到 Inglehart–Welzel 地图后，模型系统偏好 Secular-Self-expression。Figure 3 左侧为各题选择比例（蓝为 Secular/Self-expression，红为 Tradition/Survival），右侧为四象限散点；正文未给各点坐标。
• 风格：作者称 RM 偏好更 verbose、cold/formal、更高 reading difficulty；GPT-4.1-Mini 还更偏好 confident。例外是 Gemini-2.5-Flash，作者称它偏好 concise 而非 verbose。Figure 4 以 0.5 为无偏见线；作者称 95% CI 误差棒不与虚线重叠时，比例与 0.5 不同。正文未给各风格的精确偏好率。

冲突时谁被优先

• 设定：一个回答价值对齐但风格不偏好，另一个风格偏好但价值对齐更弱，且不给优先级。作者称六个 RM 转向风格而非价值的幅度为 32.83%；Skywork-Qwen 差距最大，为 46.6%。作者称全部差异在 95% CI 下不同于 0.5。引言称这是 style-over-substance 偏向。
• 补充：Figure 9 中，作者称较小的 LLM-as-a-judge 与分类器更善于转向风格而非价值。Figure 8 将价值与风格陈述各采样 4 条，且至少一条 WVS 与对话相关；作者称仍偏向风格，用以排除价值陈述更多（N≈200 对 N=4）这一混杂。图中比例与模型的列对应在文本中不可靠对齐，故不逐模型引用。

其他消融与分析

• warmth：作者称提示设定不变时，除 warmth 外各风格族大体一致，warmth 整体下降约 3%。
• 象限：作者称全部 RM 对 Secular-Self-Expression 与 Secular-Survival 用户高 1–2%。
• 无上下文：作者预期接近随机。Table 2 verbosity 行的 simple 点估计从 42.20 到 51.35，并不都在 Figure 2 的 0.5 线上。论文未解释该偏离。
• 定性 CoT：附录 F.1 给出仅价值上下文下，GPT-4.1-Mini 的 CoT 选对、基线选错的例子。作者称在与 Q164、Secular-Survival 用户相关的一例中，基线选了肯定信仰的回答，CoT 选了承认世俗替代的回答。

作者指出的局限与后续方向

• 调查传统：第 7 节写，基准依赖把 WVS 题目与风格改写合成的对话。WVS 虽广，仍反映特定调查传统，省略许多文化特定价值，例如 Indigenous world views 或非西方的关系性观念。
• 风格空间：第 7 节写，四种风格族被设为正交，但未覆盖文本风格空间的全部。在这些约束下被判为 aligned 的模型，可能在更细或交叉的用户画像上失败。
• misaligned 的含义：第 7 节写，misaligned 不一定指与给定价值对立，而是明显不如另一回答对齐。例如堕胎议题上，misaligned 回答可能只是更中性。作者假定用户的价值偏好由更 aligned 的回答满足。
• 选择而非生成：第 7 节写，候选 completion 由单一 LLM 配置生成，基准评的是固定备选中的选择，不是开放生成。不同设定或模型可能以未预期方式与价值、风格线索交互。成对标签假定一个回答明显更可取，但偏好依赖情境，有时与所述价值不一致。
• 模型更新：第 7 节写，所测 RM 是商业或研究级 LLM，训练语料不透明；测得的偏见可能随以后的模型更新改变。
• 后续方向：第 6 节称，后续可以研究如何在训练 RM 时加入显式价值推理，以及如何改进用户价值画像建模。同一节把把风格优先于价值等限制归因到 RM 能力的具体因素，称为后续步骤。附录 A.1 写，当前维度是对完整价值空间的简化，未来工作可以扩展到更多价值框架；再加一个二元维度会使约 166k 次评测翻倍。

实验覆盖范围

• 被评模型为第 5 节的 6 个 RM：4 个 LLM-as-a-Judge 与 2 个分类器。
• 条件为 11 种提示、6 种偏好组合。Table 1 记 165,888 次成对评测，因子为 24 个对话、4 种风格增强、18 个价值画像、16 个风格画像；正文另有 288 个用户画像。
• 价值来自 WVS wave 7 的 Inglehart–Welzel 题目，风格为 verbosity、reading difficulty、confidence、warmth；提示来自 PRISM。回答由 GPT-4o 生成，Oracle 过滤用 GPT-4.1。
• 人工校验为附录 D 的 200 条 completion、3 名内部标注者，范围是 10 个核心 WVS 题。
• 解码为 temperature 0、top-p 1。Gemini-2.5-Flash 为 No Thinking，zero thinking budget，输出上限 800 token。Table 2 中分类器的 CoT 列为 “–”。论文未说明 Table 2 中 ± 的重复次数。

EVALUESTEER 用受控合成偏好对，评测 RM 与 LLM-as-a-Judge 能否按用户的价值与风格画像，在两个候选回答中选出对齐的一项。

• 问题：作者认为现有价值基准不直接测偏好排序的可转向性，真实偏好又难以分离价值与风格，尤其在二者冲突时。RM 被作者视为对齐的基础，但早期信号偏平均标注者。
• 做法：用 WVS wave 7 的 Inglehart–Welzel 四象限得到 18 个价值画像，与 verbosity、reading difficulty、confidence、warmth 的 16 种组合相乘，得到 288 个画像。PRISM 提示配 24 个 WVS 陈述，由 GPT-4o 生成并改写；GPT-4.1 在只给相关信息时作 Oracle 过滤。评测含 6 种偏好对和 11 种提示，Table 1 记 165,888 次成对比较。
• 主结果：六个模型为 GPT-4.1-Mini、Gemini-2.5-Flash（No Thinking）、Llama-3.1-8B、Qwen-2.5-7B、Skywork-Llama-3.1-8B、Skywork-Qwen-3-8B。作者称单独加入价值或风格上下文的总体提升为 12.11%；完整画像最高 75%，摘要则写 <75%。Table 2 最高格为 GPT-4.1-Mini、Secular-Survival、CoT 且优先价值的 75.08%。只给相关信息时，第 5.1 节写 Oracle 为 100%，摘要写 >99%。作者称与 Oracle 有 25 个点差距，Figure 2 注写低 25% 以上。
• 偏向：作者称这些 RM 系统偏好 Secular-Self-expression，并偏好 verbose、cold/formal 与高 reading difficulty；GPT-4.1-Mini 还偏好 confident，Gemini-2.5-Flash 偏好 concise。价值与风格冲突且不指定优先级时，作者称六模型更偏向风格，幅度 32.83%，Skywork-Qwen 差距 46.6%。Table 2 中 Qwen-2.5-7B 的仅风格高于仅价值，与“价值上下文对全部 LLM 裁判更有影响”不完全一致。
• 作者的结论：当前 RM 还不能稳定找出并适应用户画像中与当前问题相关的部分，并系统偏向某些文化与风格视角。作者认为这会限制把系统对齐到价值或风格不同的用户，也把 EVALUESTEER 当作后续改进 RM 的测试台。