研究者提出基于评分量表的可解释奖励框架，将宪法转化为可调对齐目标

偏好判断与高层原则都难以只改某一行为对应的奖励。

• 出现场景：作者认为，开发者可能想压低偏好数据鼓励的谄媚而不降低有用性，或纠正不想要的政治倾斜而不改准确性与风格；安全训练造成过多拒答时，也要在有用与谨慎之间再平衡，同时不削弱对真正有害请求的防护。面向特定用户或应用的适配有同类需求。
• 现有不足：偏好判断能传达细粒度区别，但改变优先级通常要重新收集判断，汇总后的奖励也难以看出偏向哪些考量。宪法原则可以直接改，但即便详细指令仍给具体行为如何计分、竞争考量如何平衡留下很大余地。
• 作者的接口：把通用宪法译成可分别计分的行为准则，用加权和作为训练奖励。初始权重由宪法引导的 AI 反馈估计，之后只改选定维度的权重。
• 要检验的主张：重加权能否大致独立地改变目标行为，并在冲突目标之间选平衡点；同一分解能否暴露并修正不良激励，或因准则不编码某些偏见而减少标签偏见传入策略。

作者按三条此前分开发展的线索组织相关工作。

可解释奖励建模

• 特征与原则恢复：Koh et al. (2020)、Go et al. (2024) 等用概念瓶颈、稀疏自编码器或组合特征表示奖励；Inverse Constitutional AI（Findeis et al., 2025）、Auto-Rubric（Xie et al., 2025）、ARGO（Sodhi et al., 2026）和 WIMHF（Movva et al., 2026）从偏好数据或黑盒奖励中恢复自然语言原则、准则或特征。
• 直接用规则构造奖励：Rule-Based Rewards（Mu et al., 2024）、QA-LIGN（Dineen et al., 2025）以及 Gunjal et al. (2026)、Huang et al. (2025a)、Srivastava et al. (2026) 用 LLM 判定的准则条目加总成奖励。作者指出，其中手工设定权重的准则奖励在优化下可被利用（Mahmoud et al., 2026）。
• 作者的批评：这一文献主要做解释、压缩、可移植性和诊断，用所得表示做转向的工作较少，例外包括 Zhang et al. (2026)。特征多从偏好或已训练奖励模型导出，或预先指定较小属性集；权重由手工设定（Gunjal et al., 2026），或在小的固定属性集上从偏好估计（Go et al., 2024）。

多目标行为控制

• 分轴建模：Fine-Grained RLHF（Wu et al., 2023）与 Safe RLHF（Dai et al., 2024）分别建模多种行为属性；Rule-Based Rewards 与 QA-LIGN 用自然语言准则在训练中塑造策略。
• 权衡机制：SteerLM（Dong et al., 2023）、Rewards-in-Context（Yang et al., 2024）、Directional Preference Alignment（Wang et al., 2024a）和 Rewarded Soups（Rame et al., 2023）用不同机制控制目标之间的权衡。
• 作者的批评：既有研究通常只控制少数宽泛目标，而不是从旨在覆盖完整奖励模型的表示出发。改变一个目标可能改变未表示的行为，或把优化转向相关代理（Zhuang and Hadfield-Menell, 2020; Lamparth et al., 2026）。有的工作还为每个轴单独收集人类反馈。作者称若干转向技术原则上可以扩到本文设定，他们采用的是手工重加权后再训练。

标签偏见

• 统计文献：Obermeyer et al. (2019) 讨论用医疗支出代理医疗需求所造成的种族差异。Jiang and Nachum (2020)、Wang et al. (2021) 在标注过程假设下重加权，或针对组相关标签噪声调整学习目标。Zanger-Tishler et al. (2024) 指出，更能预测观测代理的特征可能更差地预测底层结果；Isley et al. (2026b) 用准则嵌入把预测限制在有语义的特征上。
• 偏好对齐中的对应问题：迎合用户观点的回复更可能被偏好，对着偏好模型优化可能为谄媚牺牲真实性（Sharma et al., 2024; Cheng et al., 2026; Shapira et al., 2026）。作者认为，既有奖励模型偏见工作多一次针对一个被点名的偏见，或要求事先指定虚假因素；发现方法能露出偏见但不做缓解（Wang et al., 2026; Movva et al., 2026）。

基线与数据

• 行为对比：Figure 2、Figure 3 在同一题上标注了开源与闭源模型，包括 Grok 4.5、GPT-5.6 Luna、Sonnet 5、Gemini 3.1 Pro、Gemma 27B、Gemini 3 Flash、Llama 70B、Mistral 24B、Llama 4 Maverick、Qwen 7B、Gemma 12B。
• 奖励对比：Skywork-Reward-V2 的 8B、3B、1B，QRM-Gemma-2-27B，以及 OpenAssistant 的 DeBERTa-v3-large。数据包括 2,000 道美国政治题、PKU-SafeRLHF、Sharma et al. (2024) 的反馈任务、基于 BLS 的职位推荐、MovieLens 1M 电影推荐，以及 MMLU 与 IFEval。

作者把区别放在：从详细的通用宪法得到行为上具体的准则，并把该奖励表示用作转向接口；准则一次覆盖整段行为范围，不良行为靠语义固定的系数符号约束，而不是逐个提名后再缓解。

作者把 Claude 宪法 译成可分别计分的准则，用宪法引导的排序拟合线性权重，再只改选定权重、从固定候选池选回复做监督微调。

从宪法到行为准则

• 来源与条目：用 Claude Opus 4.7 把 Claude 宪法译成准则。每条含行为定义、评分量表、来源段落和评分说明。全文 329 条，八个大类、50 个小节（Figure 1）。约 60% 落在 Avoiding harm 与 Being helpful。
• 四条编写要求：覆盖关心的行为；每条只对应一个行为，例如左右论证分开计分；分数越高表示该行为越多，因此过苛与过软的反馈分成两条；条目要能用评分者可见的信息稳定打分，行为与当前交互无关时不因此扣分。附录 A 写迭代修订，Figure A3 给出一条示例。
• 反事实评分：谄媚和歧视不能只看单条回复。评分器比较原回复，以及去掉用户立场或人口统计信息、保留任务相关内容后的新回复，再判断实质判断是否改变。附录 B 描述该程序。活跃集 89 条中，86 条用示例评分，3 条用反事实探测。
• 活跃集：许多条目在实验里几乎不区分回复。附录 C 保留至少一个评测上分数熵不低于约 0.47 比特的条目，并强制保留全部用于转向的条目，得到 89 条。Figure 1 的分数是各节进入活跃集的条数相对该节总条数。

估计基线权重

• 反馈来源：权重可以手设、从人类偏好估计，或从其他反馈学习。实验用 Gemma 3 12B、Qwen3 14B、GPT-OSS 20B 各自的宪法引导 AI 反馈，而不是新的人类偏好。被微调的基座同时给准则打分，并按完整宪法对候选排序。
• 奖励定义：拟合线性 Plackett–Luce 模型，使回复奖励为 r_β(x,y)=β^Tφ(x,y)，即各准则分数的加权和。排序在每一步按奖励的指数比例选择剩余候选。附录 F 给似然目标，附录 E 给候选生成、评分和偏好征集。
• 候选池：重复采样往往变化很小，因此用附加指令诱发指定性质的回复。谄媚任务按五分制的每个分数各生成一条；歧视任务分别为两个职位生成推荐；有用–有害任务在数据对之外，加入把更有害回复改得更不具体的版本，以及直接拒答。GPT-OSS 拒绝改写指令，改用在 1,000 条 Gemma 软化回复上训练的适配器。排序时不提供这些附加指令。
• 拟合例外：GPT-OSS 的 800 个排序中有 7 个锚点回复分数不完整，按发布数据复现时用其余 793 个。原始 PKU-SafeRLHF 回复的三条反事实条目不跑探测，直接记 0。

改权重并训练

• 选择目标：从拟合基线出发，只改选定系数。对微调集的每个提示，在同一候选池中选加权分数最高的回复，再用 SFT 训练基座。各权重设置共享提示、候选池和优化设置，只改用于选择的奖励。
• 三个旋钮：β_lean 以相同幅度提高保守论证奖励、降低自由派论证奖励，每边改变 β_lean·σ_pol/2。β_help 只提高四条有用性准则——贴合用户处境的关心、把用户当作成年智能者、brilliant-friend 式参与、对接用户最终目标——不改有害项系数。β_sycophancy 同时惩罚谄媚和表演性独立。σ 是对应微调候选上未修改奖励的样本标准差。
• 无穷系数：先在目标准则上取最优，再用其余奖励打破平局。政治与有用性同时为无穷的设置被省略。无穷政治转向只用于政治提示。
• 优化：LoRA，秩 16、缩放 32、dropout 0.05，只改注意力投影；学习率 10−4，余弦调度，2 个 epoch，有效批大小 16，最大长度 1,024，只在助手回复上计算损失。每个设置 seed 0 跑一次。Tülu-3 单轮样本在各设置间相同：政治与有用性训练占 500/2,500，谄媚占 250/1,250，歧视约占 210/2,210。

行为如何判定

• 政治：gpt-5.6-luna 判断回复更受自由派还是保守派美国人欢迎，从 −3 到 +3，不清楚记 0。题库 2,000 题、25 个美国议题，由 gpt-5.6-sol 生成，含左、右和中性表述。
• 有用与有害：用 PKU-SafeRLHF 中“更有用的回复也被判更不安全、且伤害严重度至少差一级”的对。gpt-5.6-luna 分开打分：有用性只看是否完成请求，0–3；有害性看促成伤害的程度，1–5。两者都归一化到 0–1。
• 谄媚与歧视：同一文本在用户表示喜欢与不喜欢时的五分制评分差为 framing gap。职位推荐看推荐是否与性别刻板印象一致；每个案例对两个名字取平均，姓名盲参考为 0.5。
• 划分：分布内再分为奖励拟合、微调和评测；分布外只评测（Table A1）。评测时策略自己生成回复，温度 0.7、top-p 0.9，输出上限 512 token。未训练的 GPT-OSS 允许 4,096 token。

实验设置

• 被微调模型：Gemma 3 12B、Qwen3 14B、GPT-OSS 20B。每个基座用自己的准则分数和宪法排序拟合奖励，再微调该基座。
• 对比模型：Figure 2、Figure 3 在同一题上标注 Grok 4.5、GPT-5.6 Luna、Sonnet 5、Gemini 3.1 Pro、Gemma 27B、Gemini 3 Flash、Llama 70B、Mistral 24B、Llama 4 Maverick、Qwen 7B、Gemma 12B 等。它们不参与本文的微调。
• 数据：Table A1 中，政治与有用–有害的拟合/微调/分布内/分布外为 200/1,000/200/200；谄媚为 100/1,000/200/200；歧视为 200/1,000/200/100，分布外是电影对。政治侧 18 个议题族用于拟合、微调与分布内评测，7 个留给分布外。有用–有害的分布外标签为 mental manipulation、psychological harm、insulting behavior、discriminatory behavior。
• 奖励基线：Skywork-Reward-V2 8B、3B、1B，QRM-Gemma-2-27B，OpenAssistant DeBERTa-v3-large。性别实验在注入偏见的偏好上微调这些模型，并与无约束、符号约束的 rubric 奖励比较。
• 指标与评审：政治倾向、有用性、有害性由 gpt-5.6-luna 按附录 I.5 打分。谄媚用 framing gap，歧视用刻板一致推荐占比。能力为 200 题 MMLU 与 200 条严格 IFEval。区间是 95% 正态置信区间。论文未报告这些自动评审与人工判断的一致性。
• 网格：β_help 为 0、0.25、0.5、1、∞；β_lean 为 −3、−1、0、1、3、±∞，两者同时为无穷的设置省略；β_sycophancy 为 0、0.5、1、2、∞。每个设置一次运行。

主结果

正文给出方向，未给出 Figure 2–4 的曲线端点读数。下表只记作者写出的方向。

表格较宽，可左右滑动

实验	模型与条件	作者报告	出处
政治倾向	三款基座；β_lean；分布内与外	增大后回答更偏保守，并出现在训练外议题；Gemma 与 Qwen 达到或超出对比模型范围两端	Figure 2 左，Section 4
有用–有害	三款基座；β_help；PKU-SafeRLHF 子集	有用性与有害性同时上升，含训练外伤害类别；对比模型占据不同但大体相近的位置	Figure 2 右
谄媚	三款基座；β_sycophancy	惩罚加大后 framing gap 下降；更强惩罚下低于图右侧对比模型，仍有残余敏感	Figure 3
性别偏见	GPT-OSS；q 从 0 到 1	黑盒奖励下性别对齐推荐上升；两种 rubric 奖励变化较小；神经奖励上的偏见延伸到电影推荐	Figure 4

• 政治：作者称调节 β_lean 使微调模型跨过的范围与开源、闭源对比模型相当，有的情况下超出；Gemma 与 Qwen 到达或超出该范围两端。
• 权衡：有害项系数保持不动，提高有用性奖励仍同时提高有害性。作者称这比只改高层原则更能选择平衡点，且不必为每个权衡重新收集偏好。
• 独立性：Figure A5 中，改变政治权重时有害性相对稳定；提高有用性大体保留政治倾向的排序。并不完全独立：提高有用性会使部分模型更自由派，尤其是强保守权重下的 Gemma。作者认为这与两维在内容上相关有关，而不是两个完全可分的轴。

谄媚惩罚

• 测了什么：Sharma et al. (2024) 的反馈任务。训练和分布内是诗歌与数学解答，分布外是论证。Gemma 拟合出的谄媚系数为正，尽管 Claude 宪法明确不鼓励谄媚；Qwen 接近零，GPT-OSS 为负。
• 结果：Figure 3 中，加大惩罚后三款模型的评分差下降，并泛化到未用于训练的文本类型。更强惩罚下低于右侧对比模型，但对用户表态仍有敏感。正文未给出各 β 的 gap 读数。
• 作者的解释：残余差距部分来自评分不精确。惩罚很大时，若更谄媚的回复得到更低的谄媚分，仍可能被选中。多次评分取平均可减少这类误差。

性别偏见的传递

• 测了什么：职位推荐使用 BLS 2025 年就业数据，把女性从业至少 90% 的职业与至多 10% 的职业配对；名字在 1980–1995 年社保记录中与目标性别的关联至少 97%。以概率 q∈{0, 0.2, 0.4, 0.6, 0.8, 1} 把不刻板的偏好翻向刻板印象。rubric 在每个剂量上用前 100 个案例的 200 对、并保留其他评测的原排序重拟合；神经奖励用全部 400 对微调。分布外是 MovieLens 1M 电影推荐。
• 结果：Figure 4 只画 GPT-OSS。作者称黑盒奖励把标签偏见传入策略，注入偏见增加时性别对齐的招聘推荐占比上升，两种 rubric 奖励下变化较小；经神经奖励传入的偏见延伸到电影推荐。q=0 时刻板对齐偏好占比为 0.52–0.58，q=1 时为 1。姓名盲参考为 50%。Figure 4 未在正文给出各 q 的策略百分比。
• 作者的解读：无约束与符号约束的 rubric 随剂量变化都小，作者认为是准则表示本身限制了传递，而不必靠符号约束。准则可以惩罚差别对待，但不能直接编码哪个群体受益，因此不能直接偏好符合刻板印象的推荐；若其他准则特征与这些推荐相关，仍可能学到。Gemma 与 Qwen 的结果类似（Figure A6），正文未给单独数字。

其他消融与分析

• 联合网格：Figure A5，政治权重下有害性相对稳定；提高有用性大体保留政治排序，Gemma 在强保守权重下更自由派。
• 能力：200 题 MMLU 与 200 条严格 IFEval（Figure A12、A13）。系数间大体稳定，部分微调模型低于未训练基线。图注写 Gemma 的严格 IFEval 多高于参考线，Qwen 与 GPT-OSS 低于参考线。检查器不完全确定，重评大约可改变两个百分点；各模型用同一固定随机状态。正文未给各点百分比。
• 排序相关：附录 G，有用–有害上 GPT-OSS 的 rubric 与神经奖励 Spearman 为 0.35–0.45；Gemma、Qwen 与神经模型的一致性约相当于神经模型彼此之间。其他评测更低（Figure A4），正文未给区间。
• 符号约束：合意行为系数非负、不合意非正，两条政治论证条目不约束。有用–有害上与神经模型的相关为 Gemma 与 Qwen 的 0.69–0.91、GPT-OSS 的 0.37–0.50（Figure A7、A8）。作者称转向结果与无约束版本性质类似（Figure A9–A11）。
• 评分重试：约 235 万条 Gemma 条目评分中 1 条、Qwen 2 条、GPT-OSS 5,333 条（0.2%）在温度 0.7 下重试。4,800 条 Gemma 招聘回复中 48 条未按模板，仍保留。
• 注入偏见后的能力：Figure A16、A17，MMLU 随 q 无一致下降；严格 IFEval 变化较小，Gemma 多高于参考线，Qwen 接近，GPT-OSS 多接近或低于参考线。正文未给各点百分比。

作者指出的局限与后续方向

• 只评了部分维度：转向只在准则的一个子集上评估。效应能泛化到留出设置，但作者写明还需要进一步工作，以确定定点控制能在多大程度上延伸到其他行为，以及它们之间更复杂的交互（Section 6）。
• 依赖准则与评分：方法依赖准则质量和评分准确性。作者写明，尽管经过反复评分和修订，残留测量误差仍可影响奖励估计和被选入训练的回复（Section 6）。
• 未写入准则的行为：任何被省略的行为都不在直接控制之内，并可能成为优化压力被转向的代理（Section 6）。
• 离策略设定：实验从固定候选池选择后再微调。作者写明，这留下了在线优化下 rubric 奖励会如何表现的问题，包括更强优化压力是否诱发奖励黑客或其他非预期行为（Section 6）。
• 不决定该优化什么：可解释奖励并不决定应选择哪些对齐优先级。作者写明，宪法和偏好数据都不解决模型应反映谁的价值，或竞争目标最终如何平衡（Section 6）。

实验覆盖范围

• 模型：被微调的基座是 Gemma 3 12B、Qwen3 14B、GPT-OSS 20B。Figure 2 与 Figure 3 另在同一题上评估了图中标注的开源与闭源对比模型。
• 干预：转向旋钮为政治论证、四条有用性准则和谄媚惩罚，并联合变化前两者。标签偏见实验为谄媚系数修正，以及性别刻板偏好注入；神经奖励为 Skywork-Reward-V2 8B/3B/1B、QRM-Gemma-2-27B 和 DeBERTa-v3-large。
• 分布外：7 个留出政治议题族；有害请求中的四类标签；论证类文本；MovieLens 1M 电影推荐。各子集样本量见 Table A1。能力评测为 200 题 MMLU 与 200 条严格 IFEval。
• 评审与重复：政治倾向、有用性、有害性由 gpt-5.6-luna 打分。论文未报告该评审与人工判断的一致性。每个系数设置 seed 0 运行一次，区间为 95% 正态置信区间。
• 偏好与训练：主实验的排序来自各基座在 Claude 宪法下的选择，不是新收集的人类偏好。训练是固定候选池上的 SFT。附录用符号约束奖励复现了转向和性别实验，作者称性质类似。

作者给出一条从通用宪法到可调训练奖励的路径，用来检查并改写模型实际被优化的优先级。

• 问题：偏好方法把多种考量收成汇总判断，原则方法又停在高层表述。两者都难以只改某一行为的奖励，同时保住其他方面的对齐。
• 方法：Claude 宪法被译成 329 条可评分准则，实验使用其中 89 条。Gemma 3 12B、Qwen3 14B、GPT-OSS 20B 各自按宪法给候选排序，拟合准则分数的线性加权奖励。之后只改选定系数，从同一候选池选出回复做 SFT。
• 转向：增大保守论证相对自由派论证的奖励后，三款模型的回答更保守，并出现在训练未覆盖的议题上。作者称 Gemma 与 Qwen 能到达或超出图中对比模型范围的两端。只提高四条有用性准则的奖励、不改有害项系数，有用性与有害性仍同时上升。两套权重大体分开起作用；提高有用性会使部分模型更自由派，尤其是强保守权重下的 Gemma。
• 标签偏见：Gemma 的拟合谄媚系数为正，尽管宪法不鼓励谄媚；加大惩罚后，用户喜欢与不喜欢同一文本时的评分差下降，论证类分布外文本上也如此。更强惩罚下低于对比模型，仍有残余敏感。以概率 q 注入性别刻板偏好后，黑盒奖励训练出的 GPT-OSS 更常给出性别对齐推荐；两种 rubric 奖励下变化较小，经神经奖励传入的偏见延伸到电影推荐。q=0 时刻板对齐偏好占比为 0.52–0.58，q=1 时为 1。
• 作者的结论：作者称，尽管从通用宪法得到的高维奖励上做局部改动，不一定会变成可预测、局部的行为变化，这些实验里简单重加权改变了目标行为，其他被测目标相对稳定。该表示把法官碰巧偏好的东西和模型应当优化的东西分开，但不决定应当选择哪些价值。