论文提出对齐泛化预测任务，用激活表征预测微调价值观的跨情境影响

如何在训练前预测：把模型微调到遵循某一价值后，它在大量未见价值上的行为会如何变化。

• 出现场景：开发者把亲社会价值写入 alignment target，再用 Constitutional AI、RLHF 或 Character Training 训练。作者称，窄行为训练仍会以意外方式影响未见情境。
• 现有不足：作者称，特质在训练中如何相互作用仍不清楚，重要设计多靠领先公司内部的哲学讨论。作者转述，把模型训练得更共情，可能使其更易宣扬阴谋论或给出有问题的建议。
• 核心观察：直接研究价值组合要训练并测试过多模型。作者因此借用通用嵌入的思路，在训练前预测特质相互作用。
• 本文任务：作者定义 alignment generalization prediction，即预测在价值 v1 上微调后，模型对未训练价值 v2 的依从如何变化。ground truth 是泛化矩阵 G。
• 本文提出：在 CONSTITUTION 的 66 个价值上比较表征对 G 的预测力，再用于多价值目标的连贯性，并对 VITW 的 266 个价值做 VALUE MAP。作者称该分类依据经验泛化动态，而非价值描述，并称这是此类分类的首次尝试。

预测微调效应

• 影响函数与数据点：Influence functions（Koh & Liang, 2017）建模单个数据点对训练后网络的影响；同类思路后被用于 LLM 微调。Movva et al. (2026) 用稀疏自编码器抽取后训练数据的特征。
• 数据子集：Datamodels（Ilyas et al., 2022）预测在数据子集上训练、再于固定目标样本上评估的结果。Hamidieh et al. (2026) 与 Zeng et al. (2025) 进一步建模训练子集之间的相互作用。
• 与本文最接近的工作：Sun et al. (2026) 从具体训练集预测对 LLM 价值的影响。作者称其与本文最接近，但本文问的是编码某价值的训练何时泛化到其他价值，并用于对齐目标设计，而不是后训练数据筛选。Blank et al. (2026) 提出教师模型生成的数据可能编码 steering vectors。

非预期泛化

• 窄数据到广泛失准：Betley et al. (2025) 报告不安全代码微调会得到广泛且严重失准的模型。Denison et al. (2024) 与 MacDiarmid et al. (2025) 分别报告谄媚和奖励黑客也会广泛泛化到失准行为。
• 有益价值的副作用：Ibrahim et al. (2026) 报告把模型训练得更温暖、更共情会带来谄媚和更高错误率。Arora et al. (2026) 报告多种有益价值训练会使模型更倾向于附和。Jagadeesh et al. (2026) 则报告特定正向特质也可带来更广的对齐行为。
• 推理时偏移：Kearney et al. (2026) 发现用不同语言提示时 Claude 表达的价值有很大变化。作者据此称，即便推理时的分布偏移也会改变行为。

用合成数据塑造对齐泛化

• 原则文档与课程：Cho et al. (2026) 在描述期望原则的文档上做 midtraining，并用聚类设计课程。作者称这是价值嵌入的一个潜在用途。
• spec 文档：Li et al. (2026) 在描述模型遵守 spec 的合成文档上训练，以帮助从单条原则泛化到更广的 spec 对齐。
• 正向行为先验：McDougall et al. (2026)、Kutasov et al. (2026) 与 Tice et al. (2026) 在描述正向行为与动机的合成文档上训练，以改善最终检查点的对齐鲁棒性。

基线方法与数据集

• 预测基线：DESCRIPTION-EMBD（all-mpnet-base-v2，作者称类似 Huang et al., 2025）、BEHAVIOR-EMBD、WEIGHT（Fierro & Roger, 2026）、PERSONA（Chen et al., 2025）、GRADIENT（Sun et al., 2026）。对照矩阵来自 CONSTITUTION 上的单价值 DPO/SFT 与 ConflictScope。
• 分类基线：Values in the Wild（Huang et al., 2025，句子嵌入聚类）与 LitmusValues（Chiu et al., 2026，映射到 16 类人类价值）。论文在 §6.3 比较三者能否找回 G 的结构。

作者把分析放在宽泛价值而非单个数据点上，因此问题形式更接近 Datamodels；相对 Sun et al. (2026)，用途是对齐目标设计。相对按描述聚类的分类，作者用能预测泛化的表征给价值分组。

整体是先在单价值训练上算出泛化矩阵 G，再看价值表征的两两相似度能否在训练前预测 G；预测力较强的表征接着用于多价值连贯性和 VALUE MAP。

价值与对齐目标

价值沿用 Rokeach 的定义：指导行动的标准，受挑战时最明显。评测采用 Liu et al. (2026) 的操作化：冲突场景是四元组 (d, A, v1, v2)，智能体必须从两个动作中选一个，且两个价值推荐的动作不同。本文的对齐目标是希望引导模型的价值列表。

训练用 CONSTITUTION：Jakkli et al. (2026) 的 211 条 constitution tenets，经 LLM 过滤与人工去重得到 66 个价值。分类用 VITW，改编 Huang et al. (2025) 的 266 个 L1 价值。附录 A 给出过滤与改写提示词。

单价值训练与泛化矩阵

两种常用塑形方式。DPO：先在 19,748 条价值中性的 Tulu 3 子集上做 SFT，再对每个价值用 4,000 对偏好做 DPO，得到 49 个价值；其余因公开偏好数据不足而舍弃。偏好来自 HH-RLHF、PKU-SafeRLHF、HelpSteer 2、UltraFeedback、WildFeedback、Community-Alignment，由 Qwen-3.6-27B 标注，两侧概率差至少 0.5 才算相关。超参为 AdamW、学习率 5×10^-6、beta 0.1、有效 batch 16、1 epoch。

SFT 使用 Li et al. (2026) 的生成管线：Qwen-3.6-27B 为每个价值生成 5,000 条合成对话，66 个价值各训一个检查点。AdamW、学习率 1×10^-5、有效 batch 16、1 epoch。§4.2 只在与 DPO 相同的 49 个价值上比较。基座为 Olmo-3-7B、Olmo-3-32B、Qwen-3-8B-Base、Qwen-3-30B-A3B-Base。

评测用 ConflictScope。2,145 个价值对中，去掉 all-MiniLM-L6-v2 余弦相似度不低于 0.5 的对，剩 2,029 对；每对生成 20 个场景，质量过滤后 11,188 个。Qwen-3.6-27B 为含 v2 的场景中的行动打分，平均成依从分，范围 0 到 1。

记基础模型为 M、v1 微调为 Mv1，二者在 v2 上的依从为 a 与 a'。G(v₁,v₂)=(a′−a)/(1−a) 当 a' 不低于 a，否则为 (a′−a)/a。它表示 v1 微调闭合了多少通向 v2 的剩余差距，下界为 −1。−1 表示微调后从不对齐 v2；0.5 表示闭合一半剩余差距。DPO 得到 49×66 的 G。

五种价值表征

除描述嵌入外，都在被训练的同一基座上，按 Chen et al. (2025) 为每个价值做引出集，含支持与反对该价值的回答。作者用通用引出集，以说明预测不需要训练或评测流程的特权信息。

• DESCRIPTION-EMBD：用 all-mpnet-base-v2 嵌入价值描述。
• BEHAVIOR-EMBD：同一模型嵌入正、负回答，取差后对提示平均。
• WEIGHT：按 Fierro & Roger (2026)，对每条引出提示分别朝正、负回答微调，取权重差。
• PERSONA：按 Chen et al. (2025)，各层正负回答的平均激活差；在留出问题上以系数 1.5 扫描层，选转向最强的层。小模型为 Olmo 第 16 层、Qwen 第 18 层；更大模型按相对深度固定为第 32 与第 24 层。
• GRADIENT：按 Sun et al. (2026)，对引出偏好对计算 DPO 损失相对残差流激活的梯度并平均；层与 PERSONA 相同。

质量定义为：价值对的表征余弦相似度与 G 的 off-diagonal Spearman ρ。附录 D 给出计算细节。

多价值连贯性

对目标 T 与嵌入 E，连贯性是其中价值嵌入的平均成对余弦相似度。作者假设更连贯的特质集合会让微调模型更稳健地遵守目标，并把它操作化为 prefill robustness：在恰好一个冲突价值属于 T 的场景上，先测直接回答，再注入反目标 prefill 和一条通用追问，看原先对齐目标的回答是否仍对齐。指标是该保持率经基线依从归一化后的值。

64 个目标各含 6 个随机价值。先抽 100,000 个六价值集合，用价值中性 Qwen-3-8B-SFT 的 PERSONA 连贯性取 0.1% 与 99.9% 分位，等宽分四箱，每箱抽 16 个。在 Qwen-3-8B 上用 DPO 训练，每价值 2,000 条、共 12,000 条；每个目标 300 个场景。作者假设 PERSONA 连贯性能预测该鲁棒性，描述嵌入则不能。

VALUE MAP

在中性 SFT 后的 Olmo-3-7B 与 Qwen-3-8B-Base 上，对五种表征按余弦距离聚类，算法为 UPGMA、k-medoids，以及 MDS 坐标上的 k-means。调整后 silhouette 用 M=2,000 个同规模随机划分的均值和标准差校正原始分数。作者报告 PERSONA 与 k-medoids 的组合最高。选定后不再调参，直接用于 VITW。

实例化用未参与 §3 训练的 Olmo-3.1-32B-SFT，k-medoids 且 k=4。作者将四类命名为 attunement（n=70）、rigor（n=55）、integrity（n=52）、stewardship（n=89）。Figure 4 用 MDS 投影，图注称阴影是各类距质心最近的 90% 点的凸包。

实验设置

• 被测模型：单价值训练为 Olmo-3-7B、Olmo-3-32B、Qwen-3-8B-Base、Qwen-3-30B-A3B-Base，各做 DPO 与 SFT。多价值实验写的是 Qwen-3-8B。VALUE MAP 的表征来自 Olmo-3.1-32B-SFT。Table 1 的表征默认在被训练的同一基座上计算。
• 数据：CONSTITUTION 66 个价值，DPO 为 49 个；VITW 266 个。ConflictScope 过滤后 11,188 个场景。
• 对照：五种表征；分类对照为 Values in the Wild 与 LitmusValues（16 类）。
• 指标：G；相似度与 G 的 off-diagonal Spearman ρ；目标连贯性；对抗 prefill 后仍对齐目标的归一化比率；adjusted silhouette。
• 评审：场景生成、过滤和依从打分用 Qwen-3.6-27B。Table 1 的 ± 为 bootstrap 的 95% 置信区间。论文未写训练重复次数。

主结果

表征	汇总 Spearman ρ（Table 1）
Ceiling	0.89
PERSONA	0.45 ± 0.07
GRADIENT	0.42 ± 0.05
BEHAVIOR-EMBD	0.35 ± 0.05
WEIGHT	0.23 ± 0.05
DESCRIPTION-EMBD	0.05 ± 0.03

• 作者解读：作者称，在情境中应用价值时的激活表征优于文本描述；描述嵌入的相关很低，说明泛化由描述未捕捉的行为模式驱动。同一嵌入模型下，给出对齐行为示例的 BEHAVIOR-EMBD 高于纯描述，但仍低于激活类方法。
• 单格例外：Table 1 中 PERSONA 最高为 Olmo3-7B DPO 的 0.51，最低为 Qwen3-30B SFT 的 0.39。GRADIENT 最高为 Olmo3-7B DPO 的 0.54，最低为 Olmo3-32B SFT 的 0.24，该格低于 BEHAVIOR-EMBD 的 0.33。WEIGHT 最低为 Qwen3-8B SFT 的 0.08。
• 上界：Ceiling 是各 G 与其对称化版本的相关，八格为 0.86 至 0.92。作者用它作为对称相似度矩阵预测不对称 G 的上界。

跨模型相似度

• 测了什么：八个基座×训练组合上各算 66×66 的 PERSONA 相似度矩阵，再两两相关（Table 2）。
• 结果：正文称平均 Spearman ρ 为 0.84。§E 另称八组泛化矩阵的平均成对 Spearman ρ 为 0.76。
• 作者解读：作者称这些模型以高度相似的方式表示这些价值，是共享、较少依赖具体模型的价值空间的初步证据。

Prefill 鲁棒性

• 测了什么：64 个六价值目标，Qwen-3-8B，DPO。横轴为 PERSONA 嵌入的目标连贯性，纵轴为对抗 prefill 后的目标依从（Fig. 3）。
• 结果：PERSONA 连贯性与 prefill 鲁棒性的 Spearman ρ 为 0.43，p 为 5×10^-4；DESCRIPTION-EMBD 连贯性为 0.12，p 为 0.37。
• 作者解读：作者称，即使按基线依从做了归一化，相关仍然存在，且依赖于嵌入。§G 称在 Maiya et al. (2025) 与 Sturgeon et al. (2026) 的指标下也成立；正文未给这两套指标的数字。

VALUE MAP 与泛化结构

• 测了什么：八组 49×66 泛化矩阵上，把每个训练价值的一行当作其泛化模式，比较三种分类能否把泛化相似的价值分在一起。
• 结果：Table 3 汇总 adjusted silhouette 为 VALUE MAP 2.61±0.13、LitmusValues 1.62±0.17、Values in the Wild 0.95±0.09。八行里 VALUE MAP 的点估计都更高；Olmo-32B DPO 上与 LitmusValues 接近，为 2.15±0.13 对 2.12±0.32。Figure 4 标注四类样本量：Attunement 70、Rigor 55、Integrity 52、Stewardship 89。
• 作者解读：作者称差异大体显著，且 VALUE MAP 也能预测设计分类时未使用的模型与价值集上的矩阵。作者将其归于分类建立在经验泛化动态上。作者还称四类与 Values in the Wild 部分相似，两边都有与任务完成、与无害相关的簇。

其他消融与分析

• 转向度量：Qwen-3-8B DPO 上，本文 Likert 度量与二值、原 ConflictScope、原始差值的 Spearman ρ 至少为 0.96（Table 6）；原度量最小格为 −6.20，本文分段度量最小格为 −0.79。
• 层选择：Fig. 6 正文称，除 Qwen 最后一层外，各层 PERSONA 相似度网格与选定层的平均 Spearman 相关高于 0.9。
• 直接效应：Fig. 7 正文称，八种干预的平均对角线 steerability 为 26% 到 42%，非对角线格子的平均幅度更低。
• 引出数据：§F 称预测表现并未因引出数据质量而大幅提高；正文未给该比较的 ρ。
• DPO 因公开偏好数据不足丢掉 17 个 CONSTITUTION 价值，只保留 49 个。
• §I 称不同模型族上的价值空间相对一致；正文未给该比较的数字。

作者指出的局限与后续方向

论文未单列 Limitations。Conclusion（§8）写出的后续方向如下。

• 更稳健的预测：作者称目前表现最好的表征对对齐泛化有一定预测力，未来可以发展更稳健的预测方法。
• 数据中的特质编码：作者提出更充分考察不同行为特质如何编码在微调数据里，从而得到更强的通用价值嵌入。
• 更现实的训练：作者提出把 VALUE MAP 用于更现实的对齐训练，研究不同类型价值与行为之间的相互作用。

实验覆盖范围

• 单价值训练：四个基座（Olmo-3-7B、Olmo-3-32B、Qwen-3-8B-Base、Qwen-3-30B-A3B-Base）各做 DPO 与 SFT；DPO 为 49 个价值，SFT 数据覆盖 66 个，§4.2 的比较用相同的 49 个（§3）。
• 评测：ConflictScope 过滤后 11,188 个场景，依从分由 Qwen-3.6-27B 判定（§3.3、附录 C）。五种表征与 G 的 off-diagonal Spearman ρ 见 Table 1，区间来自 bootstrap。
• 多价值：Qwen-3-8B 上 64 个、各含 6 个价值的 DPO 目标，指标为 prefill robustness；连贯性同时用 PERSONA 与 DESCRIPTION-EMBD（§5、Fig. 3）。
• 分类：方法选择在中性 SFT 后的 Olmo-3-7B 与 Qwen-3-8B-Base 上进行；VALUE MAP 用 Olmo-3.1-32B-SFT 的 PERSONA，对 VITW 的 266 个价值做 k-medoids、k=4，并与 Values in the Wild、LitmusValues 比较（§6、Table 3）。
• 未报告项：论文未报告训练随机种子或重复次数，也未报告 ConflictScope 评审与人工的一致性。

作者把“单价值微调会如何改变未训练价值上的依从”定义成可在训练前预测的任务，并用价值表征来做这件事。

• 问题：alignment target 列出期望价值后再训练，窄行为仍会迁移到未见价值；亲社会价值也可能连带不想要的行为。穷举价值组合来训练并测试并不可行。
• 做法：在四个开源基座上分别做单价值 DPO 与 SFT，用 ConflictScope 的价值冲突场景构成泛化矩阵 G。再比较描述嵌入、行为差嵌入，以及 PERSONA、GRADIENT、WEIGHT 的余弦相似度能否预测 G 的非对角元。
• 预测结果：Table 1 中 PERSONA 的汇总 Spearman ρ 为 0.45±0.07，描述嵌入为 0.05±0.03。八组 66×66 PERSONA 相似度矩阵的平均 ρ 为 0.84。作者称这是跨模型共享价值空间的初步证据。
• 下游用途：在 Qwen-3-8B 的 64 个六价值目标上，PERSONA 连贯性与 prefill 鲁棒性的 ρ 为 0.43（p 为 5×10^-4），描述嵌入为 0.12（p 为 0.37）。VALUE MAP 在八组泛化矩阵上的汇总 adjusted silhouette 为 2.61±0.13，高于 Values in the Wild 的 0.95±0.09 和 LitmusValues 的 1.62±0.17（Table 3）。
• 作者结论：作者称，情境中应用价值时的激活与行为表征能编码价值空间的结构，因而可用于更经验化地设计对齐目标；并称目前最好的表征仍只是有一定预测力，后续还可以更稳健，也可以把该分类用于更现实的对齐训练。