Spillover-Aware Multi-Value Steering：面向多元对齐的 LLM 激活引导去纠缠方法

同时转向多个价值维度时，针对某一价值的效应会泄漏到其他维度，使偏好向量失去维度特异性。

• 场景：气候等问题上，不同利益相关者需要不同侧重。作者认为标准对齐给出的是平均偏好的单一回答，多元对齐（pluralistic alignment）承认没有一种回答能服务所有人。
• 现有不足：训练时方法在偏好改变后需要重训或维护多份检查点；基于提示词的方法难以表达连续权重，例如 w=(0.7, 0.3, 0, 0)。激活转向可连续调节且不改权重，但现有方法一次只处理一个概念，且只报告目标效应、不测非目标维度。
• 核心观察：朴素地把各方向加权相加会产生溢出（spillover）。作者称最好的未校正变体 NSE 只有 5.9%；加大强度会按 Gram 矩阵固定的比例同时放大目标效应与泄漏。
• 本文提出：把该失败形式化为净转向效应 NSE = TargetEffect − Spillover，并用转向方向的 Gram 矩阵 G 诊断几何纠缠，由激活范数惩罚目标推出零额外成本的校正 H=G⁻¹。端到端流程只需领域问题，自动发现维度、提取方向、诊断纠缠并施加校正，无需微调、奖励模型或手工提示工程。

作者称在气候话语上，校正把净转向效应从 +5.9% 提到 +14.0%，经超过 100,000 次成对判断验证。

训练时多元对齐

• RLHF（Ouyang et al., 2022）、DPO（Rafailov et al., 2023）：对齐到单一聚合偏好，隐式固定一组价值权重。
• Safe RLHF（Dai et al., 2023）、MODPO（Zhou et al., 2023）、Rewarded Soups（Ramé et al., 2023）、PAL（Chen et al., 2025a）：把对齐拆成多个目标、插值奖励检查点，或从异质标注者学习偏好原型。
• GAPO（Li et al., 2025）、OrthAlign（Lin et al., 2026）：用梯度正交化或正交参数分解减轻目标间干扰。作者称二者与 G⁻¹ 去相关概念相关，但作用在梯度或参数空间，且部署后改 w 仍需重训或保留 K 份检查点。

推理时多元对齐

• Modular Pluralism（Feng et al., 2024）：用三种多元模式在社区专用模型之间路由。
• PICACO（Jiang et al., 2025a）：用总相关优化元指令，处理最多 8 个价值。
• ValueFlow（Kim et al., 2026）：用基于锚点的排序做校准强度控制。作者称这些方法在提示空间选择或组合文本指令，连续的 w 不能自然写成单条提示。

单概念激活转向

• ActAdd（Turner et al., 2024）、CAA（Rimsky et al., 2024）、RepE（Zou et al., 2023）、ITI（Li et al., 2023a）：分别用对比对均值差、数据集平均、对比激活的 PCA，以及在探针定位的注意力头上干预。后续工作包括条件激活、输入自适应缩放和基于 SAE 的特征转向；ConVA（Jin et al., 2025）一次训练并门控一个价值向量。作者称这些评测只看目标行为是否改变。

多属性转向与基线

• Weij et al. (2024)：指出朴素向量求和因特征纠缠而失败，建议把不同向量注入不同层；作者称该启发式在部分情形避开干扰，但不保证，且作者称不超出 2–3 个属性。
• Persona Vectors（Chen et al., 2025b）、NeVA（Yang et al., 2026）：观察到特质间余弦相似度最高 0.3–0.5，以及编辑价值相关神经元时的跨价值泄漏；作者称二者把这当作发现而非要解决的问题。
• MSRS（Jiang et al., 2025b）、steering tokens（Radevski et al., 2026）、COAST（Nguyen et al., 2026）：前者用训练模块分离共享子空间与属性私有子空间，或在正交正则下把行为蒸馏进输入嵌入；COAST 用激活的前向二阶矩矩阵衰减单方向的附带移动。作者称自己用 G 与条件数 κ(G) 做诊断，并以闭式 G⁻¹ 在推理时联合去相关全部 K 个方向，无需训练。

基线与数据：实验基线为 Probe、Contrast（CAA 式）、ActAdd、RepE 的 H=I 与 H=G⁻¹，以及按 Weij et al. (2024) 的分层启发式。主测试床是 1,255 条带四维价值标签的 StackExchange 气候问题。

作者把本文定位为：与推理时方法一样不重训，但在激活空间用连续 w 操作；并用受 Hudgens & Halloran (2008) 处理效应相对溢出分解启发的 NSE 评价校正。

整体上，G⁻¹ 校正的多价值激活转向把利益相关者偏好 w 映成转向系数，使扰动在每个方向上的投影恰好等于所请求的权重。

问题设定与形式化

• 加性干预：单概念时 h′ = h + αd。K 维同时转向写成 h′ = h + Dα，D 收集单位方向 d1…dK。偏好 w∈R^K，例如 w=e3 只强调第三维。
• 线性校正：α* = Hw。作者把 H 限制为线性，理由是 K²=16 个参数可从有限数据估计，且精确去相关只在线性 H 下成立。现有单概念方法隐式取 H=I。
• 几何泄漏：Gij = di⊤dj。单位化后 G 即余弦矩阵，对角为 1。H=I 且 w=ei 时，扰动在非目标方向 j 上的投影等于 Gji。作者举例：若 Gji=0.7，则目标激活的 70% 漏入维度 j。κ(G)=1 表示完全正交，越大纠缠越重。
• NSE：成对比较同一问题的转向回答与未转向基线，由评判者判断哪一方更强调指定维度。TargetEffecti 是在维度 i 上转向回答胜出的概率；Spilloveri 是在其余维度上该概率的平均。NSEi = TargetEffecti − Spilloveri，再对 K 个目标取平均。理想情况是目标效应高、溢出不超过 50%。

几何校正

• 精确去相关：取 α = G⁻¹w 时，扰动在 dj 上的投影等于 wj，对任意 w 与任意强度成立，不依赖小 α 或生成过程的线性化。作者的直觉是 G⁻¹ 构造对偶基。该校正也可由范数正则的对齐目标推出（附录 L）。
• 按需泄漏：仅在 wj=0 的维度上把跨维移动驱到零；两个相关价值可同时给非零权重一起移动，溢出容忍由 w 的形状表达，没有单独旋钮（附录 N）。强共线的活跃方向可用 Hβ=(G+βI)⁻¹（附录 U）。
• 未采用的更强校正：还可估计评判强调对转向的因果响应 M。作者称在转向真正起作用的扰动尺度上，该估计被噪声主导（逐题变异系数 11.8），诱导的 Fisher 加权 Gram 矩阵量级落到 10⁻⁴，系数不可用。作者认为障碍来自加性干预机制，G⁻¹ 是该族中仍可用的成员（附录 G）。
• 生成时改动：只把 w 换成 G⁻¹w 再算 Dα，不需要额外训练、奖励模型、生成或评测。

端到端流水线

• Stage 1 发现维度：LLM 按道德心理学文献播种的候选维度标注领域问题。相关压缩把 12 个候选收成 4 个核心维度：Accuracy、TechEcon、SocialJustice、FutureEthics，作者称捕获 82.5% 方差。无监督聚类不能恢复价值结构（附录 K）。
• Stage 2 提取方向：末 token 激活上的逻辑回归探针验证分类体系（均值 F1=0.77；跨域迁移 F1=0.74，附录 B）。转向矩阵 D 用 persona 提示与中性提示前向的激活均值差（CAA 式）。作者称探针几何干净但因果上惰性，对比方向可转向但纠缠。
• Stage 3–4：由对比方向计算 G=D⊤D 并查看 κ(G)；κ 大则朴素转向会溢出。对任意 w 计算 α=G⁻¹w，把 Dα 加到生成时的隐藏状态。
• 四类方向：Probe 为检测“是否涉及价值 k”的判别方向；Contrast 为全部 1,255 题上的生成式均值差；ActAdd 为单个对比对；RepE 取对比激活的 PC1。作者报告生成式方向 κ(G) 为 11.3–16.4、非对角 0.70–0.85，Probe 的 κ(G)=1.75、非对角低于 0.20；探针与对比方向余弦 0.01–0.09（附录 D）。Table 1 中 3B 上 Contrast 的 κ 为 24.4，与 §4 的区间不是同一处数字。

成功判定

• 比较协议：同一问题、相同生成参数下，转向回答对未转向基线。绝对打分在同一数据上 R²<0.03（附录 H），故用成对比较。主实验使用一热 w=ei。混合 w 的推广由干预的线性性推出，并在附录 N 实证。
• 方向与层：层选为跨维度平均探针 F1 最高者。转向强度校准到 ∥Dα∥/∥h∥≈15%。全部方向单位化。乘性缩放或子空间投影在本文设置中转向效果较差（§5、附录 E）。

实验设置

• 模型与层：主实验 Llama-3.2-3B-Instruct（层 14，α=26）；跨尺度 Llama-3.1-8B-Instruct（层 20，α=20）；跨架构 Qwen2.5-7B-Instruct（附录 O；Figure 1 含该模型，RepE 未提取）。探针跨域迁移另在 Llama-3.2-1B-Instruct 层 8 上评估。
• 数据：1,255 条 StackExchange 气候问题，四维标签。测试集 3B 为 200 题、8B 为 100 题。另有从零构建的 Medical Ethics 域（附录 Q），以及 3,235 条 Yahoo Answers 气候问题用于探针迁移。
• 方法：四类方向各配 H=I 与 H=G⁻¹，共八个方法，再加分层启发式，共九个基线。生成用贪心解码，最长 256 token。主实验 w 为一热向量。
• 评审：评判模型为 DeepSeek-Chat；每次比较 3 次判断，A/B 位置随机，多数投票，平局计 0.5。指标为 TargetEffect、Spillover 与 NSE。交叉评判使用 GPT-4o 与 GPT-5-mini。摘要称校正经超过 100,000 次成对判断验证。
• 探针：Llama-3.1-8B 层 20、5 折交叉验证、n=1,255（Table 5）。

主结果

据 Table 1（Llama-3.2-3B-Instruct，200 题，4 个目标维，每次比较 3 名评判）：

Swipe horizontally to read the table

方向	κ(G)	H	Target	Spillover	NSE
Contrast	24.4	G⁻¹	56.8%	42.9%	+14.0%
Contrast	24.4	I	55.2%	49.4%	+5.9%
RepE	7.8	G⁻¹	57.5%	49.5%	+7.8%
RepE	7.8	I	53.3%	49.6%	+3.7%
ActAdd	14.2	G⁻¹	53.4%	46.9%	+6.4%
ActAdd	14.2	I	52.1%	48.2%	+3.2%
Probe	1.9	I	55.5%	49.7%	+5.8%
Layer-sep	—	heuristic	50.6%	49.1%	+1.5%

• 作者解读：contrast_ginv 的 NSE 为 14.0%，对其未校正对照 5.9%（z=3.40，p<0.001），且没有任何未校正方法超过 6%。校正对每种生成式方向都有提升：Contrast +8.1 个百分点，RepE +4.1，ActAdd +3.2。分层启发式只有 1.5%。
• 机制差异：作者称 contrast_ginv 把溢出压到 50% 机会水平以下（42.9%），因为对比方向把 70.8% 方差集中在一个共享特征向量，求逆减去该成分；repe_ginv 的溢出留在机会水平（49.5%），目标上升。去相关后被评流畅度基本不变，相对朴素转向困惑度中位数只增加 +0.19（附录 T）。
• 与提示词：在同样 200 题上，指示模型强调目标价值的宏平均 NSE 为 +16.9%，与 contrast_ginv 的 +14.0% 差异无统计显著性（配对 bootstrap p=0.23）。作者称把指令与重新校准强度的校正转向叠在一起达到 +27.7% 宏平均 NSE，回答质量与单独校正转向相同（附录 V）。

分维度与跨模型

• Table 2（3B，200 题）：contrast_ginv 的 NSE 为 Accuracy +16.3%、TechEcon +13.4%、SocialJustice +23.2%、FutureEthics +2.7%（对应 Target/Spillover：65.0/48.8、53.0/39.6、60.5/37.2、48.8/46.0）。repe_ginv 为 +12.2%、+14.1%、−5.4%、+11.2%。作者称二者互补，且当底层方向不携带某维信号时，G⁻¹ 不能创造出该信号。
• Figure 1 与 §5.3：Llama-3.1-8B（100 题，层 20，α=20）上 actadd_ginv 为 6.0% 对朴素 1.6%（+4.4 pp），repe_ginv 为 4.2% 对 1.0%（+3.2 pp），contrast_ginv 为 3.4% 对 1.0%（+2.4 pp）。作者称 100 题上 6.0%、4.2%、3.4% 的差异在噪声范围内，排序应谨慎。Qwen2.5-7B 上 κcontrast=11.78，contrast_ginv 相对朴素 +4.7 pp，actadd_ginv +2.5 pp；Figure 1 标注的 NSE 包括 Contrast 校正 7.2、朴素 2.5，ActAdd 校正 5.4、朴素 2.9。作者称校正在 α 变化 3 倍范围内提升 NSE，且没有灾难性崩溃（附录 I）。
• 评判与人工：用 GPT-4o 重判完整方法矩阵，作者称复现方法级结果（contrast_ginv +15.25% 对 +15.42%）；单条比较上评判者仅中度一致（Cohen’s κ=0.393，序数 Krippendorff’s α=0.349）。Table 32：240 条中人工选择转向回答的比率，目标项上 contrast_ginv 0.327、contrast_naive 0.149，溢出项上 0.136 对 0.115；人与评判一致率 0.704（κ=0.508，n=240），三名全覆盖标注者 Fleiss κ=0.405。

其他消融与分析

• K 维扩展（附录 P）：κ(G) 从 K=4 的 24.4 升到 K=12 的 329.7；朴素宏 NSE 在 K=8 为 −3.5%、K=10 为 −3.4%；校正在 K=8、10、12 为 +9.0%、+6.7%、+17.8%。
• Medical Ethics（附录 Q）：四原则近正交，κ(G)=5.30，校正带来 +11.7 个百分点增益。
• 探针（Table 5，8B 层 20）：F1 为 Accuracy 0.93±0.04、TechEcon 0.79±0.02、SocialJustice 0.65±0.03、FutureEthics 0.76±0.02。跨域到 Yahoo Answers（1B，层 8）均值 F1 下降 0.04。
• Gram（Table 6–8）：3B 的 κ 为 Probe 1.90、ActAdd 14.15、Contrast 24.37、RepE 7.77；3B Contrast 非对角最高为 SJ–FE 的 +0.87。Table 7 中 3B Contrast 第一特征值占 76.7% 方差；正文另称 70.8%，两处数字不同。
• 层与检测–控制间隙：校正在层 10、14、18 都提升 NSE（附录 S）。8B 层 20 上探针与匹配生成方向的 12 个余弦都在 0.01–0.09，作者称不显著高于随机基线（p=0.89）。跨层 ∥Gℓ−Gℓ′∥F<0.08。
• 分类体系（附录 A）：12 维压缩后流行度为 Accuracy 91.4%、TechEcon 38.2%、SocialJustice 27.6%、FutureEthics 49.3%。去掉单个子维最多改变 14.4% 的压缩标签（Table 4）。

作者指出的局限与后续方向

• 领域范围：流水线在气候话语上验证，并在 Medical Ethics 上从零复现；作者称更广的多领域验证仍是后续工作（Conclusion）。
• 最优校正：作者称完整最优校正 H* 在当前加性转向机制下数值不稳定（Conclusion；§4.1 与附录 G 说明 Fisher 加权估计在有效扰动尺度上噪声主导）。
• 方向类型：作者称一种同时具备判别性、可转向且几何干净的统一方向类型仍然开放（Conclusion）。
• 延伸讨论：作者把局限、与训练时方法的联系以及未来方向放在附录 L（§5.4、Conclusion）。正文点名的一处是输入依赖的因果效应：逐题因果雅可比 M(x) 随问题类型系统变化（附录 A 指向附录 L）。
• 校正不是万能：Table 2 上 repe_ginv 的 SocialJustice NSE 为 −5.4%。作者称当底层方向不携带该维信号时，几何校正不能把信号创造出来（§5.2）。这是结果中的失败情形，不是 Limitations 专节的表述。

实验覆盖范围

• 被测生成模型：主结果为 Llama-3.2-3B-Instruct（200 题，层 14，α=26）；跨尺度为 Llama-3.1-8B-Instruct（100 题，层 20，α=20）；跨架构为 Qwen2.5-7B-Instruct，Figure 1 未报告其 RepE。探针迁移使用 Llama-3.2-1B-Instruct。
• 领域与维度：主测试床为 1,255 条四维标签的 StackExchange 气候问题；附录 P 报告 K=8、10、12；附录 Q 为 Medical Ethics，κ(G)=5.30。主实验偏好为一热 w=ei，混合 w 在附录 N。
• 方向与基线：Probe、Contrast、ActAdd、RepE 的 H=I 与 H=G⁻¹，以及分层启发式。Probe 在 Table 1 只报告 H=I。替代干预（乘性缩放、子空间投影）在附录 E 被作者称为效果较差。
• 评审：主评判为 DeepSeek-Chat，每比较 3 次、多数投票。交叉评判为 GPT-4o 与 GPT-5-mini；单条 Cohen’s κ=0.393。人工研究为 240 条（115 条 contrast_ginv、125 条 contrast_naive），Table 32 给出人–评判 κ=0.508。
• 论文写明的配置：贪心解码、最长 256 token；强度校准到 ∥Dα∥/∥h∥≈15%；层选择按平均探针 F1，并在层 10、14、18 检查 NSE（附录 S）。摘要的“100,000+ pairwise judgments”未在实验设置中按模型拆开。

Spillover-Aware Multi-Value Steering 在推理时用 Gram 矩阵逆校正同时施加的多个价值转向方向，使多元对齐的偏好向量对应到可区分的价值侧重。

• 问题：激活转向一次只处理一个概念。多个方向相加时，几何纠缠使目标效应漏到其他维度。作者用 NSE = 目标效应 − 溢出来衡量维度特异性；NSE 接近 0 表示各维度被均匀抬高。
• 方法：探针发现并验证四维分类（Accuracy、TechEcon、SocialJustice、FutureEthics），对比方向构成转向矩阵 D。G=D⊤D 诊断纠缠，α=G⁻¹w 使扰动在每个方向上的投影恰好为 wj。不微调、不用奖励模型。
• 主结果：Llama-3.2-3B、200 道气候题上，Contrast 的 NSE 从 H=I 的 +5.9% 到 G⁻¹ 的 +14.0%（目标 56.8%、溢出 42.9%；z=3.40，p<0.001，Table 1）。RepE 与 ActAdd 的校正 NSE 为 +7.8% 与 +6.4%，分层启发式为 +1.5%。
• 例外与迁移：contrast_ginv 在 SocialJustice 上 NSE 为 +23.2%，在 FutureEthics 上为 +2.7%；repe_ginv 在 SocialJustice 上为 −5.4%（Table 2）。8B 上校正后最高为 ActAdd 的 6.0%（对朴素 1.6%）。提示词基线为 +16.9%，与 +14.0% 的差异 p=0.23；二者叠加为 +27.7%。
• 作者结论：多价值激活转向若不校正方向纠缠就会失败，G⁻¹ 按构造消除跨维泄漏，且不增加训练或生成成本。作者认为检测方向与控制方向近乎正交，因此流水线让探针验证分类、对比方向负责转向。更广多领域验证、稳定的完整最优校正，以及同时干净又可转向的方向类型，作者列为后续问题。