LLM 激活引导空间能否反映人类价值几何？EMNLP 2026 研究发布 26K 样本基准

activation steering是否只改变目标行为，还是其向量几何编码了人类价值之间的相容与冲突关系。

• 场景：作者认为LLM越来越多地用于对齐敏感场景，activation steering是相对RLHF、DPO更轻量的推理时行为控制。现有工作通常只在孤立行为上验证steering。
• 不足：作者认为只看单一行为无法区分向量是编码了有意义的语义结构，还是利用了activation space中行为特异的捷径。人类价值相互关联，例如Achievement与Power（Dominance）更相容，而与Universalism冲突。
• 核心假设：若方法抓住价值的核心含义、动机内容及其与其他价值的关系，其向量应遵守Schwartz理论规定的角距离；该理论把价值排成连续圆周，相容者靠近、冲突者相对。
• 本文做了什么：以Schwartz基本人类价值理论为主框架，构建约26K样本、覆盖20个价值的对比基准，比较distribution-driven方法（CAA、SphericalSteer、ODESteer等）与behavior-centric方法（COLD-Steer、BiPO等），并检验几何保真是否带来跨价值迁移。作者还用修订版Moral Foundations Theory（MFT）做更粗的家族结构检验。

论文在引言与Related Work中把先前工作分成三类，并指出steering向量的潜在几何是否反映既有人类价值框架尚未被研究。

• Activation steering与表示工程：Zou et al. (2023)、Turner et al. (2023) 提出在推理时直接改内部表示、不更新权重。Distribution-driven方法从对比提示的激活差提取方向，包括CAA（Rimsky et al., 2024）、SAS（Bayat et al., 2025）、ODESteer（Zhao et al., 2026）、SphericalSteer（You et al., 2026）。Behavior-centric方法用梯度或上下文优化学习向量，包括OPT（Dunefsky and Cohan, 2025）、COLD-Steer（Sharma and Trivedi, 2026）、BiPO（Cao et al., 2024）。转向还被扩展到persona子网络（Ye et al., 2026）、多元价值对齐（Kim et al., 2026）和多智能体设置（Paglieri et al., 2026; Arghal et al., 2026）。
• LLM中的人类价值分析：Schwartz (1992) 把普遍动机排成circumplex。其他框架包括修订版MFT（Atari et al., 2023）和Ross’s Prima Facie Duties（Ross, 2011）。行为探针包括ValueBench（Ren et al., 2024）、MoralBench（Ji et al., 2025）和GlobalOpinionQA（Durmus et al., 2024）。最接近的是Kang et al. (2025)：用角色提示问卷与SAE扰动推断价值取向的因果图，发现LLM图与人类参考图不同，但可指导副作用更少的steering；作者指出该工作刻画的是价值取向间的因果关系，而不是steering方向本身的几何。
• 激活空间可解释性：线性表示假说认为高层概念编码为残差流中的线性方向（Zou et al., 2023; Park et al., 2024），并延伸到类别与层级概念（Park et al., 2025）。SAE（Huben et al., 2024; Bricken et al., 2023; Templeton et al., 2026）用于分解多义神经元。
• 基线与数据：几何对照包括理论Schwartz矩阵与LLM raw activation space。Steering基线按两类范式实现：CAA、SAS、ODESteer、SphericalSteer，以及OPT、COLD-Steer（FD）、BiPO。数据来自ValueBench、Touché（Mirzakhmedova et al., 2024; Kiesel et al., 2022）和Moral Foundations Reddit Corpus（Trager et al., 2026）。

作者把本文定位为：先前steering多以目标行为是否改变来验证，价值对齐工作多用行为探针；二者都没有比较不同提取方法是否保留理论价值几何，以及这种几何对跨价值迁移的影响。

作者提出四阶段流程（Figure 1）：构建价值对比数据，从残差流提取方向并组成value vector bank，做价值几何检验，再做跨价值迁移检验。

数据与问题设定

• Schwartz数据：四元组为（question, value, positive answer, negative answer），正答对齐目标价值，负答为价值中性。分类采用Kiesel et al. (2022) 的20价值，在Schwartz精细19价值上增加Universalism: Objectivity并保留circumplex顺序。从ValueBench取911条，从Touché取约25.5K条，合计近26K。
• MFT数据：为跨框架检验，另建1.2K条平衡的question-contrastive样本，覆盖修订版MFT的六个foundation，来源为Moral Foundations Reddit Corpus。完整构建见附录E、G。
• 方向定义：每种方法的输出统一成残差流偏移 v_(b,ℓ)=E_{x∼ X}[a^steered_ℓ(x)−a^original_ℓ(x)]。作者称这样可与方法内部机制解耦。20个向量组成每个方法的value vector bank。

几何对齐

• 理论矩阵：先对向量去均值并单位化，得到经验余弦相似矩阵E。理论矩阵 T_bb′=cos(min(|b−b′|,20−|b−b′|)× 18^∘)，按circumplex上的角距离编码相容性。
• 四个指标：ρT为E与T的Spearman秩相关，看相容价值是否更近；rT为Pearson相关，看相似幅度是否随理论角度线性变化。ρH把价值对分成同子家族（距离1）、同高阶组（2）、无关（5）、对立组（10），再算E与负层次距离的Spearman相关。∆pol为同低阶家族对的平均余弦减去对立高阶组对的平均余弦。
• 稳健性与MFT：重抽每个价值200条不相交样本、改写问题与两边答案、以及单标签子集后重算几何。MFT无circumplex，只定义∆MFT：Individualizing（Care, Equality）与Binding（Proportionality, Loyalty, Authority, Purity）的族内平均余弦减去跨族平均余弦。

跨价值迁移

• 转移矩阵：对有序对不同价值(b, b')，steer向b，在b'的held-out测试集上记录准确率相对未steer基线的变化。20×20矩阵有380个非对角项。作者用双向去均值去掉“源价值本身强”和“目标价值本身易提升”的行列效应，得到Tres。
• 指标：TWTM把Tres按理论亲和加权，相邻对的正迁移和相对对的负迁移同时得分。ρtr_H是Tres与负层次距离的Spearman相关。附录I另报只看形状的BMD-ρ。

两类steering与实现

• Distribution-driven：CAA取正负答案残差流激活的均值差。SAS在SAE特征空间隔离价值方向。SphericalSteer在单位球上向目标方向旋转并保持范数。ODESteer把steering看成激活空间中的连续轨迹，对学习到的向量场做多步ODE积分。
• Behavior-centric：OPT用梯度下降提高正答对数概率、压低负答。BiPO用DPO式偏好目标学习一个向量，符号决定方向。COLD-Steer（FD）用有限差分近似一步梯度更新造成的激活偏移。目标函数与超参数在附录J。
• 层与数据划分：每个价值抽200对对比提示，90/10训练测试划分。干预层ℓ⋆按Normalized L2 Separation与Linear Probe Accuracy的组合准则选取。超参数在验证划分上调节。准确率增益是二选一中价值对齐选项选择率相对未steer基线的变化。

实验设置

• 模型：全部方法在Qwen3.5-9B的Base与Instruct，以及Llama3.1-8B（Base）上比较。CAA另覆盖七个预训练家族：Llama3.1、Mistral、Falcon、Qwen2.5、Qwen3.5、Gemma-3、Gemma-4。正文点名的规模点包括Falcon-7B、Mistral-7B、Llama-3.1-8B、Qwen3.5-9B、Qwen3.5-4B、Gemma-4-31B。
• 数据：Schwartz约26K四元组；每个价值200对、90/10划分。MFT为1.2K。稳健性使用不相交200例、改写版和单标签子集。
• 方法：Distribution-driven为ODESteer、SphericalSteer、CAA、SAS；behavior-centric为OPT、COLD-Steer（FD）、BiPO；对照为LLM raw activation space。
• 指标：几何为ρT、rT、ρH、∆pol；MFT为∆MFT；迁移为TWTM、ρtr_H，附录另有BMD-ρ。行为指标是目标价值accuracy gain。Table 1下标为p值。
• 计算：附录M称全部实验在单张NVIDIA B300 GPU上运行。论文未报告随机重复次数。

主结果

Table 1在Qwen3.5-9B上报告几何指标。Base上distribution-driven高于behavior-centric；Instruct上同一方法的ρT低于对应Base。

Swipe horizontally to read the table

设置	方法	ρT	ρH	∆pol
Base	Raw	0.2228	0.2115	0.0009
Base	OPT	0.1138	0.0493	0.0001
Base	Cold-Steer (FD)	0.0265	0.0013	0.0162
Base	BiPO	0.1188	0.1070	0.0151
Base	ODESteer	0.2730	0.2988	0.0255
Base	SphericalSteer	0.3962	0.2746	0.3620
Base	CAA	0.4606	0.3408	0.3883
Base	SAS	0.5069	0.3910	0.3951

Instruct上SAS的ρT为0.3256（p=4.6e-6），CAA为0.2351，SphericalSteer为0.2048，ODESteer为0.2055；OPT、Cold-Steer、BiPO的ρT分别为0.0615、−0.0568、−0.0104，论文未报告这些behavior-centric相关达到统计显著。Base上SAS的rT为0.5061，CAA的rT为0.4754。摘要写Spearman ρ最高0.51、p<10−13，与Table 1中SAS的0.5069、p=8.5e-14对应。

• 作者解读：作者称distribution-driven方法在全部几何指标上对齐较强，behavior-centric尽管在该数据集上行为结果相当、且先前工作报告其行为steering准确率更高，却没有统计显著的几何相关。作者认为OPT等可能学到只达成输出、不编码语义结构的捷径；distribution-driven强化了raw activation里只部分可见的结构，behavior-centric则削弱它。
• Figure 2：在Qwen3.5-9B-Base上，作者称SAS的成对余弦矩阵最接近理论circumplex，raw activation保留部分可辨模式，OPT基本无组织；2D投影中OPT比raw更散。图注写红/蓝表示正/负相关。附录A另有散点与t-SNE，正文未给这些图的数值。
• 同趋势：作者称Llama3.1-8B的Table 6呈现同一趋势。Table 6的具体数字在所附文本中未完整列出，此处不填。

规模、家族与指令微调

• 规模：Figure 3用CAA画ρT、ρH、∆pol随参数量变化。作者称在Qwen3.5与Gemma-3家族内，distribution-driven指标随规模单调上升；raw activation只小幅上升，behavior-centric没有可靠的规模趋势。正文给出7–9B的ρT：Falcon-7B 0.20、Mistral-7B 0.32、Llama-3.1-8B 0.37、Qwen3.5-9B 0.46。同家族内Qwen3.5在各规模上高于Qwen2.5。
• 与下游能力分离：作者称Gemma-4-31B的ρT为0.38，低于Qwen3.5-4B的0.41，并认为下游准确率高并不意味着价值几何与人类理论对齐。作者将Qwen相对Gemma更强的语义表示归因于更高质量训练数据，该说法引用Yang et al. (2025)。
• 指令微调：Table 1中各方法从Base到Instruct后几何下降。作者称多阶段后训练伴随value geometry drift，指令微调模型保留的预训练价值结构更少，并与Rimsky et al. (2024)关于base与RLHF模型表示差异的观察一致。

跨价值迁移与MFT

• MFT：Table 2的∆MFT在Qwen3.5-9B / Llama3.1-8B上，Raw为0.0006 / 0.0017；OPT 0.0107 / 0.0272；Cold-Steer −0.0064 / −0.0280；BiPO −0.0287 / 0.0227；ODESteer 0.0495 / 0.0378；SphericalSteer 0.0932 / 0.0909；CAA 0.0969 / 0.1038；SAS 0.0892 / 0.0923。作者称distribution-driven约为0.04–0.10，raw约0.001，behavior-centric接近零或为负，因此范式差异不限于Schwartz。
• 迁移：作者称只评被steer的目标价值时（Table 4），behavior-centric与distribution-driven表现相当；但在全部价值上，两类在TWTM和ρtr_H上分开，前者几何与迁移都高，后者两者都靠近零。Figure 4、5展示Qwen3.5-9B-Base与Llama3.1-8B上的这一关系。BMD-ρ上分离同样存在。Table 4的逐方法准确率增益在所附正文片段中未给出具体数字。
• 预测力：Table 12把7种方法×2个骨干（n=14）合并。作者称ρT预测跨价值迁移强于目标accuracy gain：TWTM上∆ρ=0.06，ρtr_H上∆ρ=0.18。表中可见目标accuracy gain与两个迁移指标的Spearman为0.78（三星）和0.59（一星）；几何保真一行因版面截断，只看到0.84（三星）和0.77（两星）。作者认为保留Schwartz结构的方法会在行为上反映该结构，只优化行为目标的方法能steer目标，但对相关价值的移动更不可预测。

其他消融与分析

• 不相交200例重抽、问题与答案改写、单标签优先子集上，范式分离仍在；单标签设置绝对相关下降，但匹配的raw基线也下降（附录F，Table 10；具体格点未在正文列出）。
• 层选择最大化Normalized L2 Separation与Linear Probe Accuracy；Qwen3.5-9B-Base的超参见Figure 7，正文未给最优数值。
• 附录K：几何保真相对accuracy gain的优势在只看排序的ρtr_H上更大。
• Cold-Steer (FD) 在Base上ρT仅0.0265（p=0.72），Instruct上为−0.0568；BiPO在Instruct上∆pol为−0.0016。
• Llama3.1-8B上CAA的∆MFT（0.1038）高于SAS（0.0923），与Qwen上SAS的ρT最高并不一一对应。
• 论文未在正文报告各方法的查询次数或训练步数。

作者指出的局限与后续方向

• 框架范围：第7节写，细粒度几何与跨价值迁移分析仍以Schwartz基本人类价值理论为代表；该理论虽有跨文化验证，但超出Schwartz与MFT的泛化仍然开放，尤其是文化与语言，作者引用Abootorabi et al. (2026)称认知导向评测存在跨语言差距。
• MFT粒度：第7节写，MFT只规定较粗的Individualizing–Binding分组，没有更细的foundation间结构，因此该实验是家族级验证，不是完整几何检验。
• 多价值与单义性：第7节写，真实论述可能同时表达多个价值，提取向量应理解为以目标为条件的聚合方向，而不是完全单义表示；单标签优先的敏感性测试保留了范式结论，但没有确立完全的monosemanticity。
• 方法覆盖：第7节写，由于计算限制，多数跨骨干比较只用了少数steering方法，这些趋势是否在其他steering方法上一致仍然开放。
• 后续问题：第6节写，一个未来方向是检验价值层面的steering是否比直接steer表面行为带来更可预测的下游效应；作者举例称steer礼貌等行为可能带来抑制诚实或放大从众等副作用，而经由价值的steering可能提供更多控制。

实验覆盖范围

• 全部steering方法比较的骨干是Qwen3.5-9B Base与Instruct，以及Llama3.1-8B Base；CAA的规模与家族比较覆盖Llama3.1、Mistral、Falcon、Qwen2.5、Qwen3.5、Gemma-3、Gemma-4（第4.2节、Figure 3）。
• Schwartz评测使用约26K四元组中每个价值200对、90/10划分；MFT使用1.2K样本，指标为∆MFT（第3.1、4.2节，Table 2）。
• 几何稳健性包括不相交重采样、改写和单标签子集（第5节，附录F，Table 10）。跨价值迁移指标为TWTM、ρtr_H，并在附录I报告BMD-ρ。
• 行为对照使用二选一选择率相对未steer基线的accuracy gain；几何与该增益对迁移的预测在7方法×2骨干、n=14上比较（Table 12，附录K）。
• 论文未报告随机重复次数；附录M写实验在单张NVIDIA B300上运行。第7节说明多数跨骨干比较因计算约束只用少数steering方法。

作者研究推理时activation steering的向量，是否在几何上符合人类价值理论，而不只是改变单一目标行为。

• 问题：现有评测多看孤立行为。Schwartz理论把20个价值排在圆周上，相容者靠近、冲突者相对；若向量编码价值关系，经验相似应随角距离变化，steer一个价值也应提升相容价值、抑制对立价值。
• 做法：用ValueBench与Touché构建近26K个对比四元组，另用1.2K样本覆盖MFT六基础。各方法的输出统一成选定层残差流的期望偏移。几何用ρT、rT、ρH、∆pol对照理论矩阵；迁移用去行列均值后的TWTM和ρtr_H。方法分CAA、SAS、SphericalSteer、ODESteer，以及OPT、BiPO、COLD-Steer。
• 主结果：Qwen3.5-9B-Base上SAS的ρT为0.5069（p=8.5e-14），CAA为0.4606；OPT、Cold-Steer、BiPO的ρT为0.1138、0.0265、0.1188，且论文未报告其显著。Instruct后SAS的ρT降到0.3256。CAA在7–9B上的ρT从Falcon-7B的0.20到Qwen3.5-9B的0.46；Gemma-4-31B为0.38，低于Qwen3.5-4B的0.41。
• 迁移：Table 2中CAA的∆MFT在两个骨干上为0.0969和0.1038，raw约为0.0006和0.0017。作者称只看目标准确率时两类方法相当，但在TWTM与ρtr_H上分开。n=14的合并分析中，ρT预测迁移强于accuracy gain，ρtr_H上差距∆ρ=0.18。
• 作者结论：作者认为distribution-driven方法捕捉并传播理论一致的价值关系，behavior-centric方法能达到相近的目标准确率，但丢失该结构。作者建议评测steering时同时看心理结构与行为准确率，并计划把代码与数据公开；文中给出了仓库位置。