跳到正文
原文
arXiv：可解释性· arXiv:2609.06289· Mohammad Mahdi Abootorabi·本站收录· 原文发表

LLM 激活引导空间能否反映人类价值几何？EMNLP 2026 研究发布 26K 样本基准

Steering Geometry: Validating Human Value Geometry in LLM Steering Space

论文速读

可解释性

据论文 PDF 整理（AI 生成），以原文为准

作者检验LLM steering向量的几何是否符合人类价值结构，发现distribution-driven方法比behavior-centric更贴近Schwartz circumplex。

问题
activation steering常只在单一行为上验证，不清楚steering向量是编码了连贯的人类价值结构，还是只利用行为特异的捷径。
方法
作者用Schwartz 20价值、约26K对比四元组，在残差流提取distribution-driven与behavior-centric方向，比较与理论circumplex的几何一致性，并测跨价值迁移。
实验与结果
作者报告distribution-driven方法恢复理论结构（Spearman ρ最高0.51），behavior-centric目标准确率相近但几何相关接近零；几何随规模上升、指令微调后下降，更好的几何对齐对应更一致的跨价值迁移。
局限与可以继续做的
细粒度几何与迁移分析以Schwartz为主；MFT只做家族级验证。跨文化与跨语言泛化仍开放。多数跨骨干比较只用少数steering方法。向量被解释为条件聚合方向。
实验设置Qwen3.5-9B-Base、Qwen3.5-9B-Instruct 等 · Schwartz 20-value contrastive benchmark（约26K quadruples，ValueBench + Touché）、Moral Foundations Theory benchmark（1.2K，Moral Foundations Reddit Corpus） · ρT、rT 等
被测模型
Qwen3.5-9B-BaseQwen3.5-9B-InstructLlama3.1-8B-BaseLlama3.1Mistral-7BFalcon-7BQwen2.5Qwen3.5Gemma-3Gemma-4Gemma-4-31BQwen3.5-4B
基准
Schwartz 20-value contrastive benchmark（约26K quadruples，ValueBench + Touché）Moral Foundations Theory benchmark（1.2K，Moral Foundations Reddit Corpus）
指标
ρTrTρH∆pol∆MFTTWTMρtr_HBMD-ρaccuracy gain
AI 导读研究用 Schwartz 基本人类价值理论检验 LLM 激活引导向量是否编码连贯的价值语义结构，构建了覆盖 20 种人类价值的 26K 样本基准。分布驱动方法（CAA、SphericalSteer、ODESteer）恢复的价值拓扑与理论预测一致，Spearman ρ 最高 0.51（p < 10^-13）；以行为为中心的方法（COLD-Steer、BiPO）引导性能相当，但与预期价值几何几乎不相关。几何保真度随模型规模提升，却在指令微调后下降；几何对齐更好时，引导某一价值会正确提升相容价值、抑制对立价值。

研究用 Schwartz 基本人类价值理论检验 LLM 激活引导向量是否编码连贯的价值语义结构，构建了覆盖 20 种人类价值的 26K 样本基准。分布驱动方法（CAA、SphericalSteer、ODESteer）恢复的价值拓扑与理论预测一致，Spearman ρ 最高 0.51（p < 10^-13）；以行为为中心的方法（COLD-Steer、BiPO）引导性能相当，但与预期价值几何几乎不相关。几何保真度随模型规模提升，却在指令微调后下降；几何对齐更好时，引导某一价值会正确提升相容价值、抑制对立价值。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    检验steering向量的几何是否符合人类价值理论结构，还是只走行为捷径。

    activation steering是否只改变目标行为，还是其向量几何编码了人类价值之间的相容与冲突关系。

    • 场景：作者认为LLM越来越多地用于对齐敏感场景，activation steering是相对RLHF、DPO更轻量的推理时行为控制。现有工作通常只在孤立行为上验证steering。
    • 不足：作者认为只看单一行为无法区分向量是编码了有意义的语义结构，还是利用了activation space中行为特异的捷径。人类价值相互关联，例如Achievement与Power（Dominance）更相容，而与Universalism冲突。
    • 核心假设：若方法抓住价值的核心含义、动机内容及其与其他价值的关系，其向量应遵守Schwartz理论规定的角距离；该理论把价值排成连续圆周，相容者靠近、冲突者相对。
    • 本文做了什么：以Schwartz基本人类价值理论为主框架，构建约26K样本、覆盖20个价值的对比基准，比较distribution-driven方法（CAA、SphericalSteer、ODESteer等）与behavior-centric方法（COLD-Steer、BiPO等），并检验几何保真是否带来跨价值迁移。作者还用修订版Moral Foundations Theory（MFT）做更粗的家族结构检验。

  2. 有哪些相关研究？

    相关工作分steering、人类价值评测与激活空间可解释性；几何保真此前未被系统比较。

    论文在引言与Related Work中把先前工作分成三类，并指出steering向量的潜在几何是否反映既有人类价值框架尚未被研究。

    • Activation steering与表示工程：Zou et al. (2023)、Turner et al. (2023) 提出在推理时直接改内部表示、不更新权重。Distribution-driven方法从对比提示的激活差提取方向，包括CAA（Rimsky et al., 2024）、SAS（Bayat et al., 2025）、ODESteer（Zhao et al., 2026）、SphericalSteer（You et al., 2026）。Behavior-centric方法用梯度或上下文优化学习向量，包括OPT（Dunefsky and Cohan, 2025）、COLD-Steer（Sharma and Trivedi, 2026）、BiPO（Cao et al., 2024）。转向还被扩展到persona子网络（Ye et al., 2026）、多元价值对齐（Kim et al., 2026）和多智能体设置（Paglieri et al., 2026; Arghal et al., 2026）。
    • LLM中的人类价值分析：Schwartz (1992) 把普遍动机排成circumplex。其他框架包括修订版MFT（Atari et al., 2023）和Ross’s Prima Facie Duties（Ross, 2011）。行为探针包括ValueBench（Ren et al., 2024）、MoralBench（Ji et al., 2025）和GlobalOpinionQA（Durmus et al., 2024）。最接近的是Kang et al. (2025)：用角色提示问卷与SAE扰动推断价值取向的因果图，发现LLM图与人类参考图不同，但可指导副作用更少的steering；作者指出该工作刻画的是价值取向间的因果关系，而不是steering方向本身的几何。
    • 激活空间可解释性：线性表示假说认为高层概念编码为残差流中的线性方向（Zou et al., 2023; Park et al., 2024），并延伸到类别与层级概念（Park et al., 2025）。SAE（Huben et al., 2024; Bricken et al., 2023; Templeton et al., 2026）用于分解多义神经元。
    • 基线与数据：几何对照包括理论Schwartz矩阵与LLM raw activation space。Steering基线按两类范式实现：CAA、SAS、ODESteer、SphericalSteer，以及OPT、COLD-Steer（FD）、BiPO。数据来自ValueBench、Touché（Mirzakhmedova et al., 2024; Kiesel et al., 2022）和Moral Foundations Reddit Corpus（Trager et al., 2026）。

    作者把本文定位为：先前steering多以目标行为是否改变来验证，价值对齐工作多用行为探针；二者都没有比较不同提取方法是否保留理论价值几何，以及这种几何对跨价值迁移的影响。

  3. 论文如何解决这个问题？

    用对比数据提取价值方向，再对照Schwartz几何并测跨价值迁移。

    作者提出四阶段流程（Figure 1）：构建价值对比数据，从残差流提取方向并组成value vector bank，做价值几何检验，再做跨价值迁移检验。

    数据与问题设定

    • Schwartz数据：四元组为（question, value, positive answer, negative answer），正答对齐目标价值，负答为价值中性。分类采用Kiesel et al. (2022) 的20价值，在Schwartz精细19价值上增加Universalism: Objectivity并保留circumplex顺序。从ValueBench取911条，从Touché取约25.5K条，合计近26K。
    • MFT数据：为跨框架检验，另建1.2K条平衡的question-contrastive样本，覆盖修订版MFT的六个foundation，来源为Moral Foundations Reddit Corpus。完整构建见附录E、G。
    • 方向定义：每种方法的输出统一成残差流偏移 v(b,ℓ)=Ex∼ X[asteeredℓ(x)−aoriginalℓ(x)]。作者称这样可与方法内部机制解耦。20个向量组成每个方法的value vector bank。

    几何对齐

    • 理论矩阵：先对向量去均值并单位化，得到经验余弦相似矩阵E。理论矩阵 Tbb′=cos(min(|b−b′|,20−|b−b′|)× 18∘)，按circumplex上的角距离编码相容性。
    • 四个指标：ρT为E与T的Spearman秩相关，看相容价值是否更近；rT为Pearson相关，看相似幅度是否随理论角度线性变化。ρH把价值对分成同子家族（距离1）、同高阶组（2）、无关（5）、对立组（10），再算E与负层次距离的Spearman相关。∆pol为同低阶家族对的平均余弦减去对立高阶组对的平均余弦。
    • 稳健性与MFT：重抽每个价值200条不相交样本、改写问题与两边答案、以及单标签子集后重算几何。MFT无circumplex，只定义∆MFT：Individualizing（Care, Equality）与Binding（Proportionality, Loyalty, Authority, Purity）的族内平均余弦减去跨族平均余弦。

    跨价值迁移

    • 转移矩阵：对有序对不同价值(b, b')，steer向b，在b'的held-out测试集上记录准确率相对未steer基线的变化。20×20矩阵有380个非对角项。作者用双向去均值去掉“源价值本身强”和“目标价值本身易提升”的行列效应，得到Tres。
    • 指标：TWTM把Tres按理论亲和加权，相邻对的正迁移和相对对的负迁移同时得分。ρtr_H是Tres与负层次距离的Spearman相关。附录I另报只看形状的BMD-ρ。

    两类steering与实现

    • Distribution-driven：CAA取正负答案残差流激活的均值差。SAS在SAE特征空间隔离价值方向。SphericalSteer在单位球上向目标方向旋转并保持范数。ODESteer把steering看成激活空间中的连续轨迹，对学习到的向量场做多步ODE积分。
    • Behavior-centric：OPT用梯度下降提高正答对数概率、压低负答。BiPO用DPO式偏好目标学习一个向量，符号决定方向。COLD-Steer（FD）用有限差分近似一步梯度更新造成的激活偏移。目标函数与超参数在附录J。
    • 层与数据划分：每个价值抽200对对比提示，90/10训练测试划分。干预层ℓ⋆按Normalized L2 Separation与Linear Probe Accuracy的组合准则选取。超参数在验证划分上调节。准确率增益是二选一中价值对齐选项选择率相对未steer基线的变化。

  4. 论文做了哪些实验？

    Qwen3.5-9B上SAS的ρT为0.5069，behavior-centric相关不显著；指令微调后几何下降。

    实验设置

    • 模型：全部方法在Qwen3.5-9B的Base与Instruct，以及Llama3.1-8B（Base）上比较。CAA另覆盖七个预训练家族：Llama3.1、Mistral、Falcon、Qwen2.5、Qwen3.5、Gemma-3、Gemma-4。正文点名的规模点包括Falcon-7B、Mistral-7B、Llama-3.1-8B、Qwen3.5-9B、Qwen3.5-4B、Gemma-4-31B。
    • 数据：Schwartz约26K四元组；每个价值200对、90/10划分。MFT为1.2K。稳健性使用不相交200例、改写版和单标签子集。
    • 方法：Distribution-driven为ODESteer、SphericalSteer、CAA、SAS；behavior-centric为OPT、COLD-Steer（FD）、BiPO；对照为LLM raw activation space。
    • 指标：几何为ρT、rT、ρH、∆pol；MFT为∆MFT；迁移为TWTM、ρtr_H，附录另有BMD-ρ。行为指标是目标价值accuracy gain。Table 1下标为p值。
    • 计算：附录M称全部实验在单张NVIDIA B300 GPU上运行。论文未报告随机重复次数。

    主结果

    Table 1在Qwen3.5-9B上报告几何指标。Base上distribution-driven高于behavior-centric；Instruct上同一方法的ρT低于对应Base。

    表格较宽，可左右滑动

    设置方法ρTρH∆pol
    BaseRaw0.22280.21150.0009
    BaseOPT0.11380.04930.0001
    BaseCold-Steer (FD)0.02650.00130.0162
    BaseBiPO0.11880.10700.0151
    BaseODESteer0.27300.29880.0255
    BaseSphericalSteer0.39620.27460.3620
    BaseCAA0.46060.34080.3883
    BaseSAS0.50690.39100.3951

    Instruct上SAS的ρT为0.3256（p=4.6e-6），CAA为0.2351，SphericalSteer为0.2048，ODESteer为0.2055；OPT、Cold-Steer、BiPO的ρT分别为0.0615、−0.0568、−0.0104，论文未报告这些behavior-centric相关达到统计显著。Base上SAS的rT为0.5061，CAA的rT为0.4754。摘要写Spearman ρ最高0.51、p<10−13，与Table 1中SAS的0.5069、p=8.5e-14对应。

    • 作者解读：作者称distribution-driven方法在全部几何指标上对齐较强，behavior-centric尽管在该数据集上行为结果相当、且先前工作报告其行为steering准确率更高，却没有统计显著的几何相关。作者认为OPT等可能学到只达成输出、不编码语义结构的捷径；distribution-driven强化了raw activation里只部分可见的结构，behavior-centric则削弱它。
    • Figure 2：在Qwen3.5-9B-Base上，作者称SAS的成对余弦矩阵最接近理论circumplex，raw activation保留部分可辨模式，OPT基本无组织；2D投影中OPT比raw更散。图注写红/蓝表示正/负相关。附录A另有散点与t-SNE，正文未给这些图的数值。
    • 同趋势：作者称Llama3.1-8B的Table 6呈现同一趋势。Table 6的具体数字在所附文本中未完整列出，此处不填。

    规模、家族与指令微调

    • 规模：Figure 3用CAA画ρT、ρH、∆pol随参数量变化。作者称在Qwen3.5与Gemma-3家族内，distribution-driven指标随规模单调上升；raw activation只小幅上升，behavior-centric没有可靠的规模趋势。正文给出7–9B的ρT：Falcon-7B 0.20、Mistral-7B 0.32、Llama-3.1-8B 0.37、Qwen3.5-9B 0.46。同家族内Qwen3.5在各规模上高于Qwen2.5。
    • 与下游能力分离：作者称Gemma-4-31B的ρT为0.38，低于Qwen3.5-4B的0.41，并认为下游准确率高并不意味着价值几何与人类理论对齐。作者将Qwen相对Gemma更强的语义表示归因于更高质量训练数据，该说法引用Yang et al. (2025)。
    • 指令微调：Table 1中各方法从Base到Instruct后几何下降。作者称多阶段后训练伴随value geometry drift，指令微调模型保留的预训练价值结构更少，并与Rimsky et al. (2024)关于base与RLHF模型表示差异的观察一致。

    跨价值迁移与MFT

    • MFT：Table 2的∆MFT在Qwen3.5-9B / Llama3.1-8B上，Raw为0.0006 / 0.0017；OPT 0.0107 / 0.0272；Cold-Steer −0.0064 / −0.0280；BiPO −0.0287 / 0.0227；ODESteer 0.0495 / 0.0378；SphericalSteer 0.0932 / 0.0909；CAA 0.0969 / 0.1038；SAS 0.0892 / 0.0923。作者称distribution-driven约为0.04–0.10，raw约0.001，behavior-centric接近零或为负，因此范式差异不限于Schwartz。
    • 迁移：作者称只评被steer的目标价值时（Table 4），behavior-centric与distribution-driven表现相当；但在全部价值上，两类在TWTM和ρtr_H上分开，前者几何与迁移都高，后者两者都靠近零。Figure 4、5展示Qwen3.5-9B-Base与Llama3.1-8B上的这一关系。BMD-ρ上分离同样存在。Table 4的逐方法准确率增益在所附正文片段中未给出具体数字。
    • 预测力：Table 12把7种方法×2个骨干（n=14）合并。作者称ρT预测跨价值迁移强于目标accuracy gain：TWTM上∆ρ=0.06，ρtr_H上∆ρ=0.18。表中可见目标accuracy gain与两个迁移指标的Spearman为0.78（三星）和0.59（一星）；几何保真一行因版面截断，只看到0.84（三星）和0.77（两星）。作者认为保留Schwartz结构的方法会在行为上反映该结构，只优化行为目标的方法能steer目标，但对相关价值的移动更不可预测。

    其他消融与分析

    • 不相交200例重抽、问题与答案改写、单标签优先子集上，范式分离仍在；单标签设置绝对相关下降，但匹配的raw基线也下降（附录F，Table 10；具体格点未在正文列出）。
    • 层选择最大化Normalized L2 Separation与Linear Probe Accuracy；Qwen3.5-9B-Base的超参见Figure 7，正文未给最优数值。
    • 附录K：几何保真相对accuracy gain的优势在只看排序的ρtr_H上更大。
    • Cold-Steer (FD) 在Base上ρT仅0.0265（p=0.72），Instruct上为−0.0568；BiPO在Instruct上∆pol为−0.0016。
    • Llama3.1-8B上CAA的∆MFT（0.1038）高于SAS（0.0923），与Qwen上SAS的ρT最高并不一一对应。
    • 论文未在正文报告各方法的查询次数或训练步数。

  5. 有什么可以进一步探索的点？

    作者指出分析以Schwartz为主，MFT仅家族级，跨文化与更多steering方法仍开放。

    作者指出的局限与后续方向

    • 框架范围：第7节写，细粒度几何与跨价值迁移分析仍以Schwartz基本人类价值理论为代表；该理论虽有跨文化验证，但超出Schwartz与MFT的泛化仍然开放，尤其是文化与语言，作者引用Abootorabi et al. (2026)称认知导向评测存在跨语言差距。
    • MFT粒度：第7节写，MFT只规定较粗的Individualizing–Binding分组，没有更细的foundation间结构，因此该实验是家族级验证，不是完整几何检验。
    • 多价值与单义性：第7节写，真实论述可能同时表达多个价值，提取向量应理解为以目标为条件的聚合方向，而不是完全单义表示；单标签优先的敏感性测试保留了范式结论，但没有确立完全的monosemanticity。
    • 方法覆盖：第7节写，由于计算限制，多数跨骨干比较只用了少数steering方法，这些趋势是否在其他steering方法上一致仍然开放。
    • 后续问题：第6节写，一个未来方向是检验价值层面的steering是否比直接steer表面行为带来更可预测的下游效应；作者举例称steer礼貌等行为可能带来抑制诚实或放大从众等副作用，而经由价值的steering可能提供更多控制。

    实验覆盖范围

    • 全部steering方法比较的骨干是Qwen3.5-9B Base与Instruct，以及Llama3.1-8B Base；CAA的规模与家族比较覆盖Llama3.1、Mistral、Falcon、Qwen2.5、Qwen3.5、Gemma-3、Gemma-4（第4.2节、Figure 3）。
    • Schwartz评测使用约26K四元组中每个价值200对、90/10划分；MFT使用1.2K样本，指标为∆MFT（第3.1、4.2节，Table 2）。
    • 几何稳健性包括不相交重采样、改写和单标签子集（第5节，附录F，Table 10）。跨价值迁移指标为TWTM、ρtr_H，并在附录I报告BMD-ρ。
    • 行为对照使用二选一选择率相对未steer基线的accuracy gain；几何与该增益对迁移的预测在7方法×2骨干、n=14上比较（Table 12，附录K）。
    • 论文未报告随机重复次数；附录M写实验在单张NVIDIA B300上运行。第7节说明多数跨骨干比较因计算约束只用少数steering方法。

  6. 总结一下论文的主要内容

    分布驱动的steering向量更符合Schwartz几何，并带来更可预测的跨价值迁移。

    作者研究推理时activation steering的向量，是否在几何上符合人类价值理论，而不只是改变单一目标行为。

    • 问题：现有评测多看孤立行为。Schwartz理论把20个价值排在圆周上，相容者靠近、冲突者相对；若向量编码价值关系，经验相似应随角距离变化，steer一个价值也应提升相容价值、抑制对立价值。
    • 做法：用ValueBench与Touché构建近26K个对比四元组，另用1.2K样本覆盖MFT六基础。各方法的输出统一成选定层残差流的期望偏移。几何用ρT、rT、ρH、∆pol对照理论矩阵；迁移用去行列均值后的TWTM和ρtr_H。方法分CAA、SAS、SphericalSteer、ODESteer，以及OPT、BiPO、COLD-Steer。
    • 主结果：Qwen3.5-9B-Base上SAS的ρT为0.5069（p=8.5e-14），CAA为0.4606；OPT、Cold-Steer、BiPO的ρT为0.1138、0.0265、0.1188，且论文未报告其显著。Instruct后SAS的ρT降到0.3256。CAA在7–9B上的ρT从Falcon-7B的0.20到Qwen3.5-9B的0.46；Gemma-4-31B为0.38，低于Qwen3.5-4B的0.41。
    • 迁移：Table 2中CAA的∆MFT在两个骨干上为0.0969和0.1038，raw约为0.0006和0.0017。作者称只看目标准确率时两类方法相当，但在TWTM与ρtr_H上分开。n=14的合并分析中，ρT预测迁移强于accuracy gain，ρtr_H上差距∆ρ=0.18。
    • 作者结论：作者认为distribution-driven方法捕捉并传播理论一致的价值关系，behavior-centric方法能达到相近的目标准确率，但丢失该结构。作者建议评测steering时同时看心理结构与行为准确率，并计划把代码与数据公开；文中给出了仓库位置。
阅读原文arxiv.org