Steering Vector Dissection：将激活引导向量拆解为独立语义特征

传统由激活差得到的转向向量把多个语义与风格缠在同一方向上，干预效果难以预料；作者要把它拆成可单独操纵的成分。

• 场景与重要性：作者认为，随着LLM部署扩大，行为控制变得重要（Ngo et al., 2024）。DPO等偏好对齐是黑盒方法，且已有工作称这类安全对齐可被轻量微调撤销（Yang et al., 2024b; Qi et al., 2024）。表示工程在推理时直接干预内部表示，不改权重（Wehner et al., 2025; Zou et al., 2023）。
• 现有方法的不足：Activation Addition、Contrastive Activation Addition和线性探针常得到单一方向。作者举例：用“happiness”向量转向可能使模型顺从有害请求（Zou et al., 2023）；沿“gender bias awareness”转向会同时加重年龄偏见（Durmus et al., 2024）。作者认为，单一方向往往封装多个缠结概念。
• 核心问题：作者问，常规转向向量能否被看成复合对象，其构成行为方向能否被分离并选择性操纵。脚注说明，这里的disentanglement指分成语义一致、可解释的特征，而不是严格意义上的解耦表示学习。
• 提出的方法：作者提出Steering Vector Dissection（Figure 1）：对激活差得到的转向向量，用最近邻配对正负激活，在差值上训练专用SAE，得到基向量，再解释并过滤。
• 两项贡献：作者称，该方法把复合转向向量拆成语义一致的基向量，并给出定量与可视化证据，说明DiffMean向量覆盖的概念空间被基向量分成不重叠子区域；作者还称，不安全的DiffMean向量含拒绝相关成分，选择性去掉后行为发生针对性变化，说明这些方向在行为上有意义。

相关研究按引言与预备知识中的讨论分成四组。论文没有单独的Related Work节。

• 对齐与表示工程：DPO（Rafailov et al., 2023）用偏好把模型引离非预期行为，作者将其视为黑盒；Yang et al.（2024b）与Qi et al.（2024）报告安全对齐可被轻量微调撤销。表示工程（Wehner et al., 2025; Zou et al., 2023）在推理时干预内部表示。线性表示假说（Park et al., 2024）认为概念对应表示空间中的线性方向。
• 构造概念方向：Activation Addition（Turner et al., 2023）与Contrastive Activation Addition（Rimsky et al., 2024）计算有无目标概念的激活差。线性探针（Li et al., 2023a）用分类器权重作为概念方向；Inference-Time Intervention（ITI, Li et al., 2023a）把选定注意力头的输出推向“truthful”方向。DiffMean取正负数据集token级激活均值之差，Wu et al.（2025）采用跨全部token的全局均值而非序列均值的宏平均。作者列举其可转向“love”“weddings”（Turner et al., 2023）、sycophancy或evil等人设（Chen et al., 2025; Rimsky et al., 2024）、情绪（Zou et al., 2023）、角色（Potertì et al., 2025）和指令遵循（Stolfo et al., 2025）。作者认为这些向量仍然缠结，隔离特定概念仍是表示工程的关键挑战（Wehner et al., 2025）。
• SAE与差值上的解耦：SAE（Makhzani & Frey, 2014）被用于从LLM激活中提取可解释特征（Bricken et al., 2023; Huben et al., 2024; Templeton et al., 2024），以应对多义性（Olah et al., 2020; Bricken et al., 2023）和叠加（Elhage et al., 2022）。部分架构的激活同时强制非负（Rajamanoharan et al., 2024; Bussmann et al., 2025）。SAE也被用于稠密文本嵌入（O’Neill et al., 2024; Movva et al., 2025）、激活差（Joshi et al., 2026）和成对文本嵌入差（Movva et al., 2026）。作者称本文直接建立在这些洞察上，新颖性不在于对激活差使用SAE，而在于研究常规转向向量能否作为复合对象被识别并选择性编辑。方法整体建立在Movva et al.（2026）与Joshi et al.（2026）的框架上，并采用BatchTopK SAE（Bussmann et al., 2024）。
• 拒绝方向与越狱：Arditi et al.（2024）表明消融“refusal”方向会提高不安全补全的比例。作者提到越狱是LLM的主要问题（Knowlton et al., 2026），提示工程也可实现越狱（Yu et al., 2024），激活转向是另一条策略。

基线方法为DiffMean，以及用top-16右奇异向量替换SAE的SVD。基准/数据集为PubMedQA（Jin et al., 2019）、作为负集的Alpaca（Taori et al., 2023）、PKU-SafeRLHF（Ji et al., 2025）、用于解释与打分的Alpaca-Eval（Li et al., 2023b），以及StrongREJECT（Souly et al., 2024）。概念打分量表改编自Wu et al.（2025）。

作者把本文定位为：在激活差转向向量上做分解，使复合方向变成可识别、可选择性编辑的行为方向，而不是只证明SAE能拆激活差。

Steering Vector Dissection分四步：收集并配对token级激活、在差值上训练SAE、用转向实验解释基向量、再按下游任务过滤。干预位置是所选transformer层输出隐藏状态，生成时在同一位置加转向。

问题设定与形式化

• DiffMean：给定隐藏维度d与N个prompt-response对，层l上第i对的响应token激活为Ali。把全部token级激活聚成A后，v_DiffMean为正集均值减去负集均值（式(1)）。作者跟随Wu et al.（2025），用全部token的全局均值，而不是各序列均值的宏平均。
• 实例级转向向量：正负激活集为Apos、Aneg。每个batch内，对每个正激活按余弦距离找最近负激活，配对不必一一对应，同一负激活可配多个正样本；分batch是为避免少数负激活主导配对。vi = ai+ − aj*−(i)（式(6)）。作者认为激活同时含token本身与上下文，对齐后再相减可以分离上下文差异。

SAE设计

• BatchTopK与低维潜空间：采用Bussmann et al.（2024）的BatchTopK SAE。潜维度设为16，平均每个输入激活4个潜变量。作者引用Movva et al.（2025; 2026）：预期特征少时，过大潜空间会冗余；转向向量来自特定数据集，生成特征预期较少。
• 无偏置解码器与不中心化：训练时f(x) = σ(ReLU(Wenc x + benc))，重构为x̂ = Wdec f(x)，没有解码偏置。训练时σ为BatchTopK，把不在该batch前Bk名的激活置零（B为batch大小，k为每样本目标活跃潜变量数）。推理时σ改为JumpReLUθ(z) = z H(z − θ)，θ由训练batch估计的全局阈值。训练目标与原BatchTopK SAE相同。作者不用通常的输入中心化，以便直接捕捉输入转向向量所张成空间的低秩表示。
• 基向量的含义：Wdec的列向量称为basis vectors。作者说明，这只表示每个重构转向向量是它们的非负线性组合，并不声称线性无关，也不声称是严格线性代数意义下的基。

解释、缩放与过滤

• 解释：用每个基向量对一组一般指令做转向，把转向回答与同一模型的未转向回答交给LLM评审，由差异推断概念。解释与最终选择用GPT-5.4；相关性与对齐打分用GPT-5.4-nano。全部LLM判断使用默认temperature。
• 统一缩放：对每个模型与层定义weak、intermediate、strong三个系数c。先算负激活的平均ℓ2范数，再把转向向量缩放到该均值乘以c。解释与过滤只用intermediate。
• 过滤（第5节所用）：Algorithm 1沿两轴评价：与正数据集是否相关，以及解释与实际转向效果是否一致。评审集成先判相关性；再在留出指令上打对齐分，取值为0、1或2，越高越好，量表改编自Wu et al.（2025），对指令取平均。实现上为省API成本，只给判为相关的向量打对齐分。进入最终选择的条件是：相关，且平均对齐分超过1.0。每个评审同时看到全部幸存候选，投票保留互不重叠的概念；语义不可区分时只留对齐分最高者。保留得到超过半数评审投票的向量。作者强调过滤是方法的一部分，标准取决于下游应用；第6节改用只看解释的另一种过滤。

第6节的定向编辑

• 拒绝方向：作者用“rejection”指拒绝请求、把请求说成非法或不道德，或以其他方式不给出所请求内容。三个LLM评审只根据全部基向量的解释选出拒绝向量。
• 去掉该方向：所有向量先归一化，v_DiffMean-reject = v_DiffMean − ⟨v_DiffMean, v_reject⟩ · v_reject，再对结果归一化，用intermediate系数转向。多个拒绝方向时，取验证集分数最高的一个。

实验设置

• 被测模型：Qwen2.5-7B-Instruct与Llama3.1-8B-Instruct。干预层取网络总深度的0.5与0.75分位：Qwen为L13、L20，Llama为L15、L23。
• 数据：PubMedQA为正集、Alpaca为负集，作者称用一般指令分布抵消通用助手行为。PKU-SafeRLHF取severity 3（最不安全）与0（安全）分别作正、负集，使DiffMean代表“unsafe”方向。每个数据集抽8,192对，80%训练、20%验证。Alpaca-Eval中抽10条做解释、128条做对齐打分；概念提取与嵌入偏移另抽128条且不与前两者重叠。
• SAE：潜维度16，平均每输入4个活跃潜变量；其余超参在附录A.1，正文未列出具体数值。
• 指标：概念提取用GPT-5.4-nano抽出转向引入、基线没有的最突出概念，再用text-embedding-3-small算概念描述的平均成对余弦相似度。嵌入偏移为转向回答嵌入减去未转向回答嵌入，再算这些偏移的平均成对余弦相似度，并在不同基向量之间计算。对齐分为0、1、2。越狱效果用StrongREJECT分数。
• 评审：相关性与对齐打分为GPT-5.4-nano；解释与第5节最终选择为GPT-5.4。第6节用三个LLM评审的集成，论文未写明这三个评审的模型名。StrongREJECT把基准中80%提示词作测试、20%作验证。论文未报告重复次数与人工一致性。
• 对比：语义一致性的基线是DiffMean；附录D把同一过滤用于从SAE训练集随机抽取的实例级转向向量。第7节用top-16右奇异向量替换SAE，正负号各作候选，共32个，其余流程不变。

主结果

Table 3为抽出概念的平均成对余弦相似度。Basis列为过滤后基向量的平均，括号为向量数。

表格较宽，可左右滑动

设置	DiffMean	Basis (avg)	Basis (max)	Basis (min)
PubMedQA, Qwen2.5-7B L13	0.185	0.331 (4)	0.381	0.261
PubMedQA, Qwen2.5-7B L20	0.205	0.329 (4)	0.381	0.248
PubMedQA, Llama3.1-8B L15	0.176	0.455 (2)	0.476	0.434
PubMedQA, Llama3.1-8B L23	0.143	0.406 (4)	0.622	0.230
PKU-SafeRLHF, Qwen2.5-7B L13	0.504	0.438 (7)	0.573	0.300
PKU-SafeRLHF, Qwen2.5-7B L20	0.241	0.423 (5)	0.586	0.283
PKU-SafeRLHF, Llama3.1-8B L15	0.193	0.551 (6)	0.845	0.416
PKU-SafeRLHF, Llama3.1-8B L23	0.155	0.291 (4)	0.441	0.224

据Table 3。

• 作者的解读：多数模型–层上基向量平均相似度高于DiffMean，作者认为这对应更高的语义一致性。例外是PKU-SafeRLHF上Qwen2.5-7B（L13）：DiffMean为0.504，高于基向量平均0.438；作者称该DiffMean窄地表示“cyberattacks”。即便如此，该格基向量最大值0.573仍高于DiffMean。
• 作者的定位：这些实验被当作存在性证明。作者不声称每个基向量都高度语义一致、都可被人解释，只称方法能抽出比DiffMean更一致的方向。
• 解释举例：Table 1中PubMedQA的过滤基向量被解释为细胞信号、疾病、治疗、研究等医学主题。Table 2中PKU-SafeRLHF的向量被解释为未经授权访问、爆炸装置、人口贩运、虚假信息、拒绝/非法框定等；具体有害内容的措辞不在此复述。Table 4把Qwen2.5-7B（L20）、PubMedQA的128个概念聚成8簇：DiffMean的代表横跨免疫信号、小鼠模型、交通油耗等，各基向量的代表更集中在其解释所写主题，同时仍有repetitive gibberish text等离群。

嵌入偏移与可视化

• Figure 2：PubMedQA、Qwen2.5-7B（L20），抽出概念的文本嵌入经t-SNE投到Dimension 1、Dimension 2。图例为DiffMean与v1–v4。作者称DiffMean概念在语义空间中散布较广，基向量概念形成分开的簇且重叠很少。图注坐标约为−30到40，正文未给出各点坐标。
• Figure 3：PubMedQA上，四个模型–层在Weak、Intermediate、Strong下比较DiffMean与基向量均值（括号为最小–最大）。纵轴为Average Pairwise Cosine Similarity，刻度从0.0到0.6。作者称基向量在每个强度上平均都高于DiffMean。图中标注的具体端点数值在文本转换中未保留，此处不补。
• Figure 4：PKU-SafeRLHF、Llama3.1-8B（L15），六个过滤基向量的嵌入偏移相似度矩阵。Weak时对角线约为0.179、0.170、0.288、0.164、0.155、0.247，非对角线多在0.016–0.126；Intermediate对角线约为0.222到0.369；Strong对角线约为0.249、0.231、0.373、0.320、0.276、0.278。作者强调所声称的独立是行为上的：不同过滤基向量引起可区分的语义效果，并不声称激活空间中相互正交。

去掉拒绝方向

• 设置与Table 5：拒绝向量的解释包括把主题框成非法或受严格管制、把任务框成假设性的非法或不道德操作、声称请求非法、回答省略所请求细节、给出宽泛概述以避开精确细节。SAE潜变量非负，作者认为这些向量的存在意味着不安全DiffMean也含避开有害请求的方向。
• Table 6（测试划分，intermediate）：

表格较宽，可左右滑动

模型与层	Original	DiffMean	DiffMean-reject	∆的95% CI
Qwen2.5-7B L13	0.018	0.057	0.352	[0.277, 0.390]
Qwen2.5-7B L20	0.022	0.020	0.046	[0.002, 0.046]
Llama3.1-8B L15	0.015	0.014	0.084	[0.037, 0.103]
Llama3.1-8B L23	0.015	0.006	0.008	[-0.021, 0.006]

• 作者的解读：四个模型–层里有三个，不安全DiffMean的StrongREJECT分数不高于未转向模型。作者认为这难以用“向量只编码不安全方向”解释，而与其中还含抵消用的拒绝成分一致。去掉拒绝方向后，较早层分数上升；L23的∆置信区间跨过0，DiffMean-reject为0.008，仍低于Original的0.015。∆定义为DiffMean-reject减Original，因为四组中有三组Original高于DiffMean。

与SVD对比

• 概念一致性（Table 9，平均成对余弦相似度）：PubMedQA上SVD平均为0.396（4）、0.452（3）、0.554（5）、0.325（1），SAE为0.331（4）、0.329（4）、0.455（2）、0.406（4）。PKU-SafeRLHF上SVD为0.384（7）、0.446（4）、0.373（4）、0.385（1），SAE为0.438（7）、0.423（5）、0.551（6）、0.291（4）。作者称分数大体可比，但语义不同：SAE在PKU-SafeRLHF上更常得到有害概念，SVD更少与不安全内容相关。Llama3.1-8B（L23）上SVD只留1个表示“online”的向量，SAE留4个。
• StrongREJECT（Table 10，去掉各自拒绝方向）：SAE为0.352、0.046、0.084、0.008；SVD为0.107、0.031、0.015，L23为“–”（未识别出可解释为拒绝的基向量）。作者认为在该16维设置下，消融SAE找到的拒绝方向比消融对应SVD方向更能提高越狱能力；同时称两种方法并不一律谁更优，选择取决于所需概念和下游任务。附录C中，潜维度增大时SAE得到更多、更细的基向量，SVD幸存向量只略增且概念不变细（Table 16）；作者称粒度受潜维度控制的是SAE而不是SVD。

其他消融与分析

• 附录D：同一过滤用于随机实例级转向向量。作者称过滤解释了相对DiffMean的一部分提升，但在多数设置中SAE比随机候选留下更多与数据集相关的方向，一致性也更高；正文未给出该附录的具体数字。
• 附录B：作者称不同随机种子下恢复的概念大体一致，但不声称这是DiffMean的规范分解。
• 附录C：增大潜维度时，SAE的幸存概念更多、更细；全文覆盖所需维度、以及完全覆盖是否可达，作者称尚未确定。
• Table 20：列出LLM评审为各基向量与DiffMean抽出的全部概念及出现次数。作者称基向量几乎集中于细胞信号、治疗、研究、疾病，只有少量离群（如重复无意义文本），DiffMean概念分散在多种话题。
• 负面结果：PKU-SafeRLHF、Qwen2.5-7B L13上DiffMean概念相似度0.504高于基向量平均0.438；Llama3.1-8B L23上去掉拒绝方向后StrongREJECT为0.008，95% CI为[-0.021, 0.006]；SVD在该层未找到拒绝方向。

作者指出的局限与后续方向

• 概念覆盖不全（第8节）：抽出的基向量并不覆盖数据集中预期存在的全部概念。PubMedQA上得到信号通路、疾病、研究、治疗，但作者称它们没有张成数据里生物医学相关概念的全部范围。附录C提示增大潜维度能恢复更多、更细的概念，但作者称尚未确定完全覆盖需要多大维度，以及完全覆盖是否可达。
• 数据量（第8节）：与DiffMean不同，基于SAE的方法需要相对较多的数据点才能学到底层潜结构。
• 成本（第8节）：流程严重依赖LLM评审，限制了大规模应用。
• 评审依赖（第8节）：解释由评审生成，解释与转向效果的对齐由评审打分，概念提取指标中的概念也由评审抽出。作者称没有人工标注的真值来验证这些解释，也没有报告评审之间的一致性。
• 分解不唯一（第8节）：基向量依赖于SAE初始化、训练数据样本和潜维度。附录B显示不同种子下概念大体一致，但作者不声称它们构成DiffMean向量的规范分解。
• 反向使用未评估（第9节）：作者称同一分解也可把拒绝成分加回去，或从干预中排除不想要的成分；这一用法尚未评估，留给后续工作。

实验覆盖范围

• 模型与层：被测模型为Qwen2.5-7B-Instruct与Llama3.1-8B-Instruct，干预在总深度的0.5与0.75分位，对应L13/L20与L15/L23（第4.2节）。
• 数据：PubMedQA配Alpaca负集，PKU-SafeRLHF的severity 3与0；每集8,192对，80%训练、20%验证。解释10条、对齐打分128条、概念提取与嵌入偏移另128条，均来自Alpaca-Eval（第4.1、5.1节）。
• 行为编辑：StrongREJECT上比较Original、DiffMean与DiffMean-reject，提示词80%测试、20%验证，转向用intermediate系数；多个拒绝方向时按验证集最高分选取（第6节、Table 6）。
• 对照：主对比为DiffMean；第7节在其余阶段不变时用32个SVD候选（top-16右奇异向量的正负号）替换SAE。附录D对随机实例级转向向量使用同一过滤。
• 论文未报告的内容：正文未给出附录A.1中的完整SAE超参数值；未报告实验重复次数；第8节写明未报告评审间一致性，也没有人工标注真值。第6节的三评审集成未在正文写明模型名称。

Steering Vector Dissection把激活差构成的复合转向向量拆成语义上更一致、效果可区分的基向量，并用来从不安全DiffMean里去掉拒绝方向。

• 问题：DiffMean、激活加法和线性探针给出的单一方向常同时带上多个概念。作者举出“happiness”转向伴随有害请求顺从、性别偏见意识转向加重年龄偏见，并问这些构成方向能否被分开再选择性操纵。
• 方法：在指令微调模型的选定层收集正负token激活，batch内按余弦距离最近邻配对后相减，得到实例级转向向量。在原始差值上训练潜维度16、平均4个活跃潜变量、解码器无偏置的BatchTopK SAE。列向量经转向后由GPT-5.4解释，再按相关性、对齐分超过1.0和多数投票去重。转向强度把向量范数设为负激活平均范数乘以weak、intermediate或strong系数。
• 一致性：PubMedQA与PKU-SafeRLHF、两个模型、两个深度上，Table 3里八组中有七组基向量平均概念相似度高于DiffMean；最高为PKU-SafeRLHF、Llama3.1-8B L15的0.845。例外是PKU-SafeRLHF、Qwen2.5-7B L13，DiffMean为0.504，高于基向量平均0.438，作者称该向量窄地对应网络攻击，但基向量最大值0.573仍更高。Figure 4中不同基向量之间的嵌入偏移相似度低于各自的自相似度。
• 行为编辑：不安全DiffMean在四组里有三组没有提高StrongREJECT分数。去掉评审选出的拒绝方向后，Qwen2.5-7B L13从Original的0.018、DiffMean的0.057升到0.352（95% CI [0.277, 0.390]）；Llama3.1-8B L23仅为0.008，区间[-0.021, 0.006]。同设置下SVD得到的拒绝消融在L13为0.107，L23没有识别出拒绝向量。
• 作者的结论：作者认为这使表示工程从缠结方向走向概念级干预。同时作者写明，基向量盖不住数据集里的全部概念，分解依赖初始化、样本和维度，评价依赖LLM评审且没有人工真值；把识别出的方向加回去这一用法留作后续工作。