LocUS：面向定向激活引导的注意力头选择与子空间投影

标准差分均值（DoM）转向把对比数据里的非目标轴向注入整层表示，可能损伤无关能力。

• 场景：作者要在推理时抑制或放大特定生成属性，如降低毒性、调整语气或施加风格约束。微调有灾难性遗忘风险（Luo et al., 2024）；参数高效微调仍要训练；提示词被作者称为往往不稳定且难校准。
• 不足：DoM用展现与缺乏目标属性的两组激活均值之差作为方向，加到残差流。作者称，两组若还在目标以外的轴上不同，该向量会编码这些轴，转向可能损伤事实回忆或推理（Tan et al., 2024）。只定位到层或注意力头仍不够，头内DoM仍携带非目标轴。
• 做法：提出LocUS（Localized Unembedding Steering）。用unembedding中与属性token对应的列定义词汇子空间，据此自动选出注意力头，并把每个头上的转向限制在该头自己的属性子空间。
• 所需访问：推理时改激活、不改权重。要用unembedding、注意力头输出和最终RMSnorm；DoM向量来自对比激活。实验中的属性词典由对比语料的词分布差得到；正文写也可手工指定或用LLM生成。
• 评测：在三个模型族上做毒性缓解、情感重定向和谄媚抑制，并与层间DoM及已有头级方法比较。作者称可匹配或超过已有基线，干预参数占比低于6%，且更能保持一般能力。

转向与残差流

• Turner et al. (2023)与Rimsky et al. (2024)的difference-of-means：用对比样本激活均值差估计方向并加到残差流。引言引用Tan et al. (2024)，称非目标轴会被写入该向量并可能损伤无关能力。
• Subramani et al. (2022)、Zou et al. (2023)的representation engineering，以及Rodriguez et al. (2025a,b)，被引言列为用对比数据在推理时估计变换的转向方法。实验未与这些估计器比较。
• Elhage et al. (2021)给出残差流的加法结构，作者据此把向量加法当作干预原语。Arditi et al. (2024)与Li et al. (2023)被引为有的性质由单一方向中介。

局部干预位点

• 层一级例子为Rimsky et al. (2024)与Wang et al. (2025)。头一级：Li et al. (2023)的ITI在LLaMA真实性任务上用每头线性探针选头；Izawa et al. (2026)的SMH在两个模型的人格特质上先选最有影响的层，再选该层中与转向向量最对齐的头。
• 作者称，这两种头级方法的评测都绑在单一属性上，头数和干预强度靠扫描或手工设定。
• Clark et al. (2019)、Wang et al. (2023)、Todd et al. (2024)、Basile et al. (2025a)、Gandelsman et al. (2024)被列为在不同粒度上定位与属性相关的组件；Related Work未逐篇与本文比效果。

打分工具与其他控制方式

• 头打分来自Basile et al. (2025b)的Head pursuit，原用于多模态transformer中找语义特化头，算法为Tropp et al. (2006)的SOMP。nostalgebraist (2020)的logit lens被用来类比映回原始头空间后的方向。
• 微调被作者关联到灾难性遗忘（Luo et al., 2024）。LoRA（Hu et al., 2022）与adapter（Houlsby et al., 2019）降低训练成本但仍需训练。提示词被作者称为更轻，但往往不稳定、难校准（Sclar et al., 2024; Lu et al., 2022; Cheng et al., 2026）。

基线与基准

• 基线为未转向模型、每层DoM、ITI和SMH；消融为LocUS-h、LocUS-s、LocUS-hs。
• 任务数据为ThoroughlyEngineeredToxicity（Luong et al., 2024）、IMDb（Maas et al., 2011）、Chen et al. (2025)的persona谄媚数据。能力侧为MMLU（Hendrycks et al., 2021）和按Rodriguez et al. (2025b)协议计算的Wikipedia开头PPL。Table 4的外部拟合语料为人工撰写的Jigsaw评论。

作者称，据其所知，激活转向文献里仍缺自动、对属性通用的逐头转向流程，而用属性对齐的子空间投影来约束所注入的方向则还没有。

LocUS用属性词在unembedding中的列，同时决定干预哪些注意力头，以及每个头沿哪些方向加DoM更新。Figure 1给出流水线。

问题设定与DoM

• 残差流按层加法更新。DoM在层ℓ提取激活，对token位置池化，转向向量为两类均值差。推理时把该层激活加上α倍转向向量，α控制强度。
• 定义式为 s^(ℓ)=1/(|D⁺|)∑_{z∈ D⁺}r^(ℓ)(z)−1/(|D⁻|)∑_{z∈ D⁻}r^(ℓ)(z)。含义：展现目标属性与缺乏该属性的样本，在层ℓ的平均激活之差。
• 作者称该向量会继承两组样本不同的每一条轴，而不只是目标属性。

词汇原子与头选择

• 实验不手工指定词典，而从对比语料自动得到：Dirichlet平滑（α=0.01）的一元概率，按两个方向的点式KL贡献打分，去停用词，各留70个最高分词再取并集，去掉非ASCII，每个（模型，任务）得到139–140个词，再分词得到P。约三分之一的TET单元还会手工去掉过泛的词（附录A.3）。
• 原子矩阵为 U_P=W_U[:,P]，列是模型把残差流解码到这些token的方向。
• 每个头的输出先过最终层RMSnorm，因为unembedding看到的是该归一化之后的激活。用SOMP以固定原子预算重构校准集上的头输出，并强制所有样本共用同一原子集。头选择时预算为50，与Basile et al. (2025b)相同。
• 用解释方差比e(ℓ,h)衡量这组原子对头输出的重构程度，取值在0到1。保留e(ℓ,h)高于全体头均值加两倍标准差的头，集合记为S，基数k由数据决定，后续都用这个k。

子空间投影的三个变体

• LocUS-s：在每一层的残差流上，用SOMP得到该层共享原子集，转向向量由重构激活计算，落在这些原子张成的子空间，再加到原始层激活。不筛头。
• LocUS-hs：为与层间转向的参数量可比，不在投影后的d维头输出上干预，而在输出投影前的原始头输出上干预，其维度为d/H。属性原子在残差流空间，经注意力输出矩阵、用校准集平均倒数线性化的最终RMSnorm、以及unembedding，映回原始头空间（正文式(4)）。每个头用SOMP选n个原子，更新只加在这些原子的张成空间上。不筛头。
• LocUS：只对S中的头做上述头级投影；S外的头不干预。投影原子预算n=20，由拟合数据上“全体头平均累积EVR超过0.25的最小原子数”定出（附录Table 6：十二个单元在14–25，中位数21）。层间LocUS-s的n=10为手工设定。

强度对齐与施加方式

• 各变体改变更新的范数。为在匹配的干预预算下比较，用全体干预位点上DoM向量范数之和，除以该LocUS变体向量范数之和，得到乘数α2，再令β=α2×α1。头级变体先用输出投影把原始头更新映回残差流再比范数。α1是唯一扫描量，在验证集上选取（附录A.4）。
• 转向向量用atonce估计：校准集上所有hook同时激活，一次前向，在已捕获的激活上算各头DoM，不用逐层增量估计。激活对提示词的序列位置取平均。推理时只加到生成续写的最后一个token位置（附录A.3）。

成功判定

• 目标指标越低越有效。TET为RoBERTa毒性分类器给出的毒性率；IMDb为DistilBERT SST-2的正向率，任务方向是positive到negative；谄媚为按Chen et al. (2025)、由Qwen2.5-32B-Instruct使用原评审提示打的0–100分。
• 能力侧为MMLU与Wikipedia开头PPL。验证点可接受的条件是：wiki-PPL不超过未转向模型的两倍，且MMLU至少为未转向的0.99倍；在可接受点中取验证目标最低的α1。作者把PPL高于未转向两倍视为输出退化。

实验设置

• 模型：附录A.1写，IMDb用Mistral-7B-v0.1、Llama-3.1-8B、deepseek-llm-7b-base；TET与谄媚用Mistral-7B-Instruct-v0.3、Llama-3.1-8B-Instruct、deepseek-llm-7b-chat。均为官方权重、bfloat16、不再微调。Table 5另测deepseek-67B。Table 2的行名都写成Mistral-7B-I、deepseek-7B-I、Llama-8B-I，与附录对IMDb使用base的写法不一致；下表数字按Table 2的行名引用。
• 数据：TET共2,546条，对半后1,273留作测试，其余636拟合、637验证；生成协议写的是测试615条、验证308条，每条2个64 token续写。IMDb拟合为512条正评加512条负评；评测取测试集评论前8个token，且不含Hu–Liu情感词，前1,000条为测试、其后1,000为验证，每条1个50 token续写。谄媚拟合为512条诱发加512条中性；评测为5个诱发系统提示乘20问，每对2个64 token续写。
• 基线：未转向、每层DoM、ITI（探针选出与LocUS-h相同的k个头）、SMH（单层内与转向向量最对齐的头）。消融为LocUS-h、LocUS-s、LocUS-hs。ITI与SMH用其公开强度网格。
• 指标：TET毒性率，分类器为Logacheva et al. (2022)的RoBERTa。IMDb正向率，分类器为DistilBERT SST-2。谄媚分为Qwen2.5-32B-Instruct所打的0–100分。三者越低越有效。MMLU为57学科5-shot，共14,042题，按学科分层对半；Jigsaw与67B表用全量。PPL为2万篇英文Wikipedia开头50 token的平均每篇困惑度，验证与测试各1万篇。
• 系数与采样：α1网格为0.25、0.5、0.75、1、1.5至4。可接受条件为验证wiki-PPL不超过未转向的2倍，且验证MMLU至少为未转向的0.99倍；取验证目标最低的一点。各表测试数字都是该单点。采样温度1.0；TET与IMDb另用top-p 0.3、重复惩罚1.2。
• 选头细节：EVR阈值是均值加两倍标准差；头选择原子预算50，投影预算20。ITI为每头逻辑回归（C=1.0，L2，max_iter=1000，末token激活，类别平衡到少数类，2折），按平均留出准确率取前k。

主结果

据Table 2。目标越低越有效。行名按该表。

Swipe horizontally to read the table

模型（表中行名）	TET毒性：未转向 / DoM / LocUS	IMDb正向率：未转向 / DoM / LocUS	谄媚分：未转向 / DoM / LocUS
Mistral-7B-I	0.237 / 0.060 / 0.020	0.630 / 0.254 / 0.009	66.5 / 61.5 / 52.0
deepseek-7B-I	0.241 / 0.042 / 0.026	0.658 / 0.365 / 0.007	57.0 / 41.5 / 14.9
Llama-8B-I	0.132 / 0.028 / 0.020	0.675 / 0.318 / 0.119	80.9 / 82.5 / 83.8

• 作者称，在验证选定强度下，九格中八格LocUS的目标低于DoM，也低于ITI；第九格是Llama-8B谄媚。该格Table 2为：LocUS 83.8（+4%），DoM 82.5（+2%），ITI 82.1（+1%），SMH 80.2（−1%），未转向80.9。作者将其视为DoM转向的失败例，并称没有方法推动分数。Figure 6图注写，该任务的验证扫描整幅跨度不到2分。
• ITI在deepseek-7B-I的TET上毒性率为0.332（+38%），在Llama-8B-I上为0.145（+10%），都高于未转向。SMH仅在TET/deepseek低于LocUS（0.016对0.026）。作者的解释是：探针按能否检出属性排序，EVR按写入强度排序。Figure 4是按EVR排序的头；Figure 5是ITI探针准确率，图注称高准确率在头和层上分布更广。
• 作者称，强度增大时DoM损失MMLU，LocUS把MMLU保持在未转向附近，代价是流畅度，因此多数格子PPL最高。例：deepseek-7B-I谄媚，LocUS的PPL为20.4，未转向10.7；Llama-8B-I的TET为14.3对9.4。MMLU例：Mistral-7B-I的TET上LocUS为0.621，未转向0.620；deepseek-7B-I的IMDb上LocUS为0.477，未转向0.483。Table 1给出IMDb上positive到negative的续写例子；作者注明部分生成可能冒犯，此处不引原文。

组件消融

• Table 3比较只选头（LocUS-h）、只在每层残差流投影（LocUS-s）、在每个头投影但不选头（LocUS-hs）和完整LocUS。作者称只选头在每一格都低于DoM，并解释了大部分收益；再加投影进一步保护能力。无选择的投影没有帮助：LocUS-hs把更新铺到所有头，MMLU像DoM一样下降；LocUS-s保持MMLU但转向不足。
• deepseek-7B-I谄媚：LocUS-h为31.5（−45%），LocUS-hs为47.3（−17%），LocUS-s为55.9（−2%），LocUS为14.9（−74%），未转向57.0。Mistral-7B-I的TET：LocUS-h为0.003（PPL 13.0，MMLU 0.612），LocUS为0.020（PPL 8.2，MMLU 0.621）。
• 例外：IMDb/Llama-8B-I，LocUS正向率0.119，LocUS-h为0.070。作者称这是PPL效应：预算集中到更少方向上使PPL升得更快，网格上下一强度被门控拒绝。Llama-8B-I谄媚上，四个变体都高于未转向80.9：LocUS-h 82.2，LocUS-s 81.7，LocUS-hs 82.1，LocUS 83.8。

外部语料与67B

• Table 4把词典、头分数、子空间和转向向量都拟合在Jigsaw人工评论上，再在TET上评。LocUS毒性率：Mistral-7B-I为0.0358（−85%，k=19），Llama-8B-I为0.0325（−75%，k=19），deepseek-7B-I为0.0033（−99%，k=32）。同数据DoM为0.0943（−60%）、0.0374（−72%）、0.0260（−89%）。作者称三模型上LocUS降幅大于同数据DoM，MMLU与未转向相差在0.005以内。表中MMLU：Mistral 0.619对未转向0.618，Llama 0.679对0.683，deepseek 0.509对0.513。
• Table 5在deepseek-67B的测试划分上比较DoM与LocUS。k为TET 166、IMDb 186、谄媚173。作者称约为6,080个头的3%。TET毒性率LocUS为0.000（−100%），DoM为0.020（−93%），未转向0.286；IMDb正向率0.009（−99%）对0.387（−41%），未转向0.652；谄媚54.4（−28%）对58.2（−23%），未转向75.8。作者称三任务都低于DoM，MMLU与未转向相差在0.01以内，权衡与7B相同。

其他消融与分析

• 自由度：作者称完整LocUS至多干预5.1%的注意力头，每个保留头的更新限制在该头维度的16%；相对每层无投影DoM的L·d自由度，为0.4%–0.8%。摘要另写干预参数低于6%。
• 原子预算：附录Table 6中，使全体头平均拟合期累积EVR超过0.25的最小原子数落在14–25，中位数21；主表投影预算取20。层间LocUS-s的n=10为手工设定。
• Figure 2：deepseek-7b、IMDb的EVR矩阵；图注称红框为所选头，正文称Figure 2与Figure 3用橙框。图中前五头EVR为0.111、0.092、0.089、0.082、0.081。
• Figure 3的九格k为：Mistral 42/41/42，deepseek 44/49/33，Llama 36/44/32（顺序为TET/IMDb/谄媚），与Table 3一致。
• Figure 6：验证集上α1从0.25到4，横轴为目标指标、纵轴为MMLU；验证wiki-PPL超过未转向两倍的点被省略。文本转换看不到曲线形状。作者称DoM随强度损失MMLU，LocUS保持MMLU、损失流畅度。
• 强度乘数：Table 3中LocUS的α1/β例如Mistral谄媚4/105、Llama谄媚3/159、deepseek谄媚3.5/95.7。论文用β把总干预量对齐到DoM。

作者指出的局限与后续方向

• 词汇载体：作者称，就目前形式，方法只适用于属性由某种词汇差异承载的设定（Limitations）。
• 流畅度：作者称方法更倾向于降低以PPL计算的流畅度，相对事实推理下降更多（Limitations）。
• 能力指标：能力只以MMLU和PPL衡量，开放式推理上的影响未覆盖（Limitations）。
• 细粒度可控：作者称MMLU覆盖多主题知识检索，但不评估细粒度可控性，例如抑制毒性同时保留特定人口统计内容，这需要专门基准（Future Work）。
• 词典筛选：作者称，既有头选择标准来自对比或探针数据，会把数据中的偏差带进头选择；LocUS允许按可解释方式过滤所关心的词汇方向。分析不同词典筛选程度下的细粒度可控性被写成后续方向（Future Work）。
• 组合估计器：作者称LocUS只规定在何处、在何子空间干预，原则上可与任何转向方法兼容；与更复杂的估计器组合（例如Rodriguez et al., 2025b）是自然的后续方向（Future Work）。

实验覆盖范围

• 生成模型为附录A.1的三个7–8B族，IMDb用base，TET与谄媚用Instruct或Chat；另有Table 5的deepseek-67B。
• 任务为TET、IMDb的positive到negative、Chen et al. (2025)的谄媚。评审分别为RoBERTa毒性分类器、DistilBERT SST-2、Qwen2.5-32B-Instruct。
• 比较对象包括未转向、每层DoM、ITI、SMH，以及LocUS-h、LocUS-s、LocUS-hs。α1在验证集按PPL与MMLU门控选取一次，表内为该点的测试结果。
• Table 4在Jigsaw上拟合后只评TET上的三个7–8B模型。Table 5在deepseek-67B上比较DoM与LocUS。MMLU主表用对半划分，这两张表用全量。
• 论文未报告整条流水线的随机种子或重复次数，也未报告Qwen评审或两个分类器与人工判定的一致性。实验中的属性词典来自对比语料；正文写也可手工指定或由LLM生成，这两种没有进入各结果表。

LocUS是不更新权重的推理时转向方法，把差分均值更新限制在少数注意力头及其属性对齐子空间。

• 问题：整层DoM会把对比数据中目标以外的轴向注入残差流。作者要在降低毒性、把IMDb续写从正向转到负向、抑制谄媚时，少损伤无关能力。
• 方法：从对比语料抽取属性词，取unembedding列作原子；用SOMP的解释方差比，保留高于均值加两倍标准差的头。只在这些头的原始输出上、沿该头自己的原子子空间加转向，并用范数把总干预量对齐到DoM。系数在验证集按PPL不超过未转向两倍、MMLU至少为未转向0.99倍的门控选取。
• 主结果：Table 2中，Mistral-7B-I的TET毒性率从未转向0.237到LocUS的0.020，IMDb正向率从0.630到0.009；deepseek-7B-I谄媚分从57.0到14.9。作者称九格中八格低于每层DoM和ITI。例外是Llama-8B-I谄媚：LocUS为83.8，未转向为80.9；以及deepseek-7B-I的TET，SMH为0.016，低于LocUS的0.026。ITI在deepseek与Llama的TET上毒性率高于未转向。
• 规模与迁移：Table 5中deepseek-67B的TET毒性率，LocUS为0.000，DoM为0.020。Table 4中，在Jigsaw上拟合后再评TET，三个7–8B模型的LocUS毒性率都低于同数据DoM。作者称注意力头占比至多5.1%，相对每层DoM的自由度约为0.4%–0.8%；摘要写干预参数低于6%。
• 作者结论：作者称这种两级定位带来比层间DoM和已有头级方法更大的目标指标变化，同时MMLU接近未转向，代价更多出现在PPL。作者认为该方法目前只适用于由词汇差异承载的属性，开放式推理上的影响尚未覆盖。