通过针对 SAE 特征改进 Steering Vector

现有steering向量会把模型带向何处难以预判，论文要度量该效应并减少非目标变化。

• 场景：作者称需要更好控制LLM。Prompting脆弱，且容易被颠覆指令的方法影响；finetuning更稳，但整理数据集昂贵、费时。Steering在前向中途把激活加进隐藏状态，作者认为它可能比prompting更稳，也比finetuning便宜、好实现。
• 不足：CAA或直接使用SAE latent时，往往不清楚向量会不会产生预期变化，或带出未预见行为。作者写到，有些干预除模型退化外没有可解释变化（Section 5）。
• 观察：用SAE比较steered rollout与未干预rollout的特征激活差，可以量化任意steering的因果效应。作者强调，这不是在研究早层SAE如何影响后层SAE。
• 方法：在该度量上学习向量到效应的线性关系，提出SAE-Targeted Steering（SAE-TS），对准指定特征并压低副作用，再与CAA和直接SAE feature steering比较。

激活steering

• 对比激活差：Turner et al. 2024用成对正负提示的激活差提取steering向量。Panickssery et al. 2024把该做法扩展到Llama-2；Zou et al. 2023在更宽的任务范围上使用它。
• 带数据的学习：Cao et al. 2024的BiPO学习通向期望输出的向量，同样需要正负样本。Lee et al. 2024提出conditional steering；Scherlis et al. 2024研究现有方法的因果局限。

SAE与机制可解释性

• 分解残差流：Ng 2011、Bricken et al. 2023、Cunningham et al. 2023的SAE把残差流分成稀疏、常常可人工理解的特征。Olah et al. 2020与Olah把目标写成拆出可理解组件。
• 线性方向：论文用Arora et al. 2018、Elhage et al. 2022支持“潜在空间含线性、可解释方向”的假设，并引Templeton et al. 2024、Zhao et al. 2024作为用SAE方向做steering的工作。
• 另一类用法：Marks et al. 2024、Anders and Bloom 2024研究早层SAE对后层SAE的影响。Durmus et al. 2024评估feature steering以缓解社会偏见。

提示与微调

• 作者给出的对照：Wallace et al. 2024的prompting会被颠覆指令的方法影响，作者引用Wei et al. 2023。Ouyang et al. 2022、Chung et al. 2022的finetuning更稳，但作者用Dubey et al. 2024说明数据集可能昂贵且费时。

基线与评测任务

• 实验基线：CAA是正负提示激活差在token位置和提示上的均值；作者称与Panickssery et al. 2024相似但不相同。另一基线是任务相关SAE特征的decoder向量。评测不是命名基准，而是9个开放生成话题。

作者称SAE-TS用SAE测量steering向量的效应，再构造对准指定特征、压低副作用的向量；这不同于把SAE latent直接加进前向，也不同于看早层SAE如何影响后层SAE。

先度量steering对SAE特征的差分，再拟合线性近似器，用它构造SAE-TS。测量和构造都在Gemma-2第12层残差流上进行。

效应度量

• 插入方式：第i块写成hi = bi(hi−1)。在层l把隐藏状态改为hl + αv，α决定加入向量的范数。主测量用Gemma-2-2B和Gemma Scope第12层残差流JumpReLU SAE，隐藏维16,384。重构是编码器激活乘Wdec再加bdec；直接SAE steering用decoder的一行。
• 三步：用插入v的模型与原模型各生成rollout；把文本再送到层l，用编码器f取各位置特征；对输出和位置求平均后相减。Figure 1的示例起始提示是「<BOS>Last night」，论文未说明全部rollout的提示分布。
• 效应定义：y = E_steered[f(x)] − E_unsteered[f(x)]，即两类文本上平均特征激活之差。对每个SAE特征生成896条长度为32的rollout。
• 为何要看副作用：作者举例特征12904在“日之后的月份”上激活，用其decoder转向的却是年份数字，最大效应也不在它自己。附录H还有激活在say上、却抬高hello特征的例子。

线性近似器

• 数据：50,000个向量取自同层更大的SAE，即Gemma-2-2b第12层65k SAE，L0为72。每个向量的效应仍按上一节计算。
• 拟合：ŷ = xM + b。x为dmodel维，M为dmodel×dsae，b为dsae维。用Adam最小化ŷ与y的MSE。
• 采集尺度：每个向量单独选α，使交叉熵比未干预基线高0.5。作者用它补偿不同方向敏感度不同。

构造SAE-TS

• 目标：提高特征j的激活，并让其他特征尽量不变。
• 公式：s = M_j / ||M_j|| − λ M_b / ||M_b||，再把s归一化到单位范数。全部实验λ=1。Mj是特征j对应列；正文把第二项称为bias项−Mb，Figure 5图例写作−Wb。
• 不用伪逆：作者不解M的伪逆。附录A的解释是：忽略bias时，归一化Mj是单位范数下最大化特征j预测效应的方向；训练时先按损失升高0.5选α，再归一化到范数1，影响很多特征的方向在数据里效应更小，Mj已含这部分信息。
• 旋转扩展：附录D为测量集里太稀、或不在测量SAE中的特征另做旋转：相关矩阵C = M Wdec做SVD，用R = UV^T变换decoder方向，再归一化并减去归一化的Mb。

评测时的加入与判定

• 加入位置：Section 5在每个token位置把αv加到残差流，并扫描α。报告用的不是“交叉熵高0.5”那个单一尺度。
• 分数：gpt-4o-mini按1–10打行为分和连贯分，平均后归一化到0–1，相乘得到Behavioral*Coherence。行为分看是否满足任务标准，连贯分看语义和语法。论文未给出归一化公式。附录B以Wedding为例给出了评分提示词。

实验设置

• 模型：被测为Gemma-2-2B和附录C的Gemma-2-9B。评分模型为gpt-4o-mini。2B的测量SAE是第12层残差流、隐藏维16,384；9B为同层宽16k、L0为130。
• 任务：Anger、Christian、Conspiracy、French、London、Love、Praise、Want to die、Wedding。从「<BOS>I think」开放续写，每条32 token。论文写采样256条，未写明是每个scale还是全部scale合计。向量加在每个token位置。
• 基线：CAA，以及SAE decoder向量。作者在致谢中写，这一版修正了CAA实现错误并重新生成了结果。论文未说明CAA正负提示的条数。
• 指标：行为分看是否谈到指定话题，连贯分看语义是否正确、语法是否成立。gpt-4o-mini打1–10，平均并归一化到0–1后相乘。未写归一化公式、采样温度或重复次数。
• 两种尺度：近似器训练集的α按交叉熵升高0.5选取。表中主分数是扫描α后的Behavioral*Coherence峰值。

主结果

Gemma-2-2B上Behavioral*Coherence的scale峰值。抽取文本里Table 2的方法列写作ActSteer，数值与附录Table 6的CAA列相同，正文称该基线为CAA。

Swipe horizontally to read the table

任务	CAA	SAE	SAE-TS
Christian	0.3486	0.0902	0.3302
Conspiracy	0.3748	0.2319	0.3729
London	0.0476	0.0061	0.5380
Praise	0.1332	0.2654	0.2842
Want to die	0.1284	0.0649	0.1870
Wedding	0.1768	0.2626	0.5432
九任务平均	0.2165	0.1290	0.3600

• 作者称SAE-TS在7个任务上优于两基线。例外是Christian，CAA最高；Conspiracy上作者称CAA与SAE-TS打平。
• 表中省略Anger、French、Love。这三行SAE-TS峰值为0.2424、0.3186、0.4234，均高于同行的CAA和SAE。Want to die是九任务里SAE-TS最低的一行。
• 作者称London上CAA与SAE在高scale仍不产生对London的提及。SAE-TS在α>160时多样性下降，输出集中到时装秀和艺术展。

Gemma-2-9B

• 作者概括：附录C用第12层宽16k、L0为130的SAE重复九任务。作者称SAE-TS平均高于CAA和SAE，但CAA在4个任务上更好，并在1个任务上打平。
• Table 5：峰值均值SAE-TS 0.3376、CAA 0.2531、SAE 0.2184。Want to die上SAE-TS为0.1265，低于SAE的0.1646和CAA的0.1521。Anger为CAA 0.2336、SAE-TS 0.2310。
• London：该SAE没有只在London上激活的特征，作者混用6915、9983、11748，未说明权重。该任务SAE-TS峰值为0.3135。

伪逆与旋转

• 伪逆：附录A用M的伪逆求向量。作者称SAE-TS更好；Table 3九个任务都是SAE-TS更高，Christian为0.3302对0.0025，Wedding为0.5432对0.0567。Table 6伪逆平均0.1197。
• 旋转：附录D把同层SAE的decoder方向旋到steering方向，用于测量集中没有的特征。Table 6平均0.3115。作者称总体不如SAE-TS；Conspiracy上rotation为0.4074，高于SAE-TS的0.3729。
• 解读：作者把伪逆较差归因于训练集的损失缩放已把对其他特征的敏感度写进Mj，而不是写成对伪逆的统计比较。

连贯分与起始提示

• bias项：Figure 5只加−Mb时，连贯分在scale 60升到0.72后下降；随机向量先平后降。作者认为Section 5里SAE-TS连贯分先升来自该bias项。
• 评分疑点：作者注意到scale 100时几乎每条rollout都有专有名词，并认为连贯分升高有可能是gpt-4o-mini给专有名词更高分，而不一定是文本更连贯。
• 换提示：附录F改用「<BOS>Surprisingly,」。作者称与「<BOS>I think」定性相似；正文未给出该提示下的分数。

其他消融与分析

• Table 1：特征12904的最大激活差4.5819（特征6810），次高1.3763；作者称前者超过后者的3倍。
• Figure 2：α=0时London/Wedding的连贯分0.64、行为分0；作者称London行为分可超过0.9，Wedding约在0.75见顶，连贯分约在0.71见顶，且先升是SAE-TS特有的。
• 附录I：SAE-TS的London，scale 100标为optimal，160标为too high。
• Table 6：rotation高于SAE-TS的还有Anger 0.2460对0.2424、French 0.3724对0.3186、Want to die 0.2167对0.1870；Christian的rotation为0.0870。
• Table 5：CAA高于SAE-TS的还有Christian 0.3162对0.2769、Conspiracy 0.4343对0.3315、Love 0.3373对0.2710。
• Table 5：Praise的SAE-TS为0.5188，Wedding为0.5494；French的SAE 0.3272高于CAA的0.3203。

作者指出的局限与后续方向

• 模型族：实验都在Gemma-2 2B和9B上，二者同为蒸馏架构。作者称结果可能无法迁移到其他模型（Section 7.1）。
• 模型类型：二者是未经指令微调的基座模型。作者称因此只做开放生成，没有研究与安全或能力相关的任务和特征（Section 7.1）。
• 特征范围：只转向SAE中已有的概念。作者指出有的概念不会成为单独特征（feature splitting），冷门特征可能只出现在极大的SAE中；SAE-TS只能对准测量效应所用SAE里的特征（Section 7.1）。作者把附录D的旋转写成一种可能的处理办法。
• 对话与安全：作者把方法用到chat模型以及安全相关steering目标列为后续方向（Section 7.2）。
• 其他架构：作者计划尝试TopK SAE等其他SAE，以及Gemma族以外的模型架构（Section 7.2）。
• 优化方式：作者提出可把BiPO改成朝期望特征效应优化steering向量（Section 7.2）。

实验覆盖范围

• 主分数来自Gemma-2-2B与Gemma-2-9B、第12层残差流、9个开放生成话题；2B写明采样256条、每条32 token，起始提示为「<BOS>I think」，并在扫描尺度后取Behavioral*Coherence峰值（Section 5、附录C、Table 2、Table 5）。
• 评分者是gpt-4o-mini，量表1–10，再归一化到0–1。论文未报告与人工的一致性、归一化公式、采样温度，也未写明256条对应每个scale还是全部scale。
• 2B的效应测量覆盖隐藏维16,384的每个特征，每特征896条长度32的rollout；线性近似器用50,000个65k SAE（L0=72）的decoder向量，λ=1（Section 3、4）。
• 附录比较了伪逆、rotation steering、只加bias项，以及起始提示「<BOS>Surprisingly,」；附录E在Gemma 1（2B）上比较了效应相似与decoder余弦。
• 9B的London没有单独特征，作者混用6915、9983、11748。Section 7.1写明实验是基座模型的开放生成，不是指令微调、对话或安全相关目标。

SAE-TS用SAE测到的特征效应构造steering向量，使开放生成对准指定话题并保持连贯。

• 问题：用对比激活差或SAE decoder做steering时，输出变化难以预判，可能偏离目标，或只剩下退化。
• 做法：在Gemma-2第12层比较干预前后rollout的SAE激活，用50,000个向量拟合线性映射。目标向量是该特征列的单位方向减去bias方向，再归一化。采集效应时把交叉熵调高0.5；正式比较则扫描尺度并取峰值。
• 2B：九任务Behavioral*Coherence峰值均值，SAE-TS 0.3600，CAA 0.2165，SAE 0.1290（Table 2）。作者称7个任务SAE-TS更好；Christian上CAA 0.3486高于SAE-TS的0.3302；Conspiracy为0.3748与0.3729，作者称打平。London上两基线为0.0476与0.0061，SAE-TS为0.5380。
• 9B：Table 5峰值均值SAE-TS 0.3376、CAA 0.2531、SAE 0.2184。作者称平均仍更高，但CAA在4个任务上更好、1个打平。Want to die上SAE-TS为0.1265，低于另外两种方法。
• 作者结论：作者认为SAE-TS在目标行为与连贯之间优于上述两基线。同时写明目前只覆盖Gemma-2基座和SAE中已有特征，并计划扩到chat模型与安全相关目标。