用输出为中心的特征描述增强自动化可解释性

只按激活输入描述特征，抓不住该特征如何改变模型输出。

• 场景：自动化流水线让 LLM 为神经元或激活空间中的方向写自然语言描述。作者称这类描述常用于 steering，即刺激特征以控制输出，因此面向 steering 的描述应看输出侧。
• 现有做法的问题：作者称在大语料上收集激活样本成本高，数据不公开时几乎不可能；不同数据集还会给出不一致描述，或因缺少激活把特征标成 dead。论文引用 Huang et al. (2023)，称 Bills et al. (2023) 解释过的神经元，对其描述中的概念缺少因果影响。
• 作者的假设：特征概念由其因果角色决定，包括输入如何引起激活，以及激活如何改变输出（框架取自 Geiger et al., 2024a）。Figure 1 的例子里，输入侧与竞价语境有关，输出侧则抬高与 war 相关的 token；作者称只有两侧合看，才能看出该特征在社会与商业情境中推动 war 这一概念。
• 本文提出的东西：一套输入侧加输出侧的描述评测，以及两种输出侧生成方法 VocabProj、TokenChange，并与常用的 MaxAct 集成。作者称 VocabProj 只需一次矩阵乘法，TokenChange 只在少量输入上跑模型。

论文讨论的相关工作主要是用激活输入生成特征描述，以及少量从下游效应检查描述的评测。

输入侧自动化描述

• MaxAct 流水线：Bills et al. (2023) 用 GPT-4 根据 GPT-2 神经元的最大激活样本写解释，并用 simulation scoring 做输入侧评测。Bricken et al. (2023)、Paulo et al. (2024)、Choi et al. (2024) 以及 Neuronpedia（Lin and Bloom, 2023）把这一做法用到 SAE 特征。
• 规模化沿用：Cunningham et al. (2023)、Templeton et al. (2024)、Gao et al. (2024)、He et al. (2024a) 在 LLM 神经元和 SAE 上沿用激活样本描述。视觉模型也有同类流水线（Hernandez et al., 2022; Shaham et al., 2024; Kopf et al., 2024）。论文对这些工作只作并列。
• 因果缺口：问题设定中引用 Huang et al. (2023)，称 Bills et al. (2023) 解释过的神经元对其描述中的概念缺少因果影响。

仍依赖激活输入的新方法

• 后续算法：Kharlapenko et al. (2024) 使用 activation patching 的变体；Paulo et al. (2024) 改进给解释模型的提示词；Choi et al. (2024) 用类似 Singh et al. (2023) 的描述选择来改进残差特征描述。
• 作者的区分：作者称这些工作仍是计算量大的输入侧方法；自己的输出侧方法不超过两次前向，且与输入侧合用后总体更好。论文未报告这些先前方法在本文两项评测上的数字。

特征分析与描述评测

• 下游方向：论文列举 steering、circuit discovery、特征解耦和 SAEBench，没有把它们当作描述生成基线。
• 描述评测：Rajamanoharan et al. (2024) 用输入侧方法比较不同 SAE 的 latent interpretability；作者称这不反映模型控制中的下游效应。Paulo et al. (2024) 发现多个输入侧分数与一种基于干预的指标呈负相关。
• 同期工作：Bhalla et al. (2024) 也从下游效应看描述。作者称其重点是如何有效 steering，而不是如何生成描述。

基线与数据

• 基线方法：主对照是 MaxAct。Llama-3.1 8B Instruct 另有 Transluce 的 MaxAct++（Choi et al., 2024）：从多条激活描述里用 simulation scoring 选一条。方法对比还包括 VocabProj、TokenChange 和两种集成。
• 数据：特征来自 Gemma Scope、Llama Scope、OpenAI SAE；MaxAct 描述与激活来自 Neuronpedia 和 Transluce；TokenChange 的随机提示来自 The Pile。

作者把本文放在这些工作之后：现有流水线只描述激活输入，本文用输出侧方法补上特征对生成的影响，并主张两侧一起用。

作者把描述当成双侧问题，在 MaxAct 之外加入 VocabProj 和 TokenChange，再把两侧材料合成一条描述。

问题设定与评测定义

• 特征：目标模型为 M。隐藏向量 v 经可逆 featurizer F 映到特征空间；单特征 f 的向量记为 vf = F 的逆作用在 f 上。框架覆盖 MLP 神经元、正交方向、SAE 稀疏线性特征，以及非线性特征。用 ReLU 的 SAE 只有正激活。
• 要产出的东西：人类可读描述 sf，且能放进解释百万级特征的流水线。作者因此排除人工标注。
• 输入侧判定：解释模型按 sf 各生成 k 个应激活与不应激活的句子。句子送入 M，取该句所有 token 位置上 f 的最大激活，再比两组均值。作者把忠实写成 m̄_activating > m̄_neutral。取句内最大值，是因为作者认为单个 token 上的强局部激活即可算有意义。
• 输出侧判定：对开放提示各生成 n 个 token，分别放大 f 与两个随机特征，把激活钳到 m。评审 LLM 在三组文本中选哪一组匹配 sf；选中放大 f 的那组才算忠实。随机基线为 1/3。§A 与 §B.2 给出造句、评审和解释模型的完整提示词。

VocabProj

• 做法：把 vf 看成对输出分布的更新，计算 w = W_U LayerNorm(v_f)。WU 是 unembedding，LayerNorm 是最终层归一化。取 w 里最高和最低的 token，视为最被促进或抑制的 token，交给解释模型。
• 选定变体：附录比较 SAE 的 encoding 与 decoding，以及 embedding 与 unembedding。作者在比较后选用 decoding 加 unembedding。主实验把两侧各 t=50 个 token 交给 GPT-4o mini。
• 作者的定位：该方法是相关投影，不是对生成的因果干预；计算是一次矩阵乘法。

TokenChange

• 做法：抽 k 条随机提示，记录各位置 logit；再把特征钳到 m，记录新 logit。按 token 对全部位置和提示求 logit 变化的均值，把变化最大的 token 交给解释模型。引言写成输出分布中概率变化最大的 token，方法节按 logit 变化实现。
• 主实验参数：k=32，每条 32 个 token，来自 The Pile；交给解释模型的 token 数为 t=20，含高分与低分两端。
• 与 VocabProj 的差别：作者称二者都面向输出，但只有 TokenChange 对生成做了干预。

MaxAct 与两种集成

• MaxAct：在大数据集上收集激活，优先抽最高激活例子，并混入其他激活分位数的例子，再让解释模型写描述。本文直接使用 Neuronpedia 与 Transluce 的公开描述；Ensemble Raw 用其中激活最高的 5 句。
• MaxAct++：只用于 Llama-3.1 8B Instruct。Transluce 从激活样本生成多条描述，再用 simulation scoring 挑选。作者自己的 MaxAct 描述用 Transluce 的激活数据生成。
• Ensemble Raw：把各方法的原始材料拼在一起，再让解释模型写一条描述。
• Ensemble Concat：直接拼接各方法已经生成的描述。作者另试过用 LLM 摘要多条描述，称该集成在各项上都更差，未给数字。

steering 时如何放大

• 钳制：作者认为又有效又不破坏生成的放大幅度难选。做法是固定 steered 与未 steered 模型在下一 token 上的 KL，并对全部开放提示取平均，再对每个输入使用多档钳制。
• 实验档位：三个开放提示，每档最多 25 个 token，四档递增钳制，每组 12 段文本。§A 写明目标 KL 为 0.25 与 0.5，对应两档正钳制和两档负钳制。
• 模型分工：解释模型与输出侧评审都是 GPT-4o mini；输入侧造句是 Gemini 1.5 Pro。

实验在四个 LLM 的 SAE 与 MLP 特征上，比较 MaxAct、两种输出侧方法及其集成。

实验设置

• 模型：被描述特征所在的模型为 Gemma-2 2B、Llama-3.1 8B、Llama-3.1 8B Instruct、GPT-2 small。解释与输出侧评审为 GPT-4o mini；输入侧造句为 Gemini 1.5 Pro。
• 特征：Gemma Scope 16K 与 65K、Llama Scope 32K、OpenAI SAE 32K 与 128K，覆盖残差与 MLP。每个 SAE 每层随机 n=40，合计 Gemma-2 4,160、Llama-3.1 2,560、GPT-2 small 2,880。Instruct 另抽每层 n=80 的 MLP 神经元，共 2,560。Gemma Scope 用 JumpReLU，另两种 SAE 用 TopK-ReLU。
• 方法：MaxAct、VocabProj、TokenChange、四种 Ensemble Raw，以及三方法的 Ensemble Concat。Instruct 另有 MaxAct++。Table 1 对全部 SAE 宽度取平均。
• 输入侧：每条描述各 5 个激活句和 5 个中性句。激活取句内 token 位置的最大值。激活句均值更高则记为忠实。表内数字是这一判定在层间平均后的比例，并带 95% 置信区间。
• 输出侧：三个开放提示、四档钳制、最多 25 token，每组 12 段文本。评审在目标特征与两个随机特征的三组文本中选一组。Figure 3 标明随机基线为 1/3。
• 未报告项：主评测的独立重复次数。抽样包含 OpenAI SAE 128K，但 Table 7 与 Figure 10 只给出 GPT-2 的 width 32k。

主结果

单元格为输入侧 / 输出侧的点估计，单位与 Table 1、Table 7 相同；置信区间见原表。

表格较宽，可左右滑动

设置	MaxAct	VocabProj	TokenChange	EnsR(All)	EnsC(All)
Gemma-2 残差 SAE（Table 1）	56.6 / 49.2	50.1 / 56.5	44.7 / 54.9	66.6 / 64.9	57.7 / 66.9
Gemma-2 MLP SAE（Table 1）	50.4 / 35.1	20.9 / 37.2	22.3 / 40.3	55.7 / 48.7	31.6 / 49.9
Llama-3.1 残差 SAE（Table 1）	30.3 / 71.8	18.2 / 64.2	21.4 / 72.0	36 / 71.2	28.5 / 75.4
Llama-3.1 Instruct MLP（Table 1）	85.6 / 36.9	71.2 / 45.8	74 / 43.8	86.2 / 41.8	84.9 / 44.6
Llama-3.1 MLP SAE（Table 7）	56.4 / 49.6	20.2 / 48.2	25.4 / 53.1	62.7 / 51.6	39.1 / 55.5
GPT-2 残差 SAE 32k（Table 7）	44.4 / 44.1	23.7 / 42.8	25.4 / 43.4	60.4 / 47.2	42.4 / 46.9
GPT-2 MLP SAE 32k（Table 7）	39.7 / 34	6.3 / 38.3	6.1 / 36.5	50.2 / 37.1	24.4 / 37.2

• 作者的总括：作者称 MaxAct 在输入侧通常高于两种输出侧方法，输出侧则相反，差距最高到 15%–30%。又称为 Gemma-2 上，集成相对次优单方法在两个指标上提高 6%–10%。Instruct 的 MaxAct++ 输入侧为 89.8±1.2、输出侧为 39±1.9，不在表中。
• 表内例外：Instruct 行的输出侧，VocabProj 高于两种全集成。Llama-3.1 残差 SAE 行上，EnsR(All) 的输出侧低于 MaxAct 和 TokenChange，EnsC(All) 更高。GPT-2 MLP SAE 行上，VocabProj 的输出侧高于 EnsR(All) 与 EnsC(All)。作者称 MaxAct++ 的输入侧高于其他方法，Ensemble Raw 紧随其后。
• 描述格式：作者称 Ensemble Raw 一般更利于输入侧，Ensemble Concat 在输出侧最好。Table 7 的 GPT-2 残差行上，EnsC(All) 的输出侧低于 EnsR(All)。作者推测更长描述更容易写出至少一个高激活 token，更短描述更容易匹配 steering 文本。作者认为 GPT-2 small 的结果更噪，可能与模型较小、整体表现较低有关（§C）。

层组、MLP 与残差

• 图上能读到的内容：Figure 3 按层组比较方法，横轴为 Layer Group，纵轴为 Accuracy。Gemma-2 2B 的层组是 [0, 8)、[8, 17)、[17, 26)，图中为 width 65k 的残差与 MLP SAE；Llama-3.1 为 [0, 10)、[10, 21)、[21, 32)，图中为 width 32k 残差 SAE 和 Instruct 的 MLP 特征。输出侧图的虚线基线为 1/3。正文没有列出各层组读数。
• 作者对 MLP 的概括：作者称 MLP 的输出侧低于残差，并写成 MLP 到 45–50、残差约 66。作者认为可能是 MLP 对残差流的改动较逐步，因而更难 steer。Table 1 的 Llama-3.1 残差 SAE 行高于这一“约 66”。
• 早层与替代成本：作者称 VocabProj 的输出侧在早层更差、随后上升。又称为 Gemma-2 残差 SAE 上，Ensemble Raw（VP+TC）与 MaxAct 的输入侧只差 3.5 个点，而两种输出侧方法不超过 2 次前向。

死特征复苏

• 测了什么：从 Gemma-2 2B 均匀抽取 1,850 个被 Neuronpedia 标为 dead 的 SAE 特征，覆盖层以及 MLP / 残差。作者称某些 Gemma-2 SAE 里 dead 特征最高占 29%。Gemini 按两种输出侧描述各生成 150 句，并用 top 与 bottom token 拼出 1,450 条序列；任一提示激活即算复苏。作者称两端 token 都可能激活特征。
• 结果：MLP SAE 复苏 9.1%（85），残差 SAE 复苏 62%（491）。其中 12%（70）由 LLM 生成的提示激活，73%（423）由 <BOS> 加一个采样 token 激活。§F 给了一个可解释的例子。
• 作者解读：作者称复苏特征常常仍能用 VocabProj 和 TokenChange 解释，并按输出侧指标视为忠实；论文未给出这批特征的输出侧准确率。作者称只看激活输入会漏掉可激活特征。

定性关系与人工评估

• 四类关系：Gemma Scope 16K 上抽 100 个特征，MLP 与残差各 50，只比较两侧评测都通过的 MaxAct 与 VocabProj 描述。Table 2：Similar 41%，Composition 23%，Abstraction 23%，Different 13%。作者称组合有时给出更宽或更准确的描述。TokenChange 的描述作者称常常与 VocabProj 相近，故未纳入这 100 个的分类。
• 评审模型是否可用：§E.1 用 3 名研究生、100 个特征（Llama-3.1 8B 与 Gemma-2 2B 各半）做替代标注者测试，ε=0.15，winning rate ω=1，p=0.03。作者据此支持用 LLM 做输出侧评审。
• 人工打分：6 名研究生评 100 个 Gemma-2 2B SAE 特征上三种描述的输入/输出忠实性。作者称趋势与自动评测一致，并称 VocabProj 的输出侧略低于他们的预期。Figure 5 的柱高在正文中没有数字。

其他消融与分析

• VocabProj 变体：较大样本上，Gemma-2 的输入侧均值为 Dec & Unembed 0.41（0.35–0.47）、Dec & Embed 0.37（0.31–0.43）（Table 5）。作者据此选用 decoding 加 unembedding。
• 重跑 MaxAct：每模型 360 个 SAE 特征。三模型合计输入侧为 Neuronpedia 0.46（0.43–0.49）、自生成 MaxAct 0.48（0.45–0.51）（Table 6）。
• KL：800 个 Gemma-2 2B 特征上把目标 KL 设为 0.5 和 1。作者称结果相近，但文本更退化，故保留 0.25 与 0.5（§A）。
• FLOPs：25k 条、每条 128 token 时，Gemma-2 2B 全部 MLP 特征的估计值为 MaxAct 3.9·10^16、VocabProj 2.8·10^14、TokenChange 9.9·10^13（Table 4）。作者称该样本上输出侧方法低 2–3 个数量级；若样本大到 The Pile 这一量级，差距到 7–8 个数量级。
• 摘要式集成：用 LLM 摘要多方法描述后，作者称各项都更差，论文未给数字。
• 部分集成：并非总是三方法全集成的输入侧最高。Gemma-2 残差 SAE 上 EnsembleR(MA+TC) 为 67%，EnsR(All) 为 66.6%（Table 1）。

作者写出的后续问题集中在评测噪声、提示词和词表，不涉及新的攻击或防御设定。

作者指出的局限与后续方向

• 输出侧评测噪声：Limitations 称该评测噪声较大。作者已用大量特征和多条提示缓解，并称后续可以继续降噪、提高评测效率。
• 提示词敏感：同一节称输出侧方法和集成对提示词选择敏感；生成描述并不简单，文本往往很长，集成尤其如此。作者认为改进解释模型提示词、抽出有关信息，可能提高表现。
• 二元阈值：作者称输入侧评测的二元阈值可能把特征行为简化了，并把细化留作后续。又说这一设定仍足以在模型和方法之间看趋势。
• 其他生成方法：作者称本文聚焦能扩到百万特征的高效做法，探索 patching 一类方法会有价值。
• 词表约束：输出侧方法绑在模型词表上，只能描述能用词表 token 表达的特征。作者称不易自然说成词的特征可能困难，并举位置类特征为例。
• 未分抑制与促进：作者称为求简单，没有区分特征是在抑制还是促进某个概念。

实验覆盖范围

• 模型与特征类型：描述评测跑了 Gemma-2 2B、Llama-3.1 8B、Llama-3.1 8B Instruct、GPT-2 small，包括残差与 MLP 的 SAE，以及 Instruct 的 MLP 神经元（§5.1）。
• 抽样与报告粒度：每个 SAE 每层 n=40，合计分别为 4,160、2,560、2,880；Instruct 每层 n=80、共 2,560。Table 1 对全部 SAE 宽度取平均；Table 7 与 Figure 10 的 GPT-2 结果注明 width 32k。
• 评测协议：输入侧每条描述 5+5 句，造句模型为 Gemini 1.5 Pro；输出侧为 3 个开放提示、4 档钳制、每组 12 段文本，评审为 GPT-4o mini。论文未报告主评测的独立重复次数。
• 人工与死特征：替代标注者测试为 3 名研究生、100 个特征，报告 ω=1、p=0.03；另有 6 名研究生评 100 个特征（§E）。死特征分析为 Gemma-2 2B 上 1,850 个特征（§6.2）。
• 计算估计的模型范围：Table 4 还估计了 Gemma-2 9B 与 27B 为全部 MLP 特征生成描述的 FLOPs；这两档没有对应的描述评测表。

这项工作把 LLM 特征描述从“什么输入会激活它”扩到“激活之后输出会怎样”。

• 问题：神经元和 SAE 特征的自动描述通常来自最大激活样本。作者认为取这些样本贵，而且特征的因果角色还包括它如何改变输出；只看输入的描述不适合用来做 steering。
• 方法：VocabProj 把特征向量经最终 LayerNorm 后投影到词表，读取最高和最低 token。TokenChange 把特征钳到高激活，统计 logit 变化最大的 token。二者再与 MaxAct 按原始材料或已有描述合并。评测一侧看按描述写出的句子是否带来更高激活，另一侧看评审能否认出被放大该特征的文本。
• 主结果：Table 1 中，Gemma-2 残差 SAE 上 MaxAct 的输出侧为 49.2%，三方法 Ensemble Concat 为 66.9%。作者称 Gemma-2 上集成相对次优单方法提高 6%–10%。例外是 Llama-3.1 8B Instruct：VocabProj 的输出侧为 45.8%，高于两种全集成；MaxAct++ 的输入侧为 89.8%。
• 低分与死特征：GPT-2 small 的 MLP SAE（width 32k）上，VocabProj 与 TokenChange 的输入侧为 6.3% 和 6.1%（Table 7）。Gemma-2 2B 上，原先标成 dead 的残差 SAE 特征有 62%（491）被输出侧提示重新激活，MLP 为 9.1%（85）。
• 作者的结论：输出侧方法更能抓住 steering 所关心的因果效应，也可在输入侧接近 MaxAct 时代替它；与输入侧合用后，描述在两侧评测上整体更好，并能找回没有激活样本的特征。作者同时认为输出侧评测仍噪，方法受提示词和词表约束。