在定向概念擦除任务上评估稀疏自编码器

SAE开发缺少与可解释性对齐的可信指标，常用的sparsity和fidelity并不总对应可解释性。

• 场景：作者认为SAE要把激活分解成可解释单元，但字典学习没有明确ground truth。作者称写作当年已出现TopK、Gated、BatchTopK、p-Annealing、JumpReLU等多种架构，却难以判断改进是推进可解释性，还是只优化代理目标。
• 现有不足：作者称Cunningham et al. 2023、Lieberum et al. 2024、Marks et al. 2024使用的sparsity与fidelity，并不总与可解释性相关（Jermyn et al. 2024；Braun et al. 2024）。
• 主张：作者主张直接用下游任务衡量SAE，重点是概念能否被因果地隔离：消掉某一概念的特征应改变该概念的分类，而不改变其他概念。
• 本文做法：把Marks et al. 2024的SHIFT自动化，形成Spurious Correlation Removal（SCR），用LLM代替人工判断无关特征；再提出Targeted Probe Perturbation（TPP），把同类检验扩到不要求标签相关的文本分类数据。作者称二者能区分SAE训练超参数与架构。

SAE与字典学习

• 特征基：Sharkey et al. 2022、Bricken et al. 2023、Elhage et al. 2022用SAE从内部表示中寻找过完备、稀疏、可解释的特征。作者将质量分成对内部计算的忠实性，以及相关与因果两类解耦。
• 架构：引言列举Gao et al. 2024的TopK、Rajamanoharan et al. 2024a的Gated、Bussmann et al. 2024的BatchTopK、Karvonen et al. 2024的p-Annealing、Rajamanoharan et al. 2024b的JumpReLU。此处只作列举，未逐篇比较。

已有SAE评测

• 无监督代理：Rajamanoharan et al. 2024a、Team 2024、Cunningham et al. 2023以重建后的cross-entropy loss recovered和特征激活的L0为标准。作者称它们并不总与可解释性相关。
• 其他任务：Karvonen et al. 2024在棋类模型上评测，Makelov et al. 2024看人工识别的circuit，Gao et al. 2024检测预定义自然语言概念。论文这里只描述做法，没有点名批评。

概念擦除

• 方法谱系：Bolukbasi et al. 2016用PCA；Ravfogel et al. 2020迭代训练线性分类器去掉不想要的概念。其后有Hard Debias（Wang et al. 2020）、R-LACE（Ravfogel et al. 2022a）、LEACE（Belrose et al. 2023），以及Iskander et al. 2023、Ravfogel et al. 2022b的非线性方法。
• 与本文的关系：作者写明目标不是提高概念擦除的技术水平，而是把擦除任务改成SAE进展指标。

SHIFT

• Marks et al. 2024：人工查看因果影响分类器的概念，并删掉看似与目标任务无关的SAE特征，从而去掉虚假相关。作者将其人工步骤换成自动指标，并在结果中称原设置依赖多处Standard SAE与attribution patching。

• 基线方法：作者自己训练的Standard（附录A.2称Vanilla）与TopK，并对照Gemma-Scope的JumpReLU；同时与L0和loss recovered比较。基准/数据集：Bias in Bios（De-Arteaga et al. 2019）、Amazon reviews（Hou et al. 2024）；SAE在The Pile上训练。

作者把本文放在下游因果隔离指标上，而不是新的擦除算法或另一套无监督代理。

整体是测因果隔离：为每个概念训练二分类头，选出对应SAE latent，再看消融是否只影响该概念的分类器。SCR是自动化的SHIFT；TPP把同一想法用到多类数据。

探针与latent选择

• 探针：在模型激活上训练二分类线性探针。分类头直接加在SAE输出上，单个latent的直接效应是解码向量与探针权重的点积。若探针层与SAE层不同，可用attribution patching近似，额外前后向次数约为类别数乘batch数。
• 归因：该点积再乘以目标概念输入与无关输入的平均激活之差，以压低两类上同样频繁激活的高频latent。取归因最高的前N个。作者称所需N随模型变大而增加，最优N仍是开放问题；Gemma-2-2B主实验取top 50，TPP为最多50个。
• 可选过滤：Claude-3.5 Sonnet按与概念的关系打0到4分。输入包括1万条随机网页文本中激活最高的5段上下文、direct logit attribution给出的5个promoted tokens，以及4个few-shot例子。作者称裁判易出现假阴性，故保留分数不低于1的latent。人工标注60例并调整提示词后，评分者间Cohen's κ为性别0.44、职业0.58；作者称κ>0.4为合理相关。附录A.7给出了完整提示词。

SHIFT与SCR

• 数据：一条文本有两个二值标签。Bias in Bios用职业与性别，Amazon reviews用产品类与评分。例：教授/护士与男/女，分成含全部组合的平衡集，以及只含男教授、女护士的有偏集。
• 分类器：在有偏集上训练线性分类器C_b。一种选法按对有偏探针的绝对归因取top n，再用LLM只留被判与目标概念无关的latent。另一种是spurious-feature-informed：用专门预测虚假信号的探针取绝对归因top n，不需LLM；作者称它对应Marks et al.的feature skyline。Section 4.1又把不依赖LLM的做法称为noise-informed，并称它是original SHIFT的快速代理。
• 打分：对选出的latent做zero-ablation，在平衡集上测目标类准确率。归一化分数为S_SHIFT=(A_abl−A_base)/(A_oracle−A_base)，即消融提升占从基线到oracle最大可能提升的比例。A_abl为消融后准确率，A_base为消融前准确率，A_oracle为直接在目标概念上训练的探针准确率。

TPP

• 设定：文本只对应m个互斥概念之一，因此不要求标签相关。对每个类取有符号重要性最高、且正向贡献于该类的latent集。
• 测量：把数据分成目标类与其余类的随机混合，训练各类探针。消融类i的latent后，测类j探针的准确率。
• 分数：S_TPP=mean_i=j(A_i,j−A_j)−mean_{i≠ j}(A_i,j−A_j)。作者希望只在i=j时准确率下降，i≠j时基本不变。

训练与类对

• 探针：上下文128，输入4000条，5个epoch，Adam，betas为(0.9, 0.999)，batch 16，学习率1e-3（Table 1）。
• SAE：在pythia-70m-deduped与Gemma-2-2B上训练Vanilla/Standard和TopK，用The Pile的200M tokens；扩展因子为8，以及仅Pythia的32。另评Gemma-Scope的JumpReLU。训练上下文128，Adam，betas (0.9, 0.999)，线性warmup 1000步，batch 4096，学习率3e-4（Table 3）。
• 类对：分数在多组类对上平均。Bias in Bios为(professor, nurse)与(architect, journalist)。附录A.1列出的Amazon四对包括Books与CDs and Vinyl、Software与Electronics、Pet Supplies与Office Products、Industrial and Scientific与Toys and Games。入选条件是C_b在该对两个类别上的准确率都至少0.6。
• 信号方向：作者称虚假相关的方向随底层LLM变化，强度受探针超参数影响。Gemma-2-2B上大batch使性别虚假相关较弱，准确率低于55%；减小batch后两类信号更均衡。高学习率会改变方向和强度。Pythia-70M探针主要用性别信号，Gemma-2-2B主要用职业信号，因此两边消融的不是同一信号。

实验设置

• 模型：pythia-70m-deduped（正文称Pythia-70M）与Gemma-2-2B。Figure 1、Figure 2的Gemma SAE位于第19层。
• SAE：作者训练Vanilla/Standard与TopK；JumpReLU来自Gemma-Scope。扩展因子8与32（32仅Pythia），训练200M tokens。
• 数据：Bias in Bios为职业/性别；Amazon reviews为产品类/情感。作者称Pythia-70M识别产品类的探针分数差，故未在该模型上评Amazon的SCR或TPP。
• 指标：S_SHIFT，附录图常标SCR；以及S_TPP。对照量为L0与loss recovered。Table 4另用Ground Truth Acc。
• 评审：可选Claude-3.5 Sonnet，保留不低于1分的latent。人工标注60例。作者称选取N时要看到统计上可分开的差异，论文未报告检验方法或p值。
• 规模：探针输入4000条。训练曲线检查点为0%、1%、10%、31%、100%；Figure 2右图为6个TopK与6个Standard。论文未报告全套SAE总数，也未报告随机重复次数。Figure 1、Figure 2的正文与图注未写明数据集。

主结果

Table 2是有偏探针在平衡的性别与职业集上的Clean与SHIFT修改后准确率。Mod.是任一SAE上SHIFT得到的最高准确率。Gen.为性别，Prof.为职业。

Swipe horizontally to read the table

模型	类别对	Clean Gen.	Clean Prof.	Mod. Gen.	Mod. Prof.
Pythia-70M	Prof./Nurse	0.77	0.72	0.52	0.91
Pythia-70M	Arch./Journ.	0.86	0.63	0.53	0.88
Gemma-2-2B	Prof./Nurse	0.64	0.86	0.83	0.65
Gemma-2-2B	Arch./Journ.	0.69	0.80	0.94	0.55

据Table 2。

• Pythia两行消融后职业列上升、性别列下降；Gemma两行相反。作者在附录A.1称这与两边探针主要使用的信号不同有关。
• Mod.不是某一架构的平均，而是所有SAE中的最高值。
• 作者称有偏探针在平衡集上的平均准确率至多75%，因为探针要在两个信号之间取舍。

架构、稀疏度与训练进程

• SHIFT：Figure 1为Gemma-2-2B第19层，取top 50个虚假latent并经LLM过滤。作者称TopK与JumpReLU优于Standard，且相对稀疏度呈单峰，峰值在L0区间[20, 100]。图注写左图为loss recovered对L0、颜色为coverage score；正文称图中指标是S_SHIFT。论文未定义coverage score。
• 训练：作者称平均而言，前10%训练（20M tokens）对应85%的SHIFT分数，且SHIFT分数随训练上升。作者称该发现在不同模型、数据集和latent选择上重复，详见附录A.4、A.5；这两节正文未给出与Figure 1相同的数值。
• TPP：Figure 2同样是第19层，最多消融50个latent。作者称左图能分开TopK、JumpReLU与Standard，但未称后两者优于Standard。TopK与JumpReLU在10%训练时达到最终TPP的80%，Standard要到31%。右图检查点为0%、1%、10%、31%、100%，含6个TopK与6个Standard，图注未列入JumpReLU。作者称平均TPP随训练上升。

单SAE与多位置干预

• 设定：Table 5说明类别对为professor/nurse，消融性别相关特征以提高职业分类。作者称Marks et al.使用16个Standard SAE，覆盖layers 0–4的MLP输出、attention输出和resid_post，外加embedding。
• Table 4：Ground Truth Acc在无干预时为59%；Standard SAE在embedding加layers 0–4为88%，仅embedding为86%，layers 0–4为84%，layers 3–4为81%，layers 3–4仅残差为79%；单个TopK SAE在Layer 4仅残差为90%。
• 作者解读：单个TopK SAE超过该多位置Standard设置。论文未给出Marks et al.原文中的准确率。

LLM过滤与Amazon

• 相关：Section 4.1报告SHIFT过滤前后r=0.81，Section 4.2报告TPP过滤前后r=0.88。论文未写明两个r各属哪个模型。Figure 7、Figure 8分别画两个模型上SHIFT、TPP过滤前后的相关，红色区域为95%置信区间；正文未给出图中的相关系数。
• 可解释比例：作者称spurious-feature-informed选出的latent大多被LLM判为可解释，在L0 [20, 100]尤其如此。论文未给出该比例。
• Amazon：Figure 6只报告Gemma-2-2B的SCR，类别对为Books/CDs_and_Vinyl、Software/Electronics、Pet_Supplies/Office_Products。图注仍是loss recovered对L0、颜色为coverage score。正文未给数值。

其他消融与分析

• 无LLM judge时，作者认为随机初始化Standard SAE在Figure 3上相对较好，因其L0为9000，大于Gemma-2-2B的d_model 2304；变稀疏后，有无judge的结果开始相关。正文称Figure 3是无judge的TPP，图注写SCR scores without auto-interp。
• Figure 4图注为无auto-interp的TPP，左图含Standard、JumpReLU、TopK；右图为6个TopK与6个Standard。正文未给数值。
• Figure 5为Pythia-70M的SCR/TPP、有无auto-interp四张散点图，颜色为coverage score。图注未写SAE层，正文未给数值。
• Gemma-2-2B大batch时，性别虚假相关准确率低于55%。附录A.1举例：若两类准确率为50%与95%，消融后一类就难以提高；这是方法说明中的例子，不是一次测量结果。

作者指出的局限与后续方向

• 稀疏度：两个指标的最优稀疏度不同；TPP与L0的相关还需要进一步调查（Section 5）。
• 裁判标准：本文LLM judge只给概念相关度打分，门槛低于Juang et al. 2024那种要生成能预测激活的简短描述的做法（Section 5）。
• 是否用judge：不加judge时作者称可在数秒内计算，便于训练中评测；加上judge能增加对latent可解释的把握，二者有取舍（Section 5、Section 6）。
• 概念假设：指标依赖人对SAE应学到何种人类可理解概念的主观假设，作者认为这可能不符合模型真实内部表示，可能漏掉重要latent，并限制评测范围（Section 5）。
• 使用方式：尤其使用LLM judge时较复杂，超参数尚未确定；只应作为更广SAE评测组合中的附加证据（Section 6）。
• 覆盖面：缺少ground truth特征，模型规模之间变异大，使超参数和latent选择困难。作者认为除因果隔离外，还要覆盖sparsity、自然语言概念解耦、人类可解释性以及与自然语言概念的相关，而同时覆盖这些方面仍是开放问题（Section 6）。

实验覆盖范围

• 语言模型为pythia-70m-deduped与Gemma-2-2B；作者训练Vanilla/Standard与TopK，并评测Gemma-Scope的JumpReLU（附录A.2、Section 4）。
• SHIFT/SCR与TPP用于Bias in Bios。Amazon的SCR写明在Gemma-2-2B上，类别对见附录A.5。论文写明未在Pythia-70M上用Amazon评SCR或TPP。
• Gemma-2-2B主图为第19层、最多50个latent；训练检查点为0%、1%、10%、31%、100%，Figure 2右图为6个TopK与6个Standard。Figure 1、Figure 2未写明数据集。
• SAE在The Pile上训练200M tokens，扩展因子为8和仅Pythia的32，超参数见Table 3。Table 4另给出Pythia上不同干预位置的Ground Truth Acc。
• LLM judge为Claude-3.5 Sonnet，人工标注60例，并报告性别与职业的Cohen's κ。论文未写明r=0.81与r=0.88各属哪个模型，也未报告全套SAE数量和重复次数。

这篇工作把“能否只改掉一个概念”做成SAE质量指标，而不是提出新的概念擦除算法。

• 问题：作者认为无监督的sparsity、fidelity与可解释性并不总一致，字典学习又没有ground truth，因此改用下游任务检验。
• 方法：SCR自动化Marks et al. 2024的SHIFT。在带成对标签的数据上训练有偏探针，按归因选出latent，可选Claude-3.5 Sonnet过滤，再zero-ablation，用相对oracle的归一化准确率变化打分。TPP不要求标签相关：消融某一类的latent后，比较该类探针与其他类探针的准确率变化。
• 实现：作者在pythia-70m-deduped与Gemma-2-2B上训练Vanilla/Standard和TopK，并评测Gemma-Scope的JumpReLU。主图位于Gemma第19层，最多取50个latent。
• 结果：Table 2中，Pythia-70M的Prof./Nurse在任一SAE的最高SHIFT下，职业准确率由0.72到0.91，性别由0.77到0.52；Gemma-2-2B同对则是性别由0.64到0.83、职业由0.86到0.65。作者称Figure 1上TopK、JumpReLU优于Standard，L0峰值在[20, 100]；前10%训练平均对应85%的SHIFT分数。TPP上，前两者在10%训练达到最终分数的80%，Standard为31%。过滤前后相关为r=0.81与r=0.88，论文未写明所属模型。Table 4中，无干预为59%，单TopK（Layer 4残差）为90%。
• 结论：作者称两指标可用于多种数据、训练中会上升，有预计算激活时可在数秒内计算；但超参数未定，依赖人类概念假设，只宜作为更广评测的附加证据。