用稀疏自编码器探索文本分类模型：SAEfarer 工具与专家评估

如何在大量 SAE 特征中定位与文本分类模型的预测和错误有关的概念，并让人交互查看这些关系。

• 场景：作者认为，解释表格数据模型时，重点常是特征与预测的关系；图像或文本模型缺少这种传统可解释特征，单个像素或 token 又过细，不利于形成更高层的概念理解。
• 缺口：作者称，概念级可视分析此前主要面向图像模型和生成式语言模型。SAE 得到的特征很多，无法逐一查看，需要把人引向与分类预测和错误相关的特征。
• 观察：作者认为，与预测相关的特征可以用来检查模型是否学到对分类有用的直观概念；与错误相关的特征可以用来识别模型犯错实例里的模式。
• 做法：作者提出按预测和错误为 SAE 特征排序，并把排序放进工具 SAEfarer，用来分析文本分类语言模型学到的概念。示例是把 AG News 文章分为 World、Sports、Business、Sci/Tech 的模型；评估是五名博士生的专家试点。

作者按概念识别和可视化系统来组织相关工作，并把 SAEfarer 放在分类模型的预测与错误上。

从激活中识别概念

• TCAV、ACE 与概念集合：Kim et al. 的 TCAV 在激活空间中确定预定义概念的方向，并测量该方向与模型预测的关系，演示对象是图像模型。Ghorbani et al. 的 ACE 扩展 TCAV，用来处理必须事先给定概念这一限制。Yeh et al. 自动选取一组足以解释模型行为的概念，并在图像分类和文本分类模型上做了演示。
• SAE 与语言模型：Bricken et al. 和 Cunningham et al. 用 SAE 识别 transformer 语言模型学到的概念。作者称，这些早期工作从小型模型或玩具模型中抽取概念；后续工作把 SAE 用到 GPT-4、Claude 3 Sonnet，以及 Gemma 2 和 Gemma 3。作者还称，SAE 不靠标签来认定概念，也不需要人预先定义概念，但仍然可以用于带标签的数据。
• HypotheSAEs：Movva et al. 用 SAE 为文本数据集与目标变量之间的关系生成自然语言假设。作者写明两边都用 SAE 分析带标签文本，同时写明焦点不同：SAEfarer 查看特征与分类模型预测、错误的关系；HypotheSAEs 的对象是数据集上的假设，不以分类模型的行为为分析目标。

概念可视化

• 图像模型：Zhao et al. 的 ConceptExtract 用主动学习交互识别概念。Park et al. 的 NeuroCartography 找出对同一概念激活的神经元簇，并分析概念之间的关系。Huang et al. 的 ConceptExplainer 基于 TCAV 和 ACE 探索概念。Zhang et al. 的 ConceptSlicer 用概念找出模型表现不好的数据子集。
• 已有的 SAE 界面：作者称，据他们所知，Bricken et al. 做出了首个用来排序和探索 SAE 特征的可视化工具。McDougall 的 SAE Visualizer 和 Decode Research 的 SAEDashboard 是基于该工作的开源工具。Lin 的 Neuronpedia 还能在自定义文本上测试特征是否激活，并用 SAE 特征引导模型输出。Yan et al. 的 SAE Semantic Explorer 分析的是用户关心的特定概念之间的特征关系。
• 作者写出的差别：作者称 SAEfarer 从这些工具得到启发，并采用了其中一部分功能。对分类模型来说，这些工具不会直接把人引到与分类任务相关的特征，也不会显示特征与模型预测的关系。SAEfarer 面向文本分类语言模型。

文中的分类数据

• AG News：分类示例把新闻分成 World、Sports、Business、Sci/Tech。

作者把 SAEfarer 定为分类模型上的可视分析，用 SAE 特征同预测、错误的关系来引导探索；文中把 HypotheSAEs 写成假设生成方法，把此前的 SAE 界面写成面向生成式语言模型的工具。

整体做法是：在已训练的文本分类语言模型上取出某层 token 激活，用稀疏自编码器（sparse autoencoder, SAE）重建这些激活，再按特征与预测、错误的关系排序，并放进工具 SAEfarer（Figure 2）。

训练 SAE

• 分类模型：实例先分成 token。模型为每个类输出分数，分数最高的类作为预测。示例把 AG News 新闻分为 World、Sports、Business、Sci/Tech。
• 激活与宽度：在选定的一层为每个 token 取激活向量。示例中向量为 768 维。论文没有写明是哪一层。
• k 稀疏：SAE 为单隐藏层，隐藏层比激活更宽。示例使用 6144 个隐藏神经元，并采用 k-sparse autoencoder，k=8，因此重建一个 token 时只有 8 个隐藏神经元可以同时取正值。
• 重建与特征好坏：训练目标是减小输入激活和重建激活之间的误差。作者把主要在语义相近上下文中激活的特征称为好特征，把落在多个不同概念上、或没有清楚模式的特征称为差特征。

特征如何对应到实例

• 名称：作者把隐藏层神经元叫做特征。分析时再次计算 token 激活并输入 SAE。示例里每个 token 有 8 个特征取正激活。
• 实例是否激活：只要实例里至少有一个 token 激活该特征，该实例就计入。系统记录含有这些 token 的实例。
• 如何读概念：作者称，看激活 token 及其上下文即可判断概念。详情页默认展示使该特征激活值最高的实例，色线画在 token 下方表示激活值。用户也可以输入自己的文本。

按混淆矩阵排序

• 计算范围：每个特征只用激活它的实例做混淆矩阵，再按矩阵里的百分比排序（Section 4，Table 1）。
• 指定两个类：用户选择预测标签和真实标签。预测选 Business、真实选 Sci/Tech 时，百分比是激活实例中被预测为 Business 且真实为 Sci/Tech 的比例。作者认为这样可以找出与该特定错误关系最强的特征。
• Any 与 Different：Any 表示任意类。预测为 Sports、真实为 Any 时，按被预测成 Sports 的比例排序。Different 表示除另一侧已选类以外的类别。预测为 Business、真实为 Different 时，Different 包含 World、Sports 和 Sci/Tech，按被错误预测成 Business 的比例排序。
• 其他预设：预测为 Any、真实为 Different（或相反）时，按预测错误的比例排序。Table 1 还包含正确预测为 World、真实标签为 World，以及真实为 Sci/Tech 且被分错等比例。激活率单独定义：数据集里至少一个 token 激活该特征的实例百分比。

三个页面

• 位置：排序做在 Jupyter notebook 的交互组件里，页面为 Overview、Feature Detail、Feature Table。
• Overview：表中包括数据集 token 数、模型错误率和 SAE 规模，并配全体实例的混淆矩阵，以及特征激活有多频繁的直方图。附录 Figure 4 写明直方图使用激活率的 log10。正文没有给出这些表里的具体数字。
• Feature Detail：Figure 1 的例子在体育赛事统计相关的 token 上激活。页内有片段、自填文本、激活实例的混淆矩阵和边际图。边际图按激活值分箱；同一实例多个 token 激活时取最大激活；每箱计算各类平均预测概率并画成热图，上方直方图是每箱实例数。作者称该例在各个激活值上都给 Sports 高概率，并与正确分成 Sports 的关系很强。附录 Figure 5 用颜色比较该特征激活实例上的预测与全数据集预测。
• Feature Table：Figure 3 用来排序和过滤。每行有特征编号、激活实例上的错误率、激活率，以及激活值直方图、排名靠前类别的概率和一条最高激活示例。

试点的定量结果是五名博士生的 SUS；其余内容来自访谈主题和附录里的特征例子。

实验设置

• 参与者：五名 Ph.D. 学生，研究与机器学习 interpretability 或 explainability 有关，且都表示熟悉用 SAE 解释语言模型。每人获得 50 美元亚马逊礼品卡。东北大学 IRB 编号 23-04-35。
• 流程：每人一次两小时视频会议。内容依次为研究介绍、SAE 复习、SAEfarer 教程、练习笔记本，以及几分钟自由探索。练习用来确认参与者能否正确操作并读懂图。随后换到 AG News 模型上的 SAE，开放探索 30 分钟，再回顾并访谈。论文没有报告练习题的对错。
• 探索要求：作者要求把注意力放在特征与预测、错误的关系上。举例的问题包括：哪些特征与预测 Sports 有关，哪些与犯错有关，有没有出乎意料或不直观的特征。作者称采用开放式评估，是为了让参与者按自己的方式探索。
• 模型与 SAE：该模型把 AG News 文章分为 World、Sports、Business、Sci/Tech。脚注里的模型标识是 ag-news-19200-bert-base-uncased。示例中 token 激活 768 维，SAE 为 k-sparse，k=8，隐藏神经元 6144。练习用的模型和数据没有命名。层号没有写出。
• 指标：SUS 为十个 Likert 题，汇总到 0–100，并对照七级形容词量表。特征指标是激活率，以及 Table 1 中从激活实例的混淆矩阵算出的百分比。论文没有写自动评审模型或判定阈值。
• 材料处理：Zoom 录音并转录。作者对访谈做主题分析，目的是看工具的优点、弱点和改法。论文没有写编码人数、重复次数或编码一致性。

主结果

附录 D 按列举顺序列出五人的 SUS。论文没有把这些分数对应到访谈里的 P1–P5。

列举顺序	SUS
1	90
2	70
3	80
4	80
5	75
平均	79

• 量表解释：作者称表中的平均分对应 Good。七级量表为 Worst Imaginable、Awful、Poor、OK、Good、Excellent、Best Imaginable。论文没有做统计检验。
• 总体印象：作者称参与者总体喜欢 SAEfarer，并指出一些可以改进的地方。
• 排序的可用性：作者称参与者总体觉得混淆矩阵排序有帮助，用法也清楚。按错误率排序仍然不够明显。按这一指标从低到高排列，会指向激活实例上准确率最高的特征，这一点也不够清楚。作者认为，若能在列头调整排序，可能会有帮助。

访谈中的反馈

• 整篇上下文：详情页默认只给出实例里激活最高的 token 和周围几个 token。参与者普遍希望看到整篇实例。作者称，错误率高的特征上，只看片段无法判断是模型预测错了，还是真值标签有问题；附录 Figure 5 与把 Sci/Tech 错分为 Business 相关。作者还称，片段外的 token 也会影响激活，把片段贴进 Test Feature 后，激活不一定与示例一致。
• 一次看多个特征：工具按单个特征分析。多数参与者希望看到一段文本上的全部激活特征，文本可以是已有实例或自己写的句子。P1 想看一组特征何时一起激活、何时不一起；P3 关心经常一起激活的特征；P5 希望这种共现再与预测、错误联系起来。P1、P2 和 P3 希望按倾向激活的 token 搜索。
• SAE 质量：一些参与者担心特征难以解释，或测试文本难以复现其行为。P2 说工具不错，但会受 SAE 质量限制，并觉得这些 SAE 不太好。作者写道，可以更充分地试验规模和稀疏度，采用较新的架构和训练，分析时还可以忽略 padding token。论文没有报告这些改动后的数字。

附录中的特征例子

• 作者给出的概念：Figure 7 在球赛比分的第一个数字上激活，Figure 8 在 Nintendo Wii 或 Nintendo DS 上激活，Figure 9 在与金融、经济有关的情绪上激活，Figure 10 在关于人质的讨论上激活。论文没有统计每类概念有多少个特征。
• 高激活与低激活：附录 C 称，最大激活常常焦点明确，较低激活更噪、也更少单义（monosemantic）。Figure 11 的最高激活与核武器有关，较低激活被写成更宽的国际冲突。Figure 12 的最高激活与航天飞机有关；较低激活里有的仍与航天器有关，作者还举了非航天语境，以及航空母舰而不是航天飞机的语境。
• 难解释的行：Figure 6 按与预测 World 的关系排序。作者称表中有虚假或难以解释的特征。论文没有给出个数或比例。

其他消融与分析

• 论文没有报告改变 k、隐藏层宽度或层号后的数字，也没有报告重建误差。
• 第 6.2 节提出可试验规模、稀疏度和较新架构，并忽略 padding token，没有配套结果。
• Figure 13 画出 SUS 每一题的作答人数，正文只报告五人总分。
• 试点结果没有给出 Table 1 里任一特征的具体百分比。
• 论文没有报告 30 分钟内每人查看的特征数量。
• Figure 6 只说明存在虚假或难解释特征，没有数量。

作者在第 7 节把限制写在试点人群、使用场景，以及排序只反映相关、不使用激活值。

作者指出的局限与后续方向

• 样本量与身份：试点只有五名参与者，且都是 Ph.D. 学生（Section 7）。
• 从业者：作者认为，尽管参与者有相关背景，他们探索模型的方式可能反映不了从事文本分类的专业 ML 从业者（Section 7）。
• 时长与自有数据：作者写明，没有评估从业者在较长时间内用自己的数据集和模型使用该工具（Section 7）。
• 受众：作者写明，没有在不熟悉 SAE 的更广受众中评估 SAEfarer（Section 7）。
• 激活值：排序只看特征在某个实例上是否激活，不使用激活值。作者称低激活往往比高激活更噪、也更不重要，并引用先前 SAE 研究；作者写道，也许要增加更重视高激活的排序（Section 7）。
• 因果：作者称，这些排序只表示激活与预测相关，不能据此判断概念对预测有没有因果影响。作者转述 Goyal et al.：TCAV 一类方法找到的概念与预测相关，却不一定有因果作用；并称自己的排序有类似限制（Section 7）。

实验覆盖范围

• 模型与 SAE：正式探索用的是 AG News 四类主题模型（World、Sports、Business、Sci/Tech）上的 SAE；示例中激活向量 768 维，隐藏层 6144，k=8（Section 3）。练习用的模型和数据集只被称为 example model and dataset，论文没有给出名称（Section 6.1）。所选层的层号，论文没有写出。
• 试点过程：五名熟悉 SAE 的博士生，每人一次两小时视频会议；其中 30 分钟按开放方式探索，关注点是特征与预测、错误的关系（Section 6.1）。
• SUS：问卷在访谈前填写，十个 Likert 题，五人分数为 90、70、80、80、75，平均 79（附录 D）。Figure 13 按题目显示选择人数，正文没有列出每题人数。
• 定性材料：访谈由 Zoom 转录后做主题分析，主题包括混淆矩阵排序、上下文、多个特征同时分析、SAE 质量（Section 6.2）。论文没有写编码者人数或一致性。
• 附录与未写出的量：附录 B、C 给出体育比分、游戏机、金融情绪、人质，以及高、低激活的例子。Section 5.1 说 Overview 会显示 token 数、模型错误率和 SAE 规模，正文没有给出这些数字，也没有给出重构误差。

SAEfarer 用稀疏自编码器的特征，查看文本分类模型在预测和错误上的行为。

• 要处理的困难：作者认为非结构化输入缺少表格模型那种可解释特征，而 SAE 的特征多到无法逐个看。作者希望用与预测相关的特征检查概念是否直观，用与错误相关的特征查看犯错实例的模式。
• 技术要点：在分类模型某一层的 token 激活上训练 k-sparse SAE。示例为 768 维激活、6144 个隐藏神经元、每次最多 8 个神经元同时为正。只要有一个 token 激活，该实例就进入这个特征的混淆矩阵；用户用预测类、真实类以及 Any、Different 选择排序百分比。三个页面分别是总览、单特征详情和可过滤的特征表，详情里可以自填文本，并看激活值与各类概率的边际图。
• 试点数字：五名研究方向为 interpretability 或 explainability、且熟悉 SAE 的博士生，在两小时会议中用 30 分钟探索 AG News 四分类模型。附录 D 的 SUS 按列举顺序为 90、70、80、80、75，平均 79。作者称 79 对应所用形容词量表里的 Good。
• 访谈和附录：作者称混淆矩阵排序总体清楚、有帮助，但按错误率排序的方式不够显眼。参与者希望阅读整篇实例、查看同一段文本上的多个特征，并按 token 搜索。P2 认为 SAE 的质量会限制这个工具。附录中的特征被描述为体育比分、游戏机、金融情绪和人质讨论；作者称最高激活更集中，较低激活更噪、更少单义。
• 作者写下的边界：作者把工作放在排序指标、SAEfarer 和这次试点上，并写明排序不使用激活的具体数值，也只涉及相关关系、不判断因果。第 7 节还写明，没有在专业从业者的长期自有数据上评估，也没有在不熟悉 SAE 的用户中评估。