MonoTM：用可解释单义特征做主题建模，超越关键词表示

主题模型用最高概率词描述主题，而文档–主题混合估计与语义解释可能需要不同的 SAE 配置与特征子集。

• 场景与重要性：作者称文本是社会科学与人文学科的主要证据来源，LDA 及其扩展被广泛用于探索性语料映射和主题摘要，但其作为学术证据的地位仍有争议。一篇计算社会科学综述认为，主题模型的验证与报告实践异质，各研究之间很少收敛（Bernhard-Harrer et al., 2025）。
• 现有方法的不足：作者称多数主题模型把主题定义为词上的概率分布，用户靠最高概率词来解释；给推断出的主题一个简短、可读的含义或标签在实践中很难（Chang et al., 2009; Mei et al., 2007）。神经主题模型即使用了预训练语言模型或文档嵌入，事后仍通常抽取排序靠前的词或短语来向用户描述主题。作者还称，词很少是足以支撑有意义下游分析的语义单位，例如基于词重叠分析主题或文档之间的关系。
• 核心观察：作者的出发点是，SAE 特征可以扮演两个不同角色：可读的语义单位，以及估计文档–主题混合的统计单位。二者相关但并不相同——容易标注的特征未必是最利于混合估计的特征。
• 论文提出什么：作者提出 MonoTM。它从完整的 SAE bag-of-features 表示估计文档–主题混合；混合固定后，再在另一套语料锚定的语义特征词表上学习主题描述。作者称这一设计保留全局主题结构，同时用比单个词更有意义的语义单位表示主题。
• 三个研究问题：RQ1 问何种 SAE 配置下，在语料上训练的特征成为可靠可解释的语义单位；RQ2 问何种配置下 SAE 特征成为有效的文档–主题混合估计单位；RQ3 问如何用 SAE 特征构造主题模型，使可解释语义描述与较强的混合估计对齐。

机制可解释性与 SAE

• 多义神经元与叠加：Olah et al. (2020) 指出神经元常常是多义的（polysemantic），会对多个不相关模式激活。Elhage et al. (2022) 用叠加（superposition）解释这一现象：模型把多于维度数的特征编码进过完备方向，底层因素的稀疏性使之成为可能。
• 自动解释与稀疏字典：Bills et al. (2023) 用语言模型根据激活模式生成并给内部方向的自然语言解释打分。Bricken et al. (2023) 与 Huben et al. (2024) 用 SAE 学习稀疏、过完备的特征基，作者称这些特征往往比神经元更单义，并能支持有意义的干预。O’Neill et al. (2024) 把 SAE 用于稠密文本嵌入，恢复可用于下游控制与分析的可解释语义因子。

主题模型谱系

• 概率与神经主题模型：LDA（Blei et al., 2003）把文档表示为主题混合、把主题表示为词上的分布；作者称其 BoW 假设忽略上下文，并可能产生对频率和表面形式敏感的主题。ProdLDA（Srivastava and Sutton, 2017）用推断网络做摊销变分推断。Miao et al. (2017) 用 softmax 与 stick-breaking 参数化文档–主题混合。ETM（Dieng et al., 2020）在词嵌入空间表示主题，以改善对大词表的稳健性并保持可解释性。
• 上下文与近期神经模型：CombinedTM（Bianchi et al., 2021a）把上下文嵌入与 BoW 式信号一起用来改善主题质量。ZeroShotTM（Bianchi et al., 2021b）用多语言编码器做跨语言、零样本主题推断。ECRTM（Wu et al., 2023）用嵌入聚类正则抑制主题坍缩。FASTopic（Wu et al., 2024b）在统一框架里建模文档–主题与主题–词关系。S3（Kardos et al., 2025）用 ICA 而不是聚类或神经解码器，把主题当作嵌入空间中的独立语义轴。

SAE 与主题模型的结合

• Girrbach and Akata (2025)：把 SAE 视为连续空间主题模型，将 SAE 目标推导为类 LDA 生成模型下的 MAP 估计。
• Mechanistic Topic Models（Zheng et al., 2025）：用预训练 SAE 对 LLM 激活做文档特征化，再在 SAE 特征计数上拟合主题模型。作者称其中的 mLDA 最接近本文“用 bag-of-features 做 LDA”的做法，但 MTM 依赖预训练 SAE 和外部特征描述。

基线方法与基准

• 基线：BoW-LDA，以及输出文档–主题混合的 CombinedTM、ZeroShotTM、ECRTM、FASTopic、S3。作者不纳入 BERTopic，理由是按 Wu et al. (2024a) 的分类，它是基于聚类的主题发现方法，而不是文档–主题混合估计模型。描述符对比另用 θ 加权 TF-IDF、BERTopic 式 c-TF-IDF，以及自由形式的 LLM 描述。
• 基准：20 Newsgroups、Web of Science（WOS-46985）、Reuters（Reuters-21578，ModApte 划分）。

作者把本文与上述 SAE 主题模型区分开：目标不是简单地把词换成 SAE 潜变量来当词表。作者称，对混合估计最有用的特征，未必是标签能被可靠解释的特征；这一不匹配促使 MonoTM 把 SAE 特征的统计角色和解释角色分开。作者称这一设计比复用预训练 SAE 词表更贵，面向的是语料特定的可解释性、可追溯性和验证往往比快速发现主题更重要的场景，例如社会科学和数字人文。

MonoTM 先在文档嵌入上训练 top-K SAE，用全部激活特征的 bag-of-features 拟合 LDA 得到文档–主题混合，再把混合固定，只在通过验证的语义特征上估计主题–特征分布。

文档嵌入与 SAE

• 嵌入：每个文档映射为 x_d ∈ ℝ⁴⁰⁹⁶，编码器是 NVIDIA 的 llama-embed-nemotron-8b，使用其完整上下文窗口 32,768 tokens；更长文档截断到前 32,768 tokens。作者称这只影响 20 Newsgroups 中的 18 篇文档。嵌入按语料做逐维标准化后再训练 SAE。
• 字典与稀疏：字典有 mN 个潜特征，m=4096，N 是扩张因子，控制字典容量；K 控制每篇文档最多保留的活跃特征数。编码器产生非负激活并只保留最大的 K 个，解码器据此重建标准化嵌入。
• 训练：单层 top-K SAE，解码器列在每次更新后归一化为单位范数，并用可学习的逐特征增益。优化器用 Adam，学习率 10⁻⁴，批大小 1024，最多 300k 步；在含 10% 文档的固定监测划分上选归一化重建误差最低的检查点。网格为 N 的 11 个值（从 1/64 到 5）和 K 的 8 个值（从 4 到 512），省略 mN < K 的配置。完整结构见附录 B。

Interpreter–Predictor 验证

• Interpreter：对每个特征，用三类例子构造提示：激活最高的 10 篇文档、从非零激活分布中间分位数抽样的 10 篇、以及该特征不活跃的 10 篇负例。Interpreter LLM 输出短描述 ℓ_f（例如 4–10 个词），意图抓住激活文本中有、非激活文本中没有的最突出概念。附录 C 的 Figure 2 给出完整提示词。
• Predictor：对每个特征构造平衡评测集，正负各 30 篇。Predictor 只看到描述和原文，做逐文档二分类，预测该特征是否会激活。特征级可解释性分数 IS(f) 是这些预测与真实激活指示之间的 F1。因成本，自动解释只扫 N ∈ {0.5,1,2,3,4,5}、K ∈ {4,8,16,32}。
• 所用 LLM：附录 D 写明，Interpreter 与 Predictor 使用开放权重、指令微调的 Gemma 3：Interpreter 为 Gemma-3-27B-IT（FP8），Predictor 为 Gemma-3-12B-IT（FP8）。二者都用 vLLM，temperature 0.2、top-p 0.95。

混合估计与 MonoTM 三阶段

• 为何用 LDA：作者把活跃 SAE 特征当伪 token、激活幅度当 token 权重，得到 bag-of-features，再用 LDA。作者称选择 LDA 是因为它在嵌入被转成特征袋之后提供透明的混合成员似然；神经主题模型会引入额外表示容量，更难隔离特征词表本身是否提供有用的统计单位。主题数设为金标类别数：20 Newsgroups 为 20，Web of Science 为 7，Reuters 为 47。变分 EM 迭代 200 次。
• 阶段 1：用混合用 SAE 的全部活跃特征构造 X^mix，拟合 LDA，得到文档–主题混合 Θ。作者称这一阶段不用只保留已验证特征，因为第 5.2.2 节显示过滤到可解释特征会降低混合质量。实验中三套数据都用 N=0.5、K=256 的 SAE 估计 Θ。
• 阶段 2 与 3：解释用另一套 SAE（实验中 N=2、K=16）。特征进入 F_τ 需至少在 30 篇文档中激活、标签非空，且 IS(f)≥τ，τ=0.8。保留特征的文档–特征项是非负激活乘以 IS(f)。在 Θ 固定时，用带 Dirichlet 平滑的 EM 最大化固定混合似然，估计主题–特征分布 B。每个主题用 β_t 下概率最高的已验证特征标签表示。更新式在附录 K。

成功判定与审计

• 混合质量：作者不用 PMI、NPMI、CV 或 topic diversity，理由是这些指标是为关键词列表设计的，若把描述投回关键词会重新引入方法要替换的表示。改为把推断主题与金标类别对齐，报告 Micro-F1 与 Macro-F1。单标签与多标签对齐流程在附录 G：单标签用主题上的 argmax，再经匈牙利算法与金标类别做最优一一匹配；Reuters 允许多标签，在验证集上为每个主题选 F1 最高的概率阈值，主题数仍为 47，但允许一个金标类别对齐到多个主题。所有模型与数据集用三个不同随机种子，报告均值。
• 排除特征审计：对解释 SAE 上所有活跃特征估计辅助分布 B^all，权重用原始激活而不是 IS(f)。关注 IS(f)<0.8 且至少在一个主题上能排进前 20 的特征，并在该主题 B^all 的前 50 个已验证特征中找同主题近邻。覆盖度用文档激活向量的余弦相似度衡量，并与从同一候选池随机抽的已验证描述比较。附录 L 给出构造、对齐和过滤规则。

实验设置

• 数据：20 Newsgroups（scikit-learn 版）18,846 篇、20 类、单标签；Web of Science（WOS-46985）用摘要，46,985 篇、7 类、单标签；Reuters-21578 的 ModApte 划分，保留出现至少 30 次的标签后为 12,561 篇、47 个主题、多标签且高度不平衡，另有 2,304 篇无标签（Table 3）。
• 嵌入与 SAE：全部使用 llama-embed-nemotron-8b（维度 4096）。SAE 网格见第 3 问；自动解释只覆盖 N∈{0.5,1,2,3,4,5}、K∈{4,8,16,32}。
• 被比较的主题模型：BoW-LDA、CombinedTM、ZeroShotTM、ECRTM、FASTopic、S3，以及本文的 BoF+LDA。使用文档嵌入的基线与 MonoTM 用同一嵌入。主题数等于金标类别数，LDA 变分 EM 200 次，三次随机种子取均值。
• 指标与评审：混合质量为与金标对齐后的 Micro-F1、Macro-F1（附录 G）。特征可解释性为 Predictor 的 F1，记为 IS(f)；Predictor 为 Gemma-3-12B-IT，Interpreter 为 Gemma-3-27B-IT。验证阈值在结果中包括 0.80 与 0.90 等。作者不报告与人工标注的一致性。
• 描述符对比：在同一固定 Θ 下比较 MonoTM、θ 加权 TF-IDF、BERTopic 式 c-TF-IDF，以及自由形式 LLM 描述。附录 M 给出生成细节与提示词。

主结果

Table 1 的 BoF+LDA 是在 N∈{0.25,0.5,1,2}、K∈{128,256,512} 上的平均，不是单次最优超参。作者称这是该平衡缩放带中的一个固定稳健子集。

表格较宽，可左右滑动

模型	20NG Micro	20NG Macro	WoS Micro	WoS Macro	Reuters Micro	Reuters Macro
BoW-LDA	0.3673	0.3515	0.5147	0.4702	0.3446	0.2021
CombinedTM	0.4929	0.4513	0.5514	0.5201	0.2398	0.1728
ZeroShotTM	0.3704	0.3398	0.4904	0.4670	0.2051	0.1467
ECRTM	0.5774	0.5368	0.5176	0.4916	0.2410	0.1557
FASTopic	0.5492	0.4912	0.5032	0.4583	0.2535	0.1582
S3	0.4578	0.4220	0.4233	0.3942	0.1513	0.1100
BoF+LDA	0.6770	0.6489	0.5753	0.5446	0.3188	0.2089

据 Table 1。

• 作者的解读：BoF+LDA 在两个单标签数据集上两项 F1 都最高，在 Reuters 上 Macro-F1 最高。作者称这些增益支持 SAE 潜变量提供稀疏、有语义结构的伪 token 词表，使 LDA 比用原始词更能汇集共现证据。
• Reuters 例外：作者称该集多标签且高度不平衡，Micro-F1 由常见类主导，Macro-F1 对稀有标签更敏感。BoW-LDA 的 Micro-F1 最高（0.3446），BoF+LDA 的 Macro-F1 最高（0.2089）。作者称这与 BoF 特征为与多数类词重叠有限的少数主题提供更多判别证据相一致。
• 弱混合区域：附录 H 的热图中，作者称混合质量在两类区域最弱：很宽的字典配很小的 K，以及 mN=K 的边界情形。作者称表现最好的配置位于字典容量与每文档活跃数一起增加的平衡带。

可解释性与混合质量是否重合

• RQ1：作者称在三套数据上，较小 K 使通过验证的活跃特征比例最高（Tables 4、5、6）。在宽松阈值下，更大的 K 通常增加已验证特征的绝对数量，因为有更多活跃特征进入标注；但在所评估的 N 上平均后，通过验证的活跃特征比例随 K 单调下降。N 的作用依赖于 K：在 20 Newsgroups 和 Reuters 上，低 K 时增大 N 常常减少超过激活阈值的特征数；Web of Science 是例外，即使低 K，已激活和已验证计数也随 N 增加。
• 同一配置的反差：作者给出 20 Newsgroups、N=0.5 固定、K 从 8 增到 32 的例子：IS≥ 0.80 的字典特征占比从 721/(4096· 0.5)=35.2% 降到 282/(4096· 0.5)=13.8%，而 Micro/Macro F1 从 0.56/0.52 升到 0.66/0.63。作者据此认为，已验证特征的绝对数量和字典级比例都不能完全预测混合质量。
• 过滤实验：Figures 6–8 显示，只保留 IS(f)≥τ 的特征再拟合 LDA，通常损害混合质量，且 τ 越高退化越重。作者称未通过严格可解释性验证并不意味着该特征对混合估计无信息。

排除特征审计与描述符对比

• 覆盖度：Figure 1 的柱表示文档激活剖面之间的中位余弦相似度。作者称最近的已验证同主题描述比随机已验证描述近得多，在 20 Newsgroups 和 Web of Science 上尤其如此；图中纵轴为 Median activation cosine，范围约 0 到 0.45。Reuters 不那么直接。
• 标签类型：Table 2 用生成标签中的关键词做启发式标记，只作排除特征集合的宽泛倾向，不作为验证指标。20 Newsgroups：Semantic 58.1%、Broad discourse 36.4%、Format/register/numeric 5.4%。Web of Science：88.5%、7.7%、3.8%。Reuters：6.3%、23.1%、70.7%。作者称在前两个语料上，被排除的高关联特征多为语义或宽泛话语标签；在 Reuters 上，70.7% 被标成格式、语域或数字线索。作者称审计不能证明没有任何被排除特征捕捉到被遗漏的语义维度，但减轻了“MonoTM 任意删掉一大类独立的主题定义特征”这一担心。
• 描述符：比较在同一 Θ 下进行。作者举两例：在 20 Newsgroups 中与 talk.politics.misc 对齐的主题上，基于词的基线给出主题名 “Gun rights”，MonoTM 给出 “American culture wars”（Table 12）；在 Reuters 中与 crude 对齐的主题上，LLM 基线给出 “Ecuador oil crisis”，MonoTM 给出 “OPEC oil market”（Table 14）。作者认为 MonoTM 描述处于有用的中间语义抽象层次。附录 Q 的 Figures 9–10 在固定混合下比较 Web of Science 的主题关系：MonoTM 在已验证 SAE 特征空间算重叠，θ 加权 TF-IDF 在词项空间算重叠。

其他消融与分析

• 附录 F：作者称增大容量和活跃度可能使已验证特征空间转向更细的语义分辨率；该分析是次要诊断，正文未给定量表。
• 实践建议（第 5.1 节）：若要保守、易审计的特征词表，作者建议从 K=4 或 K=8 加中等偏大字典开始；若要更广覆盖或更细描述，可增大 K 和 N，但预期事后验证会丢掉更大比例的活跃特征。对 Web of Science，作者建议 K=8 配较大字典；对 20 Newsgroups 和 Reuters，低 K 提供更干净的初始语义清单。
• MonoTM 最终设定（第 5.3.1 节）：混合用 N=0.5、K=256；解释用 N=2、K=16；描述词表为活跃、已验证且 IS(f)≥ 0.8 的特征。
• 附录 I 的 Tables 7–9 按验证阈值报告已验证特征计数；正文强调比例随 K 下降这一趋势，具体格子以这些表为准。
• 热图全文在附录 H 的 Figure 4（Micro-F1）与 Figure 5（Macro-F1）；正文只用 Table 1 的子集平均和上文一处 N=0.5 的对照数字做概括。

作者指出的局限与后续方向

• 排除特征的剩余不确定性（Limitations）：第 5.3.2 节的审计发现，真正难验证的特征只占高关联主题–特征质量的一小部分，但作者写明这并不能证明所有被排除特征都不重要或已被充分理解。一些低验证特征可能编码语料特有的规律、语用线索、格式模式，或难以用短语义标签概括的文化特定概念。
• 验证依赖 Interpreter 与 Predictor（Limitations）：验证分数依赖这两个 LLM，其系统性盲点仍可能影响哪些特征进入最终描述集合。作者写明，高影响应用中应把 MonoTM 与额外的覆盖审计以及在适当时的人类专家复核一起使用。
• 对具体 LLM、提示词和解码设置敏感（Limitations）：不同 LLM 后端可能在从例子抽象出稳定假设、二分类任务上的校准，以及对领域语言的稳健性上有差异。因此，超过阈值的特征数量和已验证特征的表观粒度都可能随模型选择而变。作者称，把生成（Interpreter）和验证（Predictor）分开只是部分缓解；验证仍是 LLM 中介的测量，而不是单义性的真值保证。
• 系统性偏差可能扭曲可解释主题表示（Limitations）：混合用全部 SAE 词表估计，主题却只用通过 LLM 验证的子集来表示。若 Interpreter 或 Predictor 有系统性盲点，例如持续低估某些语域、方言、领域或文化特定概念，这些特征可能不成比例地被排除。此时描述可能省略主题的重要方面，即使这些方面强烈影响推断出的混合。若 LLM 偏差与敏感属性或语料中的特定表达风格相关，这一局限更突出。作者列出的缓解包括按文档子群体审计可解释性覆盖、用多个 LLM 后端验证，以及在高影响分析中加入人类专家复核。
• LLM 自动解释的成本（Limitations）：特征标注需要大量 LLM 调用，计算贵，实践中可能慢，对迭代式建模是实际障碍。作者称 MonoTM 面向愿意为重要语料花更多算力以得到一份经过审计的解释镜头的场景。作者认为提升效率仍然关键，并写出的方向包括：用更便宜的模型筛选“可能可解释”的特征、把 Predictor 蒸馏成小分类器，以及 SAE 特征解释与工具的进展可能使 MonoTM 更便宜，同时保留其核心优点。

实验覆盖范围

• 混合估计与描述符实验使用三个语料：20 Newsgroups、Web of Science（WOS-46985）、Reuters-21578 的 ModApte 划分；主题数分别设为 20、7、47，等于所使用的金标类别数（第 5.2 节、Table 3）。
• 文档嵌入均为 llama-embed-nemotron-8b；使用嵌入的基线与 MonoTM 共用该嵌入。Interpreter 为 Gemma-3-27B-IT（FP8），Predictor 为 Gemma-3-12B-IT（FP8）（附录 D）。
• 主表 BoF+LDA 是 N∈{0.25,0.5,1,2}、K∈{128,256,512} 上的三次随机种子均值；自动解释网格是 N∈{0.5,1,2,3,4,5}、K∈{4,8,16,32}（第 4 节、Table 1）。
• 每个特征的 Predictor 评测集为正负各 30 篇文档；进入描述词表还要求至少在 30 篇文档中激活且 IS(f)≥ 0.8。论文未报告 IS(f) 与人工判断的一致性。
• 描述符对比在固定的文档–主题混合下进行，基线为 θ 加权 TF-IDF、c-TF-IDF 和自由形式 LLM 描述；主题关系示例在附录 Q，对象是 Web of Science。作者写明不使用 PMI、NPMI、CV 和 topic diversity，也不把 BERTopic 纳入混合估计基准。

MonoTM 是建在文档嵌入 SAE 上的可解释主题模型：混合估计用全部 SAE 特征，主题描述只用另一套配置里通过验证的语义特征。

• 问题：最高概率词对主题语义的表示有限。作者假设 SAE 特征既能当可读语义单位，又能当估计文档–主题混合的统计单位，但这两个角色不一定由同一批特征、同一种 (N,K) 承担。
• 做法：在 llama-embed-nemotron-8b 嵌入上训练 top-K SAE。Interpreter（Gemma-3-27B-IT）给特征写短标签，Predictor（Gemma-3-12B-IT）用正负各 30 篇文档的 F1 作为 IS(f)。MonoTM 用 N=0.5、K=256 的全量 bag-of-features 拟合 LDA 得到 Θ，再在 N=2、K=16 且 IS(f)≥ 0.8 的特征上、固定 Θ，用平滑 EM 学习主题–特征分布。
• 混合估计：Table 1 中，BoF+LDA 在平衡缩放带上的平均 Micro/Macro-F1，20 Newsgroups 为 0.6770/0.6489，Web of Science 为 0.5753/0.5446，高于所列神经主题模型。Reuters 上 Micro-F1 为 0.3188，低于 BoW-LDA 的 0.3446，Macro-F1 为 0.2089，为表中最高。
• 两个角色不合一：低到中等 K 带来更高的已验证特征比例；混合质量更好的区域是字典容量和每文档活跃数一起增大。只保留高 IS 特征再拟合 LDA 通常降低 F1。20 Newsgroups 上 N=0.5、K 从 8 到 32 时，IS≥0.80 的字典占比从 35.2% 降到 13.8%，Micro/Macro F1 从 0.56/0.52 升到 0.66/0.63。
• 描述与审计：被排除的高关联特征，其激活剖面与最近的已验证同主题描述比与随机已验证描述更近（Figure 1）。Table 2 中，这类特征在 Reuters 上有 70.7% 被启发式标为格式、语域或数字线索，在 Web of Science 上 88.5% 为语义标签。作者的结论是：SAE 特征以多种但不同的方式对主题建模有用，MonoTM 用解耦来处理这种不匹配；被排除的高关联特征通常被同主题已验证描述覆盖，或反映辅助的非核心线索。作者同时写明，审计不是对所有被排除特征都不重要的证明，且验证依赖所用 LLM。