在文本因果混杂调整中探索稀疏自编码器（SAE）

用观测文本调整未观测混杂时，表示既要足够大或稠密以保留混杂、又要足够小或稀疏以满足有限样本 overlap 并得到低方差估计。

• 场景：立法报道类型与投票数、是否采用 AI 同行评审与稿件接收、手机还是电脑浏览与新闻分享等，处理对结果的因果问题往往只能用观测数据；文本（如法案语义）编码未观测混杂 U，须调整才能得到无偏估计。作者称高维文本与黑盒表示使“文本即混杂”难以调整（Keith et al., 2020; Feder et al., 2022）。
• 现有不足：作者称 DoubleML 理论上无偏且能处理高维数据，但其黑盒性质使应用中难以发现“lack of common support”（Hill and Su, 2013）。Roberts et al. (2020) 用结构主题模型加匹配以提高可解释性并便于人工监督，但仍依赖词袋主题表示足以捕获混杂。
• 核心观察：SAE 特征被称具有原子性、表达力与可解释性；给定文本只有少数特征激活，即使特征总数很大，有效调整集仍小。维度增大时严格 overlap 下降、估计方差上升（D’Amour et al., 2021），故稀疏性有利于调整。作者假设 SAE 可能在充分性与稀疏性之间取得平衡。
• 提出的方法与评测：在标准因果识别假设及文本特有假设下，训练 SAE，再用 Lasso 逻辑回归与条件独立检验选出与处理相关的最小特征子集，接入 DoubleML 或匹配。并引入以多标签数据为未观测混杂的半合成评测；作者称这是其所知第一种此类模拟。二值混杂上 SAE 调整更好（更低偏差、更高 coverage），可解释性提供证伪机会；多标签上现成调整方法的结果好坏参半。

文本上的因果推断

• Keith et al. (2020)、Feder et al. (2022)：综述语言学、社会科学与公共卫生中用文本做因果推断的应用；Keith et al. (2020) 讨论用文本去除因果估计中的混杂。
• 针对文本设计的调整：Wood-Doughty et al. (2018) 用文本分类器；Veitch et al. (2020) 以因果导向损失微调预训练模型；Zhang et al. (2023) 对现成文本嵌入聚类；Schulte et al. (2025) 把预训练嵌入直接用于 DoubleML；Veljanovski and Wood-Doughty (2024) 把大语言模型低秩训练与 DoubleML 结合；Chen et al. (2024) 在 proximal causal inference 中使用 zero-shot LLM。
• Roberts et al. (2020)：用主题模型表示做匹配，动机是可解释表示与调整方法便于人类监督。作者称本文动机与之相近，但改用 SAE 的可解释表示。

稀疏自编码器

• Makhzani and Frey (2014)：K-Sparse autoencoder 把隐藏表示中至多 k 维设为非零，从而压缩后重构输入。
• 用于语言模型解释：Bricken et al. (2023)、Bills et al. (2023)、Huben et al. (2024)、Templeton et al. (2024)、Gao et al. (2025) 用稀疏高维表示分解模型激活，查看信息编码位置。
• 作为文本表示：Jiang et al. (2025)、Choi et al. (2025)、Peng et al. (2026) 用 SAE 发现数据集中的概念；Movva et al. (2025) 用于假设生成。作者称这些工作把 SAE 用作文本的相关分析表示，本文则用于因果推断中的混杂调整。

基线方法与基准

• 基线：Topical Inverse Regression Matching（TIRM，Roberts et al., 2020），以结构主题模型（STM，Roberts et al., 2013）表示为 CEM 的协变量；以及预训练文本嵌入加 DoubleML（Schulte et al., 2025）。另报告同一 STM 表示接入与 SAE 相同的 DoubleML。
• 基准/数据集：20NewsGroups（Lang, 1995），18,331 篇单标签帖子，合并为 10 个标签；EURLEX 英语子集（Chalkidis et al., 2021），取 5 个最常见标签后 62,007 条多标签样本。半合成评测策略的比较见 Keith et al. (2023)。

作者将本文定位为：沿 Roberts et al. (2020) 对可解释调整的动机，把 SAE 表示与统计特征选择及下游因果估计器结合，并扩展到多类与多标签混杂的半合成设置。

整体思路是 SAE 因果调整流水线：把文本训成 SAE 特征，再用统计检验取出与处理相关的最小子集，以降低方差，最后插入下游估计器。

问题设定与识别假设

• 数据：文本 D={d1,…,dN} 编码未观测混杂 U，表示记为 X∈R^{N·M}。处理 T 与结果 Y 之间的后门路径须被调整。
• 一般假设（§3.1，细节在附录 A）：无未测混杂、Overlap/Common Support、一致性、同质效应。这些不能仅由数据验证。
• 文本特有假设：(1) 预处理文本，全部文本在时间上先于处理生成；(2) 因果充分表示，即能从文本推断“保留足以因果识别之信息的表示”（Veitch et al., 2020）。维度过低会漏掉混杂并带来偏差；维度或密度升高则严格 overlap 更难满足、方差增大。
• 估计目标：平均处理效应之于处理组（ATT）。真实效应在模拟中设为常数 τ。

表示与最小子集

1. Step 1：用现成预训练嵌入得到 D_embed，ei∈R^E，再在全部嵌入上训练 top-K SAE：hi=TopK(W·ei+bias)，W∈R^{M·E}，在 M 个神经元中保留 K 个激活，得到 X_SAE∈R^{N·M}。
2. Step 2：数据分为训练与测试。训练集上对 T 做 Lasso 逻辑回归，从无特征开始逐步减弱正则，选出子集 X′，M′≤M。
3. Step 3：最小充分集 X⋆ 满足 T 在给定 X⋆ 时与其余特征条件独立。在测试集上对“只用 X′”与“用全部 X_SAE”的两个逻辑回归做似然比，卡方检验，显著性水平例如 0.05。p 值低于该水平则回到 Step 2 加入更多特征；p 值不低于该水平时停止，得到 X⋆，M⋆≤M。X⋆ 可以等于全部特征。

• 证伪诊断（选 M）：若选出的集合等于全部 SAE 维度，且没有额外信息，则 M 可能过小。M⋆<M 并不保证充分，该启发式用于证伪而非检验正确性。

下游估计器

• CEM（Iacus et al., 2012; Stuart, 2010）：连续协变量离散成箱，只保留同时含处理与对照的箱，在保留箱上计算估计量。分箱可以是固定切点（如主题质量 ≥0.1）或分位数（25%、50%、75%）。实验中切点为 0 以及正值的 50% 分位数。
• DoubleML（Chernozhukov et al., 2017）：倾向得分 e(X)=P(T=1|X) 用 L2 惩罚逻辑回归，结果回归 m_t(X)=E(Y|T=t,X) 用线性回归，再合并估计处理效应。作者称其渐近无偏需要 §3.1 的识别假设、标准正则条件，以及 nuisance 估计以 o(n^{−1/4}) 收敛；交叉拟合去除过拟合偏差。
• 为何比较匹配：作者假设匹配质量依赖调整空间中的距离，稠密高维下各对近乎等距，最近对照仍可能匹配差；SAE 稀疏且单维可解释，分析者可直接查看匹配对共享哪些特征。

数据生成与特征解释

• DGP：U 为 one-hot。T∼Bernoulli(σ(α+βU))，Y=τT+γU+ϵ，ϵ∼N(0,0.09)，全部实验 τ=2。Table 1：二值 α=0、β=[0,2]、γ=[0,0.5]；多类 α=0.5、β=[0,0.5,1]、γ=[0.5,1.0,2.0]；多标签 α=0.5、β=[0.0,0.1,0.2,0.3,0.4]、γ=[0.5,0.75,1.0,1.5,2.0]。调整时不能看见真实 U。
• 定性解释：沿 Movva et al. (2025)，找出每个神经元激活的文本的共性，把维度映射到概念，检查面效度；不符合直觉或缺少预期混杂则可证伪。实验中对选出的神经元，用 LLM 根据激活文本生成标签。

成功判定

估计 ATT 得 τ̂ 及其置信区间。在多次模拟上计算平均 Bias、RMSE，以及置信区间覆盖真实处理效应的比例 Coverage。匹配还报告处理后保留的处理组比例 T-ret.%，以及有效样本量 ESS 与真实混杂 U 上的绝对标准化均数差 |SMD|。指标计算见附录 C。

实验设置

• 数据：20NG 共 18,331 篇，20 个标签手工并为 10 类。二值混杂取较常见的 computer 与较少见的 religion；多类为 computer、religion、other。EURLEX 英语子集保留 5 个最常见标签，62,007 条，构成多标签混杂。作者称这是所知第一种基于多标签混杂的半合成模拟。
• DGP：四种设置（二值 computer、二值 religion、多类、多标签），参数见表 1，τ=2，ϵ∼N(0,0.09)。每种 DGP 用 100 个随机种子。
• 表示：SAE 与 TIRM/STM 的维度均为 M=128；SAE 的 K=32。训练 SAE 所用预训练嵌入与 Embed+DoubleML 的协变量相同。实现细节在附录 D。
• 估计器：CEM（切点为 0 与正值 50% 分位数）与 DoubleML（L2 逻辑回归估计倾向得分，线性回归估计结果）。目标为 ATT。不对预训练嵌入使用 CEM，原因是维度高且缺乏各维语义有意义的证据。
• 方法变体：未调整、TIRM（STM+CEM）、STM+DoubleML、Embed+DoubleML、SAE、SAEselect（经条件独立检验选出的子集）。
• 指标：Bias、RMSE、Coverage（置信区间覆盖真实效应的百分比）、CEM 的 T-ret.%；选择步骤另看 ESS 与真实 U 上的 |SMD|。表中数字为 100 次模拟的均值。

主结果

据 Table 2（20NG）与 Table 3（EURLEX）。Embed 行的 CEM 为 n/a，表中不列。Coverage 与 T-ret.% 按表中写法。

表格较宽，可左右滑动

设置与表示	CEM Bias	CEM Cov.%	CEM T-ret.%	DML Bias	DML Cov.%
20NG computer：未调整	0.1530	0.00	n/a	未报告	未报告
20NG computer：TIRM / SAE / SAEselect	0.1149 / 0.0361 / 0.0312	0.00 / 91.00 / 65.00	2.20 / 0.29 / 15.25	0.0663 / 0.0480 / 0.0602	均为 0.00
20NG computer：Embed	n/a	n/a	n/a	0.1873	0.00
20NG religion：未调整 / TIRM	0.0865 / 0.0466	0.00 / 5.00	n/a / 2.39	未报告 / 0.0663	未报告 / 0.00
20NG religion：SAE / SAEselect	0.0062 / 0.0390	92.00 / 70.00	0.40 / 81.56	0.0291 / 0.0377	均为 0.00
20NG religion：Embed	n/a	n/a	n/a	0.1200	0.00
20NG 多类：未调整 / TIRM	0.1572 / 0.1036	0.00 / 28.00	n/a / 2.14	未报告 / 0.0801	未报告 / 0.00
20NG 多类：SAE / SAEselect	0.0205 / 0.0267	95.00 / 77.00	0.30 / 4.77	0.0536 / 0.0579	均为 0.00
20NG 多类：Embed	n/a	n/a	n/a	0.1906	0.00
EURLEX：未调整 / TIRM	0.2863 / 0.0335	0.00 / 59.00	n/a / 20.90	未报告 / 0.1461	未报告 / 0.00
EURLEX：SAE / SAEselect	0.0344 / 0.0306	92.00 / 91.00	0.25 / 0.42	0.1324 / 0.1336	均为 0.00
EURLEX：Embed	n/a	n/a	n/a	0.2912	0.00

• 20NG：作者称三种设置下 SAE 的偏差、RMSE 最低且 coverage 最高。多类中 SAE+CEM 的 Bias 0.0205、SAEselect+CEM 为 0.0267，低于未调整的 0.1572；相对 TIRM 的 0.1036 与 Embed+DoubleML 的 0.1906，SAE 在两种估计器、有无选择下 Bias 处于 0.0205 到 0.0579。作者怀疑 TIRM 因 STM 稠密而匹配后保留单位少；并怀疑 SAE 的稀疏原子表示使简单 nuisance 函数更容易学到 U 中的主题信息。
• 选择的作用：Table 2 的 CEM 中，SAEselect 与 SAE 的 Bias 相近，但保留更多处理与对照单位。DoubleML 下选择对 ATT 益处不大；作者假设 nuisance 函数中的特征加权已隐含同样效果。
• EURLEX 与 Figure 1：作者称结果好坏参半。SAE+CEM（有无选择）偏差低、coverage 高，但两种设置下保留的 treated 均不到 1%；TIRM 的 Bias 相近（0.0335），coverage 较低（59.00），T-ret.% 约 21%（表中 20.90）。STM+DoubleML 与 SAE+DoubleML 把未调整 Bias 0.2863 降到 0.1461 与 0.1324，但仍远离 0。Figure 1 展示多类下 100 个种子中的 10 个：作者称 DoubleML 往往偏差低，但置信区间更窄，因而 Table 2 中 coverage 为 0；SAEselect+CEM 选出的特征数标在区间上方，范围为 22 到 109（共 128 维）。作者假设多个 SAE 特征编码同一个 U，选中哪一个存在变异。检查 DoubleML 的 nuisance 时，作者称处理分类器收敛而结果估计器不收敛，并假设这可能是有限数据问题：附录 Figure 10 中虽有严格 overlap，许多混杂桶存在 Hill and Su (2013) 意义上的 lack of common support。作者认为同一表示下匹配偏差低而 DoubleML 偏差高，值得后续研究。

选择步骤的 overlap 与平衡

• Figure 2a：在 CEM 上、可看见 oracle 混杂 U 时，各混杂设置中选择后的 ESS 都上升（横轴为对数有效样本量）。作者称这与 Table 2、3 中选择保留更多数据、改善匹配 overlap 一致。
• Figure 2b：选择后除 U=religion 外，各真实混杂的 |SMD| 更低。即使 U=religion，选择后 |SMD| 仍在约 0.2，低于未调整的 0.55。图例区分未选择、选择后与调整前。
• Figure 3：M=128、K=32 时，多类与多标签选出的特征更多，中位数高于 128 中的 40；各模拟间方差大，与 Figure 2a 的 ESS 范围一致。较少见的 religion 比 computer 的选择方差更大；作者认为 SAE 对低频特征的编码可能不那么原子。M=32、K=8 时，二值混杂仍能缩小特征集，但多类与多标签几乎选中全部神经元。作者称这说明 M=32 不足以原子地捕获更复杂标签，也演示了“几乎全选则需要更大 SAE”的证伪检查。

稀疏度、可解释性与分箱

• Figure 4：多标签、SAEselect、M=128，K∈{8,16,32,64}。作者给出 K=8 时 Bias 0.036、RMSE 0.038；K=16 为 0.027 与 0.031；K=32 为 0.031 与 0.056；K=64 为 0.028 与 0.125。作者称更大稀疏（更小 K）一般改善 RMSE 并保留更多数据，而 coverage 随稀疏减弱而改善，实践者需按所关心的指标设定 K。
• 特征解释：使用 M=128 的 SAE，查看在 100 次模拟中至少被选 40 次的神经元，由 LLM 根据激活文本生成标签。多类（computer、religion、other）中靠前的神经元包括圣经经文引用与 PC 主板/总线硬件标准；仅 religion 的二值设置只含前者。多标签下全部被选神经元都至少出现 40 次，作者手工检查 ≥95 次的 25 个神经元，称五个标签都有对应，例如与贸易和农产品相关的进口价格表述。附录表列出这些神经元的解释与被选次数（多次为 95–100）。作者称若选出的神经元与假设混杂无关，该诊断可使结果不可靠并证伪流水线。

其他消融与分析

• 主实验固定 M=128、K=32；M=32、K=8 时复杂混杂几乎选中全部神经元（Figure 3b）。
• K 从 8 增到 64 时，多标签 RMSE 从 0.038 增到 0.125，Bias 在 0.027–0.036（Figure 4）。
• DoubleML 在 Table 2、3 的全部已报告表示上 Coverage 均为 0.00。
• EURLEX 上 SAE+CEM 的 T-ret.% 为 0.25（无选择）与 0.42（有选择），TIRM 为 20.90（Table 3）。
• 20NG computer 上 Embed+DoubleML 的 Bias 0.1873，高于未调整 CEM 的 0.1530（Table 2）；多类上 Embed+DoubleML 的 0.1906 也高于未调整的 0.1572。
• 附录 E 比较 CEM 分箱规则；作者称 SAE 相对这些规则更稳健，但未在正文给出各规则的数字。

作者指出的局限与后续方向

• 半合成参数：因果调整的半合成涉及混杂标签、DGP 中混杂与处理强度、表示维度等多阶段设定，其他设定下结果可能不同（Limitations）。作者称已按既有做法motivate这些选择，并在多种模拟与数据集上报告结果。
• 超参数公平性：为公平比较，各流水线使用相同超参数，但最优设置可能因表示而异，例如 SAE 与 STM 的 (0,1) 连续主题表示在 CEM 上的最优分箱规则可能不同（Limitations）。作者称从经验结果看 SAE 对这些规则更稳健（见附录 E）。
• 其他 SAE 架构：还可以考察其他 SAE 架构；作者将其留待以后，并称它们可接入本流水线，不同 SAE 的比较是细化而非本调整方法可用的前提（Limitations）。
• 更多样的文本混杂：SAE 特征除主题外还包含风格与语义变异；后续可考察更多样的文本混杂，例如句法（§7）。
• 多标签与 common support：多标签设定需要更深入的理解；lack of common support 的机制与缓解留待以后，例如在 Hill and Su (2013)、Oberst et al. (2020) 上继续做（§6.2、§7）。
• 估计器与超参数：目前是把学到的表示插入下游估计器；作者称还需要研究联合学习表示与估计器的方法（Veljanovski and Wood-Doughty, 2024; Veitch et al., 2020），以及在整条流水线上系统搜索超参数（§7）。K 的设定也需要后续工作给出进一步指导（§6.4）。选择与 Y 相关而非与 T 相关的特征以降低方差，作者留待以后（§4 脚注）。

实验覆盖范围

• 半合成数据为 20NG（18,331 篇，二值 computer、二值 religion、三类）与 EURLEX 英语子集（5 个标签、62,007 条）；每种 DGP 100 个随机种子，τ=2，噪声 N(0,0.09)（§5、Table 1–3）。
• 比较的表示为 SAE、SAEselect、STM/TIRM 与同一预训练嵌入；估计器为 CEM 与 DoubleML，目标 ATT；不对嵌入做 CEM（§5.3、§6）。
• 主设定 M=128、K=32；另报告 M=32、K=8 的入选特征数，以及多标签上 K=8、16、32、64 的 Bias 与 RMSE（Figure 3、4）。
• overlap 与平衡用 ESS 和真实 U 上的 |SMD|，且这些诊断可以看见 oracle 混杂（Figure 2）；可解释性用 LLM 给至少被选 40 次的神经元打标签，多标签另手工查看 ≥95 次的 25 个神经元（§6.5）。
• 论文未报告具体的预训练嵌入模型名称、SAE 训练的学习率或迭代次数、条件独立检验所用的训练/测试划分比例，以及置信区间的构造方式；这些细节若在附录 D、C 中有公式，正文未给出可逐项引用的数值。

Zhong、Keith 与 Field 提出用稀疏自编码器特征的最小子集，对观测文本中的混杂做因果调整，并在半合成数据上比较 CEM 与 DoubleML。

• 问题：文本表示须保留混杂以保证无偏，又须稀疏以满足有限样本 overlap 并压低方差。识别依赖无未测混杂、overlap、一致性、同质效应，以及文本先于处理、表示因果充分。
• 方法：在全部文本的预训练嵌入上训练 top-K SAE，用 Lasso 逻辑回归逐步放宽正则，再以似然比卡方检验（例如显著性 0.05）判断子集是否使处理与其余特征条件独立。子集接入 CEM 或 DoubleML，估计 ATT。若几乎全部神经元都被选中，可作为 M 过小的证伪信号；神经元还可映射到可读概念以检查面效度。
• 20NG：100 次模拟、M=128、K=32、τ=2。多类上 SAE+CEM 的 Bias 为 0.0205、Coverage 95.00%，未调整 Bias 为 0.1572，TIRM 为 0.1036，Embed+DoubleML 为 0.1906（Table 2）。computer 上 SAE+CEM Bias 0.0361、Coverage 91.00%；religion 上 SAE+CEM Bias 0.0062、Coverage 92.00%。选择在 CEM 上保留更多 treated 单位，对 DoubleML 的 ATT 益处不大。Table 2 中 DoubleML 的 Coverage 均为 0.00；Figure 1 中其区间更窄。
• EURLEX：62,007 条、5 标签。SAEselect+CEM 的 Bias 0.0306、Coverage 91.00%，但 T-ret.% 仅 0.42；TIRM 的 Bias 0.0335、Coverage 59.00、T-ret.% 20.90。SAE+DoubleML 把未调整 Bias 0.2863 降到 0.1324，Coverage 仍为 0.00（Table 3）。作者称处理分类器收敛、结果回归不收敛，并假设与有限样本中 lack of common support 有关。
• 诊断与结论：选择提高 ESS，并使除 religion 外的 |SMD| 下降（Figure 2）。多类与多标签在 M=128 时入选特征中位数高于 40；M=32 时这两类几乎选完全部神经元（Figure 3）。作者称 SAE 有潜力辅助因果分析，并为应用研究者提供监督与证伪渠道；多标签设定与联合学习表示和估计器仍需后续工作。半合成的标签、强度与维度设定可能改变结果。