通过稀疏自编码器特征追踪查询扩展效果

稠密检索中查询扩展如何改变检索器内部表示，以及这些变化是否对应可解释、可干预的检索语义。

• 场景：查询扩展（query expansion, QE）为欠指定查询补充文本。作者称稀疏检索中新词可直接改善词面匹配，稠密检索则主要通过重塑连续查询表示起作用，效果更难预测；附加文本可能提供语义，也可能引入无关内容或语义漂移，增益有限甚至下降。
• 现有不足：作者称近期研究主要看最终检索指标、扩展质量或查询嵌入的整体偏移，很少解释 QE 激活或抑制了哪些潜在特征、这些特征是否对应检索相关语义，以及它们如何影响最终性能。对未在扩展查询上微调的现成稠密检索器，简单拼接生成文本往往改进有限甚至有害。
• 核心观察：作者认为有效 QE 引起的是与检索意图和实体属性对齐的、层上集中的稀疏潜变量变化，而不只是扰动最终查询嵌入。
• 本文做法：用稀疏自编码器（sparse autoencoder, SAE）把逐层检索器表示分解为稀疏潜激活，从扩展引起的激活差中找出 QE 相关潜变量，并用自然语言描述和检索案例解释；再以 SAE 解码器权重做测试时激活转向，在不改写查询、不微调检索器的情况下调节检索行为。

查询扩展

• 经典方法：Schütze 等（2008）、Azad and Deepak（2019）综述 QE；Rocchio Jr（1971）的相关反馈、Cartright 等（2010）的伪相关反馈，以及 Lavrenko and Croft（2001）、Jaleel 等（2004）的相关模型，通过补充词项重述查询并改善词面匹配。
• 基于 LLM 的扩展：Wang 等（2023a）生成伪文档，Zheng 等（2020）、Jagerman 等（2023）生成扩展词，Rizzo 等（2024）生成推理式上下文，Chen 等（2024）做面向答案的扩展。作者称系统研究显示生成内容在检索器和数据集间不稳定，并可能伤害强稠密检索器（Weller 等，2024）。
• 缓解噪声的方向：Lei 等（2024）的语料引导扩展，以及 Pimpalkhute 等（2024）、Wang 等（2023b）学习扩展查询的软表示。作者称这些工作面向文本或扩展生成，本文则分析有效扩展如何反映在检索器表示内部，并把稀疏潜变量转成查询侧转向向量。

嵌入可解释性

• SAE 与线性表示：Huben 等（2024）、Shu 等（2025）、Gao 等（2025）、Marks 等（2025）用 SAE 把稠密激活分解为稀疏、可解释特征；作者引用线性表示假设（Mikolov 等，2013；Park 等，2024）。
• 检索与排序内部分析：Park 等（2025）、Formal 等（2026）把 SAE 用于稠密检索，用稀疏潜变量解释并控制稠密嵌入；Wu 等（2024）、Chowdhury 等（2025）分析排序模型内部表示，Rennings 等（2019）、Formal 等（2021）从机制角度分析检索模型。作者称本文关注稠密查询表示中由扩展引起的稀疏特征变化。

基线方法与基准

• 基线：Query2Doc（Q2D，Wang 等，2023a）、Query2Keywords（Q2E，Jagerman 等，2023）、Query2CoT（Q2C，Rizzo 等，2024），以及原始查询基线；文档侧固定，对 BM25 取回的 top-1000 文档重排。
• 基准：MS MARCO、Natural Questions、TREC DL 2019、TREC DL 2020。

作者把本文定位为：据其所知首次从稠密检索器内部表示系统分析 QE 如何改变跨层稀疏潜激活，并用特征可分性、自然语言描述和案例提供解释，再用激活转向检验这些潜变量。

整体思路是 SAE 潜变量追踪加测试时转向：对原始查询与有效扩展查询的逐层隐状态做稀疏分解，选出扩展引起稳定变化的潜变量，再把对应解码器方向加回原始查询的隐状态。

问题设定与 SAE

• 扩展构造：给定原始查询 q 与扩展 e，扩展查询为 q′ = Concat(q, e)，即文本拼接。分析对象是各层表示 h(l)(q)、h(l)(q′) 及其稀疏激活 z(l)。
• 取表示：encoder-only 检索器按原池化取查询表示；decoder-only 用每层最后一个有效 token 的隐状态。
• SAE：对层 l 的稠密表示 h(l)，编码器得到稀疏激活 z(l)，解码器重建 ĥ(l)。采用 BatchTopK SAE（Bussmann 等，2024），σ 在每个 batch 只保留最大的 k 个潜激活。论文给出的训练设置为 k = 128，在 MS MARCO passage 检索训练集的表示上逐层训练。
• 重建检查：Table 1 在 Qwen-Embed、MS MARCO dev 上比较原始嵌入与 SAE 重建：Baseline 的 MRR@10 为 30.485、NDCG@10 为 36.346；SAE-Rec 的 NMSE 为 0.096，MRR@10 为 30.427，NDCG@10 为 36.294。作者认为稀疏激活保留了分析所需的主要检索信息。数据构造与训练细节在附录 A。

QE 相关潜变量

• 配对数据：扩展方法用 Q2D。从 MS MARCO 训练划分选出 2,000 对正例 (q, q′)，条件是 q′ 的 MRR@10 高于 q。
• 打分：对第 i 个潜变量，扩展引起的激活差为 δ_i(l)(q, q′) = z_i(l)(q′) − z_i(l)(q)。用 Cohen’s d 得到标准化效应 s_i(l)，即该差在正例对上的均值除以标准差加 ϵ。按 |s_i(l)| 排序，每层取 top-K；符号表示增强或抑制。
• 解释：对 top-1000 潜变量，收集激活最强的查询与文档片段，由 GPT-5.5 总结为自然语言描述和语义标签，再由三名人类专家核对修正。类型为 Syntax、Schema、Entity、Topic、Intent、Polysemantic。

测试时转向

• 转向向量：对层 l 的 top-K 集合 S_K(l)，用对应解码器列 W_dec,i(l)，按平均激活偏移 Δa_i(l) 加权，v_K(l) = Σ Δa_i(l) W_dec,i(l)。作者称加权是为保留方向和相对强度，而不是等权相加。
• 干预：测试时查询文本不变，h̃(l)(q) = h(l)(q) + α v_K(l)。只转向查询表示，文档表示固定。l、K、α 在留出验证查询上选择。
• 对照用途：同一套识别流程也用于字符级扰动：用干净查询与混合拼写错误配对构造扰动方向，再比较正向施加与反向抑制。

成功如何被查看

• 分析侧：层分布、PCA 上原始与扩展查询是否分开、单潜变量激活密度，以及人工核对后的语义类型。
• 干预侧：与原始查询基线和三种文本 QE 比较 MRR@10、NDCG@10、Recall@10；文档嵌入相同，重排 BM25 的 top-1000。

实验设置

• 检索器：decoder-only 的 Qwen3-Embedding-0.6B（文中简称 Qwen-Embed）和 encoder-only 的 SimLM。
• 基准：MS MARCO dev、Natural Questions、TREC DL 2019、TREC DL 2020。论文未在正文写明各集查询条数。
• 方法：原始查询基线；Q2D（使用公开扩展数据，表中以 † 标出）、Q2E、Q2C（按原文描述复现，用 LLM 生成并拼到原查询）；SAE Steer。所有方法共用同一文档嵌入，重排 BM25 的 top-1000。
• 指标：MRR@10、NDCG@10、Recall@10；SAE 重建另报 NMSE。潜变量筛选用 Cohen’s d。
• 转向选择：l、K、α 在留出验证查询上选择。Figure 6 在 Qwen-Embed 上扫 K、α 和层；正文称 K 约 32 最好。论文未报告重复次数。
• 解释标注：top-1000 潜变量由 GPT-5.5 生成描述，三名人类专家核对。

主结果

据 Table 3，数字为各指标原值，下标为相对对应基线的变化。Q2D 在 Natural Questions 上为“–”。

表格较宽，可左右滑动

模型 / 方法	MS MARCO MRR@10	MS MARCO NDCG@10	NQ NDCG@10	TREC19 NDCG@10	TREC20 NDCG@10
Qwen Baseline	30.485	36.346	68.059	58.437	62.830
Qwen Q2D†	28.252	33.867	–	64.811	66.817
Qwen Q2E	29.867	35.669	67.785	56.733	62.122
Qwen Q2C	26.959	32.491	66.309	52.322	60.067
Qwen SAE Steer	30.532+0.047	36.374+0.028	68.179+0.120	59.058+0.621	63.260+0.430
SimLM Baseline	33.438	38.978	57.378	59.438	62.968
SimLM Q2D†	30.166	35.518	–	61.643	66.280
SimLM SAE Steer	33.896+0.458	39.404+0.426	57.666+0.288	60.941+1.503	64.372+1.404

表中 SimLM 的 Q2E、Q2C 未全部列入。Table 3 另有：SimLM Q2E 的 MS MARCO MRR@10 / NDCG@10 / Recall@10 为 31.346 / 36.723 / 54.715，NQ 三项为 51.856 / 56.906 / 72.746，TREC19 / TREC20 NDCG@10 为 56.620 / 57.044；SimLM Q2C 对应为 27.583 / 32.725 / 49.964、48.903 / 54.238 / 71.073、49.779 / 56.919。Qwen SAE Steer 的 MS MARCO Recall@10 为 56.080−0.067，低于基线 56.147；NQ 的 MRR@10、NDCG@10、Recall@10 为 64.582+0.108、68.179+0.120、79.209+0.154。SimLM SAE Steer 的 MS MARCO Recall@10 为 57.990+0.336，NQ Recall@10 为 73.333+0.191。

• 作者解读：三种 vanilla QE 在稠密检索上不稳定；Q2E、Q2C 常低于原始查询基线，Q2D 提高 TREC DL，但降低 MS MARCO dev，并在若干 SimLM 设置上变差。
• 转向：作者称转向不改查询文本，在 Qwen-Embed 上多数指标上升，MS MARCO dev 与 Natural Questions 增益较小，TREC DL 更大；SimLM 上所有已报告指标上升，TREC DL 2019 / 2020 的 NDCG@10 为 +1.503、+1.404。作者认为 SimLM 增益通常更大，可能因为更浅的 encoder-only 结构对表示干预更直接。
• 因果说法：作者称这些结果支持 SAE 找出的 QE 相关潜变量带有有用检索信号，转向为其在检索行为中的作用提供因果证据。

层分布与可分性

• 层分布：按 |s| 取跨层 top-1000。作者称 Figure 3 中判别潜变量并非均匀分布，浅层和中层更常见，集中在层 1–10；颜色更深、分数更高的潜变量更多出现在更深层，最早若干层入选多但分数区间更低。图中分数区间标注含 [0.017, 0.249]、[0.249, 0.610]、[0.610, 21.889]，横轴层号约 0–23。
• PCA：作者称在 top-100 判别潜变量上做 PCA，Figure 4 中原始查询与扩展查询形成两个分开的簇。图轴为投影坐标，约 −6 到 6，无具体簇中心数值。
• 单特征：Figure 5 给出 L06:13458、L07:10465、L08:13291 的激活密度。作者称前两个扩展查询激活更高，L08:13291 上原始查询激活高、扩展查询多被压到接近零。Table 2 示例：L03:1463、L03:14645 为 Schema，L02:11024、L07:2278 为 Entity，L02:4785 为 Intent。

转向消融、扰动与层机制

• 超参：Figure 6 在 Qwen-Embed 上报告 NDCG@10 变化。作者称 K 增大一般更好，最好约在 K = 32，再增大无额外增益；α 过小作用有限，过大会使性能下降；有效增益主要在中后层，早期层更弱或不稳定。纵轴为 Delta NDCG@10（百分点），图中可见约 0.6 到负值，α 子图纵轴延伸到约 −15。具体曲线端点论文未逐点列出。
• 向量消融：Table 4 为 Qwen-Embed 的 NDCG@10。Steer 为 36.374 / 68.124 / 59.058 / 63.260（MS MARCO、NQ、TREC 19、TREC 20）。Unweighted 为 36.303 / 68.089 / 58.460 / 62.608；Random 为 36.312 / 68.043 / 58.329 / 62.529；Shuffled 为 36.210 / 68.034 / 57.872 / 62.200；Reverse 为 36.199 / 67.846 / 57.769 / 62.103。基线为 36.346 / 68.059 / 58.437 / 62.830。作者称完整方法四项最好，去掉权重、换随机潜变量、打乱权重或反向都会使结果下降，因而增益依赖于选出的潜变量及其扩展诱导权重。Table 4 的 Steer 在 NQ 上为 68.124，与 Table 3 的 68.179 不一致，论文未解释。
• 扰动：Table 5，Qwen-Embed NDCG@10。三种字符扰动相对基线 36.346 / 68.059 / 58.437 / 62.830：Mixed 31.309 / 64.498 / 53.055 / 57.491；Nonstop 30.197 / 63.051 / 55.126 / 53.209；Discrim. 30.219 / 62.733 / 51.321 / 58.585。把扰动转向向量加到干净查询上为 36.068 / 67.435 / 57.833 / 61.911。作者称三种扰动约降 5–9 个点，表示级干预的降幅小于直接改文本。Table 6 反向扰动转向相对干净查询：MS MARCO 的 MRR@10 / NDCG@10 / Recall@10 为 30.522+0.037 / 36.381+0.035 / 56.138−0.010；NQ 为 64.557+0.084 / 68.163+0.105 / 79.208+0.153；TREC 19 为 92.519+2.209 / 59.333+0.896 / 16.440+0.021；TREC 20 为 90.741+0.154 / 62.643−0.187 / 23.070+0.148。作者称相对干净基线变化小但方向与“扰动为有害方向”一致，TREC 20 的 NDCG@10 下降。

其他消融与分析

• 语义随层：Figure 7，早层 L0–7 的 Syntax 与 Schema 合计超过 80%；中层 L8–15 仍相似但 Syntax 略降；晚层 L16–23 的 Syntax 降至约 23%，Entity 与 Intent 增多。
• 最终嵌入位移：Figure 8，早、中层干预与 QE 诱导位移的余弦低于 0.03，相对幅度小；晚层余弦约 0.10，相对位移幅度约 0.17。作者称浅层干预在后续前向中被削弱，晚层转向更多留在最终嵌入里。
• 案例：附录 C 的 Table 16 给出转向后相关段落排名变化，如 QID 1085521 从 5 到 1、587674 从 4 到 1、1030924 从 7 到 2；Table 17 列出对应潜变量概念。作者称排序变化与这些概念一致。
• 耗时：Table 15 在 Qwen-Embedding 上，Baseline 查询编码 2.55 ms；Steering 离线 0.64 h、转向编码 2.66 ms、无额外 LLM 调用；Q2E 测试时 140.3 ms，Q2C 为 1338.0 ms。Reverse Steering 离线 0.20 h、编码 2.77 ms。
• 重建：Table 1，SAE-Rec 相对 Baseline 的 MRR@10 从 30.485 到 30.427，NDCG@10 从 36.346 到 36.294。
• 负面点：Qwen SAE Steer 的 MS MARCO Recall@10 为 −0.067；反向扰动在 TREC 20 的 NDCG@10 为 −0.187、MS MARCO Recall@10 为 −0.010；Q2D 在 MS MARCO 上低于基线，在 TREC DL 上高于基线。

作者指出的局限与后续方向

• 模型与任务范围：Limitations 称实验主要集中在 Qwen-Embedding 和 SimLM，评测在 MS MARCO、TREC DL 和 Natural Questions 上；扩展到更广的检索器架构、更大嵌入模型以及领域检索任务，对进一步评估结论的一般性是必要的。
• SAE 成本与配置：Limitations 称方法依赖逐层 SAE 训练，带来额外离线成本，所识别潜变量的质量可能取决于 SAE 配置和训练查询分布。
• 增益幅度：Limitations 称方法相对稠密基线提供稳定改进并避免测试时 LLM 调用，但某些设置下绝对增益仍然中等；表示转向应视为文本级扩展的轻量、可控补充，而不是完整替代。
• 后续：Limitations 称未来工作可以把查询自适应的潜变量选择与更稳健的潜变量发现方法结合起来，以进一步加强转向。
• 部署前评估：Ethics Statement 称查询表示转向可能影响检索结果，未来应用在部署前应评估潜在偏见、鲁棒性风险和非预期检索偏移。该节同时说明实验使用公开数据集和可公开访问的模型，不采集个人数据、不标注人类被试、不在真实用户环境部署。

实验覆盖范围

• 被测检索器：主实验为 Qwen3-Embedding-0.6B 与 SimLM 两个稠密检索器；SAE 在 MS MARCO 训练集表示上逐层训练，k = 128，重建数字只报告了 Qwen-Embed（Table 1）。
• 基准与协议：四个基准为 MS MARCO dev、Natural Questions、TREC DL 2019、TREC DL 2020；文档嵌入固定，重排 BM25 top-1000。QE 正例对为 MS MARCO 训练集上 Q2D 的 2,000 对，筛选条件是扩展查询 MRR@10 更高。
• 对照：文本 QE 为 Q2D、Q2E、Q2C；转向消融为 Unweighted、Random、Shuffled、Reverse（Table 4）。扰动为 Mixed typos、Nonstop、Discrim.（Table 5–6）。超参分析在 Qwen-Embed 上改变 K、α 和干预层（Figure 6）。
• 解释与案例：top-1000 潜变量由 GPT-5.5 描述并由三名专家核对；六类为 Syntax、Schema、Entity、Topic、Intent、Polysemantic。附录 C 给出三条检索案例。论文未报告统计显著性检验和实验重复次数。
• 耗时：Table 15 报告 Qwen-Embedding 上离线准备与单查询延迟；Q2D 的离线 wall-clock 为“–”。

作者用稀疏自编码器分析稠密检索里的查询扩展：现成检索器不微调时，拼接扩展文本往往增益有限甚至变差，而最终指标和嵌入整体偏移不足以说明内部发生了什么。

• 问题：比较原始查询与 Q2D 有效扩展（MS MARCO 训练集 2,000 对，扩展后 MRR@10 更高），看哪些稀疏潜变量被增强或抑制，以及它们是否对应检索意图、实体属性和答案形式。
• 方法：逐层 BatchTopK SAE（k = 128）分解隐状态，用 Cohen’s d 选 top-K 潜变量，以平均激活偏移加权的解码器方向在测试时只加到查询表示上；l、K、α 在留出查询上选择。
• 分析：作者称 top-1000 判别潜变量在浅中层更多、高强度更多在深层；top-100 上 PCA 中原始与扩展查询分成两簇。语义类型包括 Schema、Entity、Intent 等，由 GPT-5.5 起草、三名专家核对。
• 主结果：Table 3 中 Q2E、Q2C 常低于原始查询，Q2D 提升 TREC DL 但降低 MS MARCO。SAE Steer 在 SimLM 上 TREC DL 19 / 20 的 NDCG@10 为 +1.503 / +1.404，在 Qwen-Embed 上为 +0.621 / +0.430；Qwen-Embed 的 MS MARCO Recall@10 为 −0.067。作者称随机、打乱和反向干预不能复现这一增益。
• 作者结论：有效 QE 不只改文本表面，而是改变检索器对意图、实体和主题相关潜变量的编码；SAE 转向是不改写查询、不微调检索器的轻量调节。作者同时认为某些设置绝对增益仍中等，转向是文本扩展的补充，并需要在更多架构和领域上检验。