用子序列关联过滤与广度感知选择抑制 LLM 查询扩展中的幻觉词

LLM 查询扩展的核心问题是注入相关文档不支持的词，现有过滤既不解释词为何出现，也没有保留多少词的准则。

• 场景：查询扩展用相关词弥补查询与文档的词表差距。作者称当前做法改由 LLM 生成词、关键词或假设文档；Query2doc、HyDE 等报告了增益，但幻觉会注入不存在的实体和离题词，增加排序噪声。
• 已报告的代价：作者转述 Weller 等：检索器越强，扩展收益越差；生成扩展帮助弱检索器，却会在强检索器排序顶部引入假阳性。Abe 等区分两类失败：不熟悉查询引入不存在实体或无关词；歧义查询塌到最流行义项，覆盖变窄。
• 现有不足：作者称语料接地、互相验证、小模型过滤和偏好对齐把幻觉词当作无差别噪声，按是否与检索证据共现来留弃。保留多少词、如何在覆盖与忠实之间取舍，留给固定 top-k 或调好的权重。
• 作者的依据：Sun 等把 decoder-only transformer 写成子序列关联模型，主导的幻觉关联压过忠实关联时出现幻觉。Kalavasis 等把生成写成一致性（无幻觉）与广度（覆盖）的权衡，并讨论稳定性。作者认为这两项结果在 IR 中用得少。
• 本文提出：不需训练、作者称与检索器无关的 SAFE-QE。它用语料条件下的跨上下文可复现性给候选词打分并降权，再把选词写成伪相关集上的约束覆盖最大化，只留重采样下稳定的词。另定义查询侧指标 HETR，统计没有任何相关文档支持的注入词。

LLM 查询扩展

• 伪文档：Query2doc（Wang 等，2023）把生成段落拼到查询上，BM25 还重复查询；论文写其在 MS MARCO 与 TREC DL 上报告 3-15% 的 BM25 增益。HyDE（Gao 等，2023）用无监督稠密编码器编码零样本假设文档，论文转述其瓶颈被归为过滤幻觉。MuGI（Zhang 等，2024）融合多个伪参考文献并自适应再加权。
• 词生成与语料条件：Jagerman 等（2023）用提示生成扩展词，论文写思维链给出最强关键词。GRF（Mackie 等，2023）从长篇 LLM 文本建 RM3 反馈；CSQE（Lei 等，2024）从 BM25 top-k 抽关键句；LameR（Shen 等，2023）以检索文档为条件生成；ThinkQE（Lei 等，2025）对着语料迭代思考。
• Doc2Query（Gospodinov 等，2023）在建索引前过滤幻觉生成查询。作者称这是此前最接近的生成文本过滤，但是加在文档侧、启发式，且没有生成机制解释。

扩展中的幻觉与缓解

• Weller 等（2024）报告扩展收益与检索器强度负相关。Abe 等（2025）写不熟悉查询与歧义查询两类失败。Yoon 等（2025）认为 LLM-QE 的收益很多来自知识泄漏，即生成文本含金标准所蕴含内容时增益才主要出现。作者称这与本文相邻，但 Yoon 等把泄漏当作混杂，本文用同一机制分开忠实关联与幻觉关联。
• 缓解包括接地（CSQE、LameR、ThinkQE）、一致（MILL，Jia 等，2024）、小模型过滤（GOLFer，Liu 与 Zhang，2025）和训练对齐（LLM-QE，Yao 等，2025）。作者称这些工作都没有把缓解建立在生成机制理论上，也没有把选词写成一致性–广度权衡。

机制与生成刻画

• Sun 等（2025）认为幻觉来自主导幻觉子序列关联压过忠实关联。其 SAT 用随机上下文中触发目标输出的可复现性找因果输入子序列，并在 HALoGEN（Ravichander 等，2025）上验证。
• Kalavasis 等（2026）在 generation-in-the-limit 上证明：精确广度与识别一样难；近似广度（只漏掉有限个有效项）严格更容易；要求稳定性会把这些概念收回到更难的情形。

实验基线与集合

• 基线是无扩展，生成式 Query2doc 与 HyDE，语料引导 CSQE 与 MILL。集合是 TREC DL 2019/2020，以及 BEIR 中的 TREC-COVID、NFCorpus、FiQA-2018、SciFact。

作者称据其所知，首次把上述两项理论结果移植到信息检索，并把扩展词生成看成语料词表上、近似广但一致且重采样稳定的选词。

作者把选词放在近似广但一致的区间，用子序列关联信号的语料条件类比判断每个词是否忠实。方法名为 SAFE-QE，不训练，包在任意 generate-then-expand 流程外。

问题设定

• 给定查询 q、语料 C 和第一阶段检索器 R，LLM G 给出候选池 T。目标子集要覆盖相关材料，同时排除流畅但无支持的词。
• 作者不要求收录每一个有效词。论文写精确广度与识别一样难，且没有必要冒险；只要求少漏忠实侧面、不纳入幻觉词。
• 每个词是否忠实，用 Sun 等信号的语料条件类比，而不是再训练生成器。

候选生成与打分

• 用 Query2doc/CoT 风格模板，对开放指令微调 LLM 采样 N 次。freq(t) 是含该词的样本比例。作者把它当作稳定生成器的实用代理：生成器在重采样下会承诺的词。
• 扰动集有 P 个提示，随机丢弃并重组 q 的子序列；若使用生成的伪文档，也重组其片段。ρ(t) 是该词仍出现的比例。作者称高 ρ 表示该词由与具体查询意图大体无关的主导关联触发。
• γ(t) 是检索器 top-k 伪相关文档 Dk 上支持分的最大值。稀疏设置用词法出现，稠密设置用该词与文档句子嵌入的最大余弦相似度。
• 保留分把接地、惩罚和频率合在一起：

s(t)=γ(t)−λρ(t)(1−γ(t))+μfreq(t) 前项是接地，中间项惩罚高可复现且无支持的词，末项是出现频率；λ、μ 非负。作者称中间项对应子序列关联说法所标记的那类词。

覆盖选择与稳定性过滤

• 只按保留分取 top-k 会忽略冗余，多个高分词可能覆盖同一侧面。作者改为在接地约束下最大化对伪相关集的覆盖。cov(t) 是支持分不低于 τ 的文档集合。
• 只在 γ(t)≥τg 的候选上、预算 B 内求解：

T^{\star}=\arg\max_{S\subseteq T_g,\,|S|\le B}\left|\bigcup_{t\in S}\mathrm{cov}(t)\right|+\beta\sum_{t\in S}s(t) 覆盖项对应近似广度，接地约束对应一致性。作者称该目标子模，贪心有 (1−1/e) 保证，并有意放弃精确广度。

• 再丢掉 freq(t) 低于 θ 的词。作者称只在少数重采样中出现的词经验上更常是幻觉。稀疏检索以权重 α 做 RM3 风格融合；稠密检索把词拼到 q 上再编码。Algorithm 1 汇总该流程。论文未给出 N、P、k、λ、μ、β、τ、τg、θ、α、B 的取值。

忠实性如何计

• nDCG 只看排序是否变好。作者把 HALoGEN 的原子验证改到查询扩展：HETR 是各查询注入词（在扩展查询中、不在原查询中）里，没有任何已判定相关文档支持的比例，再对查询平均。
• 支持由高精度验证器判定：实体和数字用精确或近词法匹配，短语用蕴含。论文未点名蕴含模型。作者称有用的方法应降低 HETR 而不降低 nDCG@10。
• 另定义负载：每查询无支持注入词个数的期望，即 HETR(q) 与注入词数的乘积再对查询取期望。作者称比率和负载回答的是不同问题。

实验设置

• 问题：RQ1 过滤幻觉词是否损失效果；RQ2 相对生成式与语料引导扩展少留多少幻觉词；RQ3 收益是否集中在强检索器；RQ4 小生成器上忠实性收益是否仍在。
• 集合：TREC DL 2019（43 条已判定查询）、DL 2020（54）、TREC-COVID（50）、NFCorpus（323）、FiQA-2018（648）、SciFact（300）。后四个是所选 BEIR 集合。
• 检索器：BM25、SPLADE、Contriever。索引与检索用 Pyserini 预建索引。
• 生成器：Qwen2.5-0.5B、Gemma-2-2B、Qwen2.5-7B、Gemma-2-9B。主结果用 Gemma-2-9B；RQ4 用全部四个。生成为非贪心采样，每查询 N 次，另有 P 个扰动提示；二者未给数值。
• 基线：无扩展；Query2doc、HyDE；CSQE、MILL。作者称生成式一对用来看无接地生成的损害，语料引导一对代表先前最强的缓解，用来对照 γ。
• 指标与检验：nDCG@10、HETR、load。显著性是逐查询配对 t 检验，跨基线 Bonferroni 校正，阈值 p<0.05。论文未报告随机重复次数，也未点名短语蕴含模型。

主结果

据 Table 1（四个 BEIR 集合汇总，生成器 gemma-2-9b；p 为校正后配对 t 检验；HETR Δ 为 SAFE-QE 减基线）：

表格较宽，可左右滑动

• 作者称效果是零结果：与 HyDE、CSQE、MILL 不可区分，与 Query2doc 的差距达到校正后的显著性，但作者称约为 nDCG@10 上一个排名位的十分之一。作者称去掉相关文档不支持的词，并没有去掉检索器所依赖的词。
• 表注称忠实性上 SAFE-QE 优于其余方法，正文写这些 HETR 降幅的 p<0.001，相对降幅为相对 HyDE -25.9%、Query2doc -24%、MILL -15.1%、CSQE -11.2%。Table 1 中 SAFE-QE 的 HETR 在 Query2doc、HyDE 行是 0.440，在 CSQE、MILL 行是 0.369；表注只说明 0.440 是 BEIR 汇总的 per-query 值，论文未说明 0.369 的口径。
• Table 2 另给六集合、三检索器上相对无扩展的平均增益：Query2doc +0.0231，CSQE +0.0197，MILL +0.0075，SAFE-QE +0.0058，HyDE -0.0045。作者称效果不是用忠实换来的代价。

忠实性与词项负载

• Table 3（gemma-2-9b，六集合三检索器宏平均；HETR 是注入词上的微率，故与 Table 1 的 0.440 不同）：SAFE-QE 的 HETR 0.465、注入词数 10.3、load 4.79；Query2doc 为 0.656、43.0、27.83；HyDE 为 0.663、87.2、57.47；CSQE 为 0.531、14.8、7.90；MILL 为 0.546、13.8、7.52。cut 列写 85%、93%、45%、43%。正文另写 SAFE-QE 每查询 4.30 个无支持词，摘要写 4.3、27.8、57.5；与 Table 3 的 4.79 不一致，这里以表为准。
• 作者称只看比率会把“注入两词、一词无支持”判得比“注入八十词、三十词无支持”更差，所以同时报告负载。Figure 2 按检索器分解注入量、HETR 与负载；图注称 SAFE-QE 的优势在稠密检索器上最大。转换后的柱状数字无法可靠对列，不转写。
• 同表的查询时间：SAFE-QE 为 10.97 秒/查询、1516 token/查询、2.00 次生成调用；Query2doc 为 4.06、78、1.00；HyDE 为 1.10、231、0.19；CSQE 为 5.23、758、1.00；MILL 为 2.91、757、0.50。作者称忠实性换成了两次采样加 P 个扰动提示的生成成本。

检索器差异与生成器规模

• Table 4 给各集合、各检索器的 HETR。作者称 Query2doc 与 HyDE 的注入集不依赖第一阶段，故 HETR 与检索器无关；接地方法对着该检索器自己的伪相关集，因而依赖检索器。表中 BM25 与 SPLADE 的 Query2doc/HyDE 相同，Contriever 不同，例如 DL’20 上 Query2doc 为 0.747，BM25/SPLADE 为 0.262。CSQE、MILL 的全部 SPLADE 单元格为 n/a，表注称其未注入词、与无扩展相同，并排除出汇总。部分 Contriever 单元格标 †，同样排除。
• 作者称 SAFE-QE 在全部五个可比较的 Contriever 设置上 HETR 最低；BM25 上六集合中仅一个最低，CSQE 与 MILL 以相近足迹保持略更干净的集合；SPLADE 上两个最低。图注称其在 BM25 与 Contriever 下位于前沿，在 SPLADE 下比率高于生成式基线，尽管作者称负载是后者的三分之一。正文写 SPLADE 的接地阈值下每查询 14.4 词，BM25 为 12.3，比率从 0.248 升到 0.415。作者称 τg 应按检索器校准，并留作后续工作。Table 4 的 BM25 行里，DL’19 上 SAFE-QE 为 0.041、CSQE 为 0.042，TREC-COVID 上二者同为 0.003。
• Table 5（全集合、全检索器宏平均）中，SAFE-QE 的 nDCG@10 为 Qwen2.5-0.5B 0.4648、Gemma-2-2B 0.4784、Qwen2.5-7B 0.4750、Gemma-2-9B 0.4845，HETR 为 0.398、0.386、0.344、0.375。HyDE 的 nDCG@10 为 0.3951、0.4641、0.4697、0.4788，HETR 为 0.640、0.597、0.590、0.570。MILL 的 HETR 为 0.480、0.447、0.420、0.443。作者称忠实性优势在每个规模都在，且不依赖大生成器：0.5B 的 SAFE-QE 已比 9B 的 HyDE 更忠实。表注说明 9B 的 0.375 与 Table 1 的 0.440 口径不同。HETR 不是随规模单调下降，论文未解释 7B 到 9B 的回升。

其他消融与分析

• Conclusion 写组件消融尚未完成；正文没有消融表。
• SPLADE、DL’19：无扩展 0.7308，SAFE-QE 0.6950，Query2doc 0.5848，HyDE 0.6160（Table 2）。结论称强学习稀疏检索器上每种扩展都回退，SAFE-QE 把回退减半；论文未给出该减半的汇总差值。
• NFCorpus 的 SPLADE 行是例外：无扩展 0.3473，Query2doc 0.3486，HyDE 0.3556，SAFE-QE 0.3504，扩展并未低于无扩展。
• 作者称在含五种方法的三个 Contriever 集合上，每种方法都在无扩展的 ±0.03 以内，差异不显著；并称稠密检索在效果上把方法分得最少，在忠实性上分得最多。
• SciFact、BM25：SAFE-QE 0.6778，低于无扩展 0.6789，也低于 Query2doc 0.7079 与 HyDE 0.7095。
• 论文未报告各超参数取值，也未报告 HETR 与人工判定的一致性。

作者指出的局限与后续方向

• 接地阈值 τg 是固定的，应按检索器校准；SPLADE 的结果表明伪相关集决定有多少候选能留下来（Conclusion；Results 中也写留给后续工作）。
• 组件消融尚未完成。作者称那才会把设计论证变成测得的结果（Conclusion）。
• 广度–一致性权衡的有限样本行为仍开放。作者称目前把渐近刻画当作设计词汇（Conclusion）。
• 对预算 B 的接地子集何时足够广做有限样本分析，才能让这一借用更稳（Conclusion）。
• 作者称该表述可以延伸到生成式检索和学习稀疏扩展（Conclusion）。

实验覆盖范围

• 集合为 TREC DL 2019（43）、DL 2020（54）、TREC-COVID（50）、NFCorpus（323）、FiQA-2018（648）、SciFact（300）；检索器为 BM25、SPLADE、Contriever（Section 5、Table 2）。
• 生成器为 Qwen2.5-0.5B、Gemma-2-2B、Qwen2.5-7B、Gemma-2-9B。主结果用 Gemma-2-9B，规模对比用全部四个（Table 5）。
• 基线为无扩展、Query2doc、HyDE、CSQE、MILL。指标为 nDCG@10、HETR、load。论文报告的配对检验是四个 BEIR 集合的汇总（Table 1）。
• Table 2 与 Table 4 中，CSQE 和 MILL 的全部 SPLADE 单元格为 n/a，部分 Contriever 单元格为 †；表注称这些单元格不进入汇总。
• 论文未报告 λ、μ、β、τ、τg、θ、α、B、N、P、k 的取值，未报告重复次数，未报告短语蕴含验证器的模型名，未报告 HETR 与人工的一致性。Conclusion 写明组件消融尚未做。

• SAFE-QE 是不训练的查询扩展过滤，用来减少 LLM 扩展里没有相关文档支持的词。
• 作者要处理的是：生成式扩展会注入不存在实体和离题词。作者转述，这会给强检索器增加顶部假阳性，也会在不熟悉或歧义查询上失败。已有接地、互验和训练对齐不解释词为何出现，保留数量靠固定 top-k。
• 开放 LLM 多次采样后，伪相关文档支持越高越好；跨随机上下文仍反复出现、却没有文档支持的词被降权。再在接地候选上贪心最大化覆盖，并丢掉重采样频率过低的词。HETR 统计注入词中无相关文档支持的比例，负载是每查询这类词的个数。
• Table 1 在四个 BEIR 集合、gemma-2-9b 上，SAFE-QE 的 nDCG@10 为 0.403 或 0.404，视基线行而定。与 HyDE、CSQE、MILL 的校正后 p 大于 0.5，与 Query2doc 的 p 为 0.021。Table 2 中相对无扩展的平均增益为 +0.0058，Query2doc 为 +0.0231，HyDE 为 -0.0045。
• Table 3 宏平均下，SAFE-QE 的 HETR 为 0.465、load 为 4.79，Query2doc 的 load 为 27.83，HyDE 为 57.47。摘要写的是每查询 4.3 对 27.8 和 57.5，与该表不一致。Table 5 中，Qwen2.5-0.5B 上 SAFE-QE 的 HETR 为 0.398，低于 Gemma-2-9B 上 HyDE 的 0.570。
• 作者的结论是：忠实性可以在排序质量上看不到代价的情况下得到；过滤本身、而不是背后的大生成器，产生了这一收益。作者称在强学习稀疏检索器上各扩展都回退时，SAFE-QE 把回退减半。同时作者写明 τg 仍应逐检索器校准，组件消融和有限样本分析都还没做。