被引用却未被使用:检索增强生成中的参数记忆来源
Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation
作者用反事实值替换测量 RAG 引用来源,称 1.2%–15.7% 可引用声明来自参数记忆,NLI 验证无法识别。
- RAG 系统给生成声明附引用,但引用常错标来源:声明其实来自模型参数记忆而非检索段落。作者称基于 NLI 支持度的标准验证在结构上无法发现这种 post-rationalisation。
- 提出反事实值替换:把答案与检索段落共有的数值在段落(含标题)中换成假值后重新提问,模型报假值则判为来自上下文,报原值则判为来自记忆,标签由构造产生。再比较十种归因方法检测该标签。
- 作者报告 ASQA 上参数来源率 1.2%–15.7%,随族内规模上升;NLI 验证 AUROC 与随机无异;token 级上下文对比检测最好(平均 AUROC 0.788),但低基率下 flagging 不划算;修正标题未替换的伪影后速率约减半。
- 作者列出的局限包括:仅测 0.5B–14B 开源模型、19%–24% 记录无法判定、协议只覆盖含可替换数值的声明、盲标验证仅覆盖 Qwen2.5-14B 的 120 条、检测信号测的是模型知道什么而非用了什么。
- 被测模型
- Qwen2.5-0.5B-InstructQwen2.5-1.5B-InstructQwen2.5-3B-InstructQwen2.5-7B-InstructQwen2.5-14B-InstructLlama-3.1-8B-Instruct
- 基准
- ASQAELI5QAMPARI
- 指标
- parametric provenance rateAUROCCohen's κprecision
论文测量检索增强生成(RAG)中引用的来源真实性,用反事实值替换方法将检索段落中的事实换成虚假变体后重新提问,发现 1.2% 至 15.7% 的可引用主张实际来自参数记忆而非检索内容,范围覆盖一个模型家族的五个规模和另一个对比家族。在最保守的替换距离下,受测的两个模型上这一比率分别为 4.6% 和 8.5%,且同一家族内比率随模型规模上升。作为标准方法的自然语言推理(NLI)校验结果与随机无异,即使限定在被引用段落内也是如此。作者将原因归结为结构性因素,从记忆作答的模型会选择与其输出一致的引用;在相同主张上比较十种归因方法后,模型在有和无上下文时输出分布的差异最能区分来源,但作者指出据此构建的检测器仍不够准确,测量的是模型知道什么而非实际使用了什么,区分两者仍是开放问题。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
研究:RAG 引用常源自参数记忆而非检索
- CASRAI引用了论文编号或链接研究发现 RAG 引用常反映模型参数记忆而非检索来源
Abbas, T., Zia, T., and Windridge, D. (2026). “Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation.” arXiv:2611.17161v1. https://arxiv.org/abs/2611.17161 (Checked 2026-11-15).
深度解读
这篇论文试图解决什么问题?
RAG 引用常错标来源(声明来自参数记忆而非检索),作者称标准验证在结构上测不出。
核心问题:RAG 系统给声明附的引用经常错标来源(provenance)——声明实际来自模型的参数记忆而非检索段落,而标准的引用验证无法发现这一点。
- 场景与重要性:RAG 把生成声明与检索段落的引用一起呈现,读者据引用核查证据。作者指出,若段落只是与声明一致而非产生了声明,读者被引向没有确认力的证据。
- 现有方法的不足:作者称,标准验证问的是"被引段落是否支持声明"(NLI 蕴含),但支持是必要而非充分条件;模型从记忆作答后会选一个与自己输出一致的引用(Wallat et al. 2025 称之为 post-rationalisation),支持度检查因此必然通过。
- 核心观察:测量来源需要不依赖内部状态推断的真值。作者提出反事实值替换(counterfactual value substitution):把答案与段落共有的值换成假值重新提问,报假值说明用了上下文,报原值说明用了记忆,标签由构造产生而非推断。
- 论文产出:一套来源测量协议,覆盖一个模型族的五个规模和第二个对照族;十种归因方法在同一批声明上的对比;一个 token 级检测信号及其端到端可用性评估;以及实体替换协议中一个使测得率约翻倍的测量伪影(artefact)及其修正。
有哪些相关研究?
论文把相关工作分为 RAG 归因评测、引用改进、忠实性区分、上下文归因与参数/上下文知识五线。
RAG 与归因评测
- Lewis et al. (2020) 提出检索增强生成;Rashkin et al. (2023) 把归因形式化为 attributable-to-identified-sources;Bohnet et al. (2022) 的 AutoAIS 用 NLI 做代理;Gao et al. (2023b) 的 ALCE 引用协议已成事实标准。
- Liu et al. (2023) 发现生成式搜索引擎约半数句子被完全支持;Yue et al. (2023)、Min et al. (2023)、Niu et al. (2024) 改进自动评分与 span 级标注。论文指出这些工作测的都是段落对声明的支持程度。
引用质量改进
- RARR(Gao et al., 2023a)修订语句匹配证据;CiteFix(Maheshwari et al., 2025)、Li et al. (2024) 重分配引用;Self-RAG(Asai et al., 2024)等训练模型更受支持。论文指出它们优化的标准在来源问题上不提供信息(第 6.1 节论证)。
正确性 vs 忠实性
- Jacovi and Goldberg (2020) 区分 faithfulness 与 plausibility;Turpin et al. (2023) 给出模型事后合理化的证据;Wallat et al. (2025) 把此问题带到引用场景并命名 post-rationalisation;van Dort and Heuss (2026) 在一个 8B 模型上给出机制解释;Worledge et al. (2024) 提供 corroborative/contributive 术语。作者定位本文贡献为定量与方法论:多模型、标签由构造产生。
上下文归因方法
- ContextCite(Cohen-Wang et al., 2024)、MIRAGE(Qi et al., 2024)、PECoRe(Sarti et al., 2024)、ARC-JSD(Li et al., 2026)、SelfCite(Chuang et al., 2025)、AttriBoT(Liu et al., 2025)均为删除式(deletion-based)归因;论文在第 6.3 节论证删除式边际只能弱分离来源。
参数 vs 上下文知识
- Longpre et al. (2021) 在问答中引入实体替换,是本文协议与第 8 节伪影分析的基础;Mallen et al. (2023)、Xie et al. (2024)、Neeman et al. (2023) 等研究记忆与反证据的仲裁;ConSens(Vankov et al., 2025)与 TrustMargin(Xu et al., 2026)对比有/无上下文的困惑度或似然边际,是本文检测对比中最接近的方法。
基线与基准:支持度基线为 DeBERTa NLI cross-encoder(取所有检索段落上的最大蕴含);检测对比含十种归因方法;数据为 ASQA(主)、ELI5、QAMPARI。
论文如何解决这个问题?
用反事实值替换构造来源标签,再在同一批声明上比较十种归因方法与一个 token 级检测信号。
整体思路:先用反事实值替换(counterfactual value substitution)在行为层面定义并构造来源标签,再用这套标签评测支持度验证与各类归因信号能否在不重新生成的情况下识别来源。
问题设定与定义
- 设 q 为问题,C = (d1, ..., dk) 为检索段落,c 为带对 dj 引用的生成声明,Z ∈ {contextual, parametric} 为 c 的潜在来源。
- 沿用 Wallat et al. (2025):dj 蕴含 c 则引用 correct;c 因果地受 dj 影响则 faithful;post-rationalised 引用 correct 但不 faithful,正是支持度验证测不出的情形。
- Z 不可直接观测,作者用干预操作化:段落的值被改成另一个值后模型仍报原值,则该声明为 parametric。
反事实值替换协议
- 定位同时出现在答案与检索段落中的值 v,在全部段落(含标题)中替换为假值 v',重新生成。报 v' 判 contextual,报 v 判 parametric,两者都报或都不报则丢弃为 undetermined。
- v 出现在问题中的样本被排除(问题不可编辑,来源不可判定)。这两处设计均出自第 8 节的伪影分析。
- 默认替换距离为 18–40 年(日期);near 为 2–5 年,far 为 120–200 年(Table 2)。
实验设置
- 模型:Qwen2.5-Instruct 的 0.5B/1.5B/3B/7B/14B 五个规模与 Llama-3.1-8B-Instruct,bfloat16,greedy 解码。
- 数据:ASQA + GTR top-5 检索为主参考集,每条件 800 问;ELI5(BM25)与 QAMPARI 用 Qwen2.5-7B 验证现象是否限于事实型问题与稠密检索。
- 提示词为 ALCE 默认、两个 demonstration、completion 风格(chat 模板下模型大多忽略引用格式)。
- 统计:率为 Wilson 区间;AUROC 与配对比较用 2000 次 claim 级 bootstrap;标注一致性用 Cohen's κ。
检测信号与评测方式
- 支持度基线:DeBERTa NLI cross-encoder,取每个声明在所有检索段落上的最大蕴含(最强形式,不因引用错误惩罚它)。
- 十种归因方法在同一批声明与标签上比 AUROC,包括 Localised (ours)、JSD no context、ConSens、Sufficiency、LOO max/sum、Necessity、NLI entailment、TrustMargin。
- 作者的信号:在争议 token 处比较有/无上下文时分布的变化(log p 与 entropy 的变化),即上下文到达前的模型分布。
- 端到端可用性:定义 provenance honesty 为来源表述真实的声明比例,flagging 仅在 precision > 1/(1+c) 时划算(c 为漏报与误报的成本比)。
论文做了哪些实验?
ASQA 上参数来源率 1.2%–15.7%,NLI 验证近随机,token 级对比检测最好但 flagging 不划算。
实验设置
- 被测模型:Qwen2.5-0.5B/1.5B/3B/7B/14B 与 Llama-3.1-8B,共六个,均 bfloat16、greedy 解码。
- 数据:ASQA(GTR top-5,每条件 800 问)为主;ELI5(BM25)与 QAMPARI 各 800 答中仅 132 与 174 条含可编辑值,用 Qwen2.5-7B。
- 基线:DeBERTa NLI cross-encoder(取最大蕴含);附录 C 另测 DeBERTa-v3-large、RoBERTa-base、DeBERTa MNLI-F。
- 指标:参数来源率(Wilson 区间)、AUROC(2000 次 bootstrap)、Cohen's κ、precision。
- 人工验证:三名非作者标注者各标 120 条(均取自 Qwen2.5-14B,两类均衡),与自动标签一致率 81.7%/78.0%/76.9%,多数票 82.8%(κ = 0.658)。
- 重复次数:论文明确说明不在不同种子下重复运行,区间反映的是 claim 抽样而非反事实值选择。
主结果
据 Table 1(ASQA,默认替换距离):
表格较宽,可左右滑动
模型 参数来源率 95% CI par./dec. Qwen2.5-0.5B 1.2% [0.6, 2.6] 6/498 Qwen2.5-1.5B 6.5% [4.5, 9.3] 27/417 Qwen2.5-3B 8.3% [6.1, 11.2] 38/456 Qwen2.5-7B 8.2% [6.0, 11.2] 35/426 Qwen2.5-14B 13.3% [10.4, 16.9] 56/420 Llama-3.1-8B 15.7% [12.6, 19.4] 70/446 - 作者称 Qwen 族内速率随规模近单调上升(Kendall's τ = 0.80),证据主要由端点驱动:十对比较中五对区间不重叠。
- 作者称族的影响至少与规模相当:Llama-3.1-8B 高于参数近一倍的 Qwen2.5-14B。
- Table 4:1.5B 以上四个模型中 89%–100% 的 parametric 声明仍带引用,与各模型 contextual 引用率相差仅几个百分点;作者称从记忆作答的模型照样给引用。
支持度验证与归因方法对比
- NLI 验证近随机:Table 5 中 nli_entailment 行六个模型的 bootstrap 区间全部包含 0.5;附录 C 四个蕴含模型 24 次测量均值 0.532。限定到被引段落(Qwen2.5-7B,408 条带引用声明)AUROC 0.532 [0.415, 0.646];parametric 声明的平均蕴含反而更高(0.329 对 0.214)。作者称原因是结构性的:从记忆作答的模型会选择与自己输出一致的引用。
- 十种归因方法分组(Table 5、Figure 2):token 级上下文对比最好(Localised (ours) 平均 0.788,JSD no context 0.789),句级对比次之(ConSens 0.699、句级似然 0.669),段落级删除法再次(LOO max 0.613、Necessity 0.594),支持/偏好类最差(TrustMargin 0.462)。作者称方法按所测的量聚类而非按谱系,分辨率比方法本身更重要。
- 删除式归因弱:leave-one-out 六模型 AUROC 0.541–0.667;ContextCite 原系统在 Qwen2.5-7B 上 0.507 [0.413, 0.605]。作者认为删除回答的是"段落对声明似然贡献多少",与"声明是否源自它"不同。
定位、可用性与伪影
- 定位提升检测(Table 6):在争议 token 处测量使每个模型的 AUROC 上升,其中 Qwen2.5-1.5B/3B/7B 三个模型提升显著;有上下文时计算的信号在六分之五模型上区间包含 0.5,作者称来源信息存在于上下文到达前的分布中。无 oracle 位置时扫描全部数字 span,Qwen2.5-7B 上 AUROC 从 0.760 降到 0.668(p = 0.002)。
- 信号测的是知识而非使用(Section 6.6):Qwen2.5-7B 上,模型无上下文也能给出该值的 220 条声明中 13.2% 为 parametric,不能给出的 205 条中仅 2.9%;限定在模型已知的声明上 AUROC 降至 0.651。
- 端到端 flagging 不划算(Table 7、Figure 3):对称成本下六个模型在任何预算下 honesty 均无增益;precision 峰值 0.45(Qwen2.5-14B),低于 0.5 盈亏线;ELI5 上唯一正增益 +0.022 基于 3 次正确 1 次错误标记,作者视为噪声。
- 测量伪影(Section 8、Table 8):默认替换改了段落正文未改标题,真值仍可从标题读出;修正后测得率约减半(如 Qwen2.5-7B 从 18.7% 到 8.2%,Llama-3.1-8B 从 22.3% 到 15.7%)。
其他消融与分析
- 替换距离(Table 2):near/default/far 下 Qwen2.5-7B 为 4.6%/8.2%/16.3%,Qwen2.5-14B 为 8.5%/13.3%/17.6%。
- 检索深度(附录 E):Qwen2.5-7B 在 1/3/5/10 段下为 9.1%/9.3%/8.2%/7.7%,无影响(p = 0.47)。
- demonstration 数(附录 E):0/2/4 个时率为 5.4%/8.2%/12.6%(p = 0.0003)。
- 冲突标记(Table 3):Qwen2.5-14B 有 140 例(25.7%)报检索值同时声明自己持有的值并质疑来源,7B 以下几乎没有;作者称这是台阶式阈值而非渐变。
- 其他数据集:ELI5 为 4.5%(4/89 判定),QAMPARI 为 2.4%(3/124),正例太少不做显著性推断。
有什么可以进一步探索的点?
作者列出模型规模、未判定样本、覆盖率等七项局限,并称区分"知道"与"使用"是核心开放问题。
作者指出的局限与后续方向
- 模型规模(Limitations):仅评测 0.5B–14B 开源模型;方法需要有/无上下文的 token 级 log 概率,闭源前沿模型不暴露;Qwen 族内趋势提示更大模型受影响更大,但外推未测。
- 未判定样本(Limitations):19%–24% 记录因答案既未断言真值也未断言替换值被丢弃,若这些样本与已判定样本系统性不同,速率有偏,协议内部无法检验。
- 覆盖率(Limitations):协议要求答案与段落共享数值,约覆盖 70% 的 ASQA 答案,但 ELI5、QAMPARI 仅 16.5% 与 21.8%;不含此类值的声明是否表现相同未知。
- 操作化定义(Limitations):来源按对反事实编辑的行为反应定义;模型可能用了段落却抗拒编辑,会被判为 parametric(作者指出标注者分歧方向相反,按标注者读法是低估)。
- 验证范围(Limitations):盲标仅覆盖 Qwen2.5-14B 的 120 条,其余五个模型上标签是否同样可靠未测;多数票 κ = 0.658 为 substantial 而非 strong。
- 检测上限(Limitations):模型已知的声明上 AUROC 降至 0.651;作者称未测试黑盒访问内是否存在区分知识与使用的信号,并视之为本文留下的核心开放问题。
实验覆盖范围
- 被测模型为 Qwen2.5 五个规模与 Llama-3.1-8B 共六个,均为开源指令模型;闭源模型未测(方法需要 log 概率)。
- 检测声明主要基于 ASQA;ELI5 与 QAMPARI 各仅 4 与 3 个 parametric 正例,作者只做描述性报告。
- 归因对比中除 ContextCite 在 Qwen2.5-7B 上原样运行外,其余方法为作者对各方法所计算的量的重实现;读注意力或隐状态的方法(MIRAGE、Wu et al. 2025)只引用未运行。
- 论文未在不同随机种子下重复运行,区间只反映 claim 抽样。
- 论文未报告评审模型与人工标注者之间以外的一致性(如标注者间 74.8%–81.4%,κ 0.486–0.604 已报告)。
总结一下论文的主要内容
反事实值替换测得 RAG 引用来源错误率 1.2%–15.7%,支持度验证结构性失效,检测信号尚不可部署。
一篇关于 RAG 引用来源(provenance)的测量与检测分析:引用不仅可能不支持声明,还可能在声明来自参数记忆时照样指向一致的段落。
- 问题:作者称标准验证只问段落是否支持声明,而 post-rationalised 引用天然通过该检查,来源错误因此不可见。
- 方法:反事实值替换——把答案与段落共有的值在段落(含标题)中换成假值后重新提问,报假值为 contextual、报原值为 parametric,标签由构造产生;在 ASQA 上以 Qwen2.5 五个规模与 Llama-3.1-8B 测量。
- 主要结果:参数来源率 1.2%(0.5B)到 15.7%(Llama-3.1-8B),族内随规模上升、族间相差约两倍(Table 1);89%–100% 的 parametric 声明仍带引用(Table 4);NLI 支持度验证在全部模型上与随机无异(Table 5)。
- 检测:token 级有/无上下文对比平均 AUROC 0.788,优于句级与删除式方法;但信号测的是模型知道什么而非用了什么,已知声明上降至 0.651;对称成本下 flagging 在六个模型上均无 honesty 增益,precision 峰值 0.45 低于 0.5 盈亏线(Table 7)。
- 作者结论:检测质量与可部署性是两回事;区分模型"知道"与"使用"仍是开放问题;实体替换协议若不编辑所有携带该值的表面(如标题),会把测得率高估约两倍。