研究:RAG 引用常源自参数记忆而非检索
先了解这件事
2026 年 11 月 12 日发布的一项研究(arXiv:2611.17161)显示,RAG 系统常把引用挂在并未参与生成相应陈述的检索文献上。COMSATS University Islamabad 与 Middlesex University London 的研究者用反事实值替换法测量因果来源:把检索段落及标题中的数字换成假值,模型输出假值说明依赖检索,复述原值则说明陈述来自参数记忆。在 ASQA 基准上用 GTR 检索评测 Qwen2.5-Instruct(0.5B–14B)与 Llama-3.1-8B-Instruct,1.2%–15.7% 的可引用陈述实际源自参数记忆,Qwen 系列随参数规模从 0.5B 的 1.2% 升至 14B 的 13.3%,Llama-3.1-8B 达 15.7%,且模型对 89%–100% 的参数性陈述仍附上引用。在最保守的替换距离下,受测的两个模型上这一比率分别为 4.6% 和 8.5%。作为标准方法的自然语言推理(NLI)校验结果与随机无异,即使限定在被引用段落内也是如此。作者将原因归结为结构性因素,并指出据此构建的检测器仍不够准确,测量的是模型知道什么而非实际使用了什么。
AI 根据报道生成 · 4 天前更新
走势与进展
每小时关注度
现在 40,24 小时 0%·峰值 45(11月16日 12:00)
后续时间线
- CASRAI精选研究发现 RAG 引用常反映模型参数记忆而非检索来源
一项 2026 年 11 月 12 日发布的研究显示,RAG 系统常把引用挂在并未参与生成相应陈述的检索文献上(arXiv:2611.17161)。COMSATS University Islamabad 与 Middlesex University London 的研究者用反事实值替换法测量因果来源,把检索段落及标题中的数字换成假值,模型输出假值说明依赖检索,复述原值则说明陈述来自参数记忆。在 ASQA 基准上用 GTR 检索评测 Qwen2.5-Instruct(0.5B–14B)与 Llama-3.1-8B-Instruct,1.2%–15.7% 的可引用陈述实际源自参数记忆,Qwen 系列随参数规模从 0.5B 的 1.2% 升至 14B 的 13.3%,Llama-3.1-8B 达 15.7%,且模型对 89%–100% 的参数性陈述仍附上引用。
- arXiv被引用却未被使用:检索增强生成中的参数记忆来源
论文测量检索增强生成(RAG)中引用的来源真实性,用反事实值替换方法将检索段落中的事实换成虚假变体后重新提问,发现 1.2% 至 15.7% 的可引用主张实际来自参数记忆而非检索内容,范围覆盖一个模型家族的五个规模和另一个对比家族。在最保守的替换距离下,受测的两个模型上这一比率分别为 4.6% 和 8.5%,且同一家族内比率随模型规模上升。作为标准方法的自然语言推理(NLI)校验结果与随机无异,即使限定在被引用段落内也是如此。作者将原因归结为结构性因素,从记忆作答的模型会选择与其输出一致的引用;在相同主张上比较十种归因方法后,模型在有和无上下文时输出分布的差异最能区分来源,但作者指出据此构建的检测器仍不够准确,测量的是模型知道什么而非实际使用了什么,区分两者仍是开放问题。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- X@xiaoanlabYour RAG system's citations might be lying to you — up to 15.7% of cited claims were never actually in the retrieved do…(新标签页打开原帖)
7 赞·11月16日 13:40采集
- X@VarunChopr17597Your RAG system might be citing documents it never actually used. A fascinating new November 2026 study found that LLM…(新标签页打开原帖)
1 赞·11月16日 13:40采集
- X@arnaudmercierCité mais inutilisé : provenance paramétrique dans la génération augmentée par récupération : https://t.co/FNZBiWkTXJ…(新标签页打开原帖)
关注度走势
每天新增来源
- 11月15日新增3个来源(0家媒体、3个账号)
- 11月16日新增1个来源(1家媒体、0个账号)
- 11月17日新增0个来源(0家媒体、0个账号)
- 11月18日新增0个来源(0家媒体、0个账号)
- 11月19日新增0个来源(0家媒体、0个账号)
- 11月20日新增0个来源(0家媒体、0个账号)