研究提出医疗答案事实核查失败分类法，指出检索后验证范式的固有局限

开放式医学长答案的检索式事实核验，在没有金标准答案和金标准证据时，失败落在检索还是验证、沿什么维度发生，聚合 F1 无法回答。

• 场景：作者称 LLM 已用于面向患者的问答、报告生成和摘要，需要检出看似合理但不实的内容。主流做法是 decompose-then-verify：把生成文本拆成原子声明，再对照权威语料中的段落核验。
• 现有不足：作者称 FActScore 与 MedScore 只输出端到端分数和纯文本推理。闭式 RAG 诊断需要金标准答案或逐声明标注的金标准证据；开放式声明来自长文生成，声明本身可能是语料中没有事实支持的编造，证据 recall@k 在原则上无法定义。
• 观察：作者称最强检索器配前沿验证器，在临床标注的开放式 MedExpert 上只能找回一小部分被标出的事实错误，相对同一管线在闭式生物医学基准上的结果出现数量级落差。扩大模型、增加推理、医学微调、把语料扩到权威网页，都不能消除这些模式。作者认为这是开放式 retrieve-then-verify 的结构性限制，而不是过时系统的假象。
• 本文提出：一套不依赖金标准答案或金标准证据、可由人在回路 LLM-as-judge 归纳的错误分类。检索按证据质量的多个维度，验证按连续推理步骤。并在 4 种检索、6 个验证器和 3 个知识源上做压力测试。

开放式事实性评测

• FActScore 与 MedScore：Min et al.（2023）与 Huang et al.（2026）把长文拆成原子声明，从 Wikipedia、PubMed 等外部片段取证，再用 LLM 裁决。论文指出二者只给聚合分数和纯文本推理，并称由于证据质量与 LLM 能力，裁决并不是 100% 正确。
• 传统 n-gram 指标：论文称需要昂贵的人工标注。

闭式检索与分阶段诊断

• 闭式事实核验基准：论文点名 FEVER（Thorne et al., 2018）、SciFact（Wadden et al., 2020）、HealthVer（Sarrouti et al., 2021）、CovidFact（Saakyan et al., 2021），并提到 PubHealth（Kotonya and Toni, 2020）。这些基准为声明整理证据并标注金标准裁决；有金标准证据时，检索可按 evidence precision@k、recall@k 评估。
• 分阶段诊断框架：RAGChecker（Ru et al., 2024）、RAGAs（Es et al., 2024）、Leung et al.（2026）、RAG-x（Sivakumar et al., 2026）按阶段衡量 retrieve-then-verify。论文称没有金标准答案或金标准证据时，这些闭式诊断不适用。

仍依赖参考答案的医学 RAG 诊断

• MedRAGChecker（Ji et al., 2026）：把 RAGChecker 迁到医学域，用金标准答案中的声明计算检索证据召回了多少声明。论文称只有存在金标准答案时才能用。
• Kim et al.（2025）：对检索段落做事后相关性标注，但锚定在医生所写答案的 must-have statements。

错误模式归纳

• 自动定性编码：本文改编 Gao et al.（2026）的人在回路模式抽取；Chirkova et al.（2025）把 LLM 用作定性评判。论文把二者当方法来源，没有单独批评。

基线与数据

• 对照与语料：验证器对照是原 MedScore 验证器 Mistral Small 3。检索方法为 MedCPT、RRF-2（BM25+MedCPT）、RRF-4（再加 SPECTER 与 Contriever）、Qwen3-Embedding-8B。知识源为 MEDIC（Xiong et al., 2024 的 MedRAG，去掉 Wikipedia）、Google 通用检索与 Google Scholar。数据为 MedExpert、MedExpert-gold，以及改接到 MEDIC 的 SciFact、SciFact-Open、HealthVer、CovidFact。

作者称本文做的是错误分类，而不是构建更好的事实核验系统；并称这是在完全没有参考答案时，对检索阶段的首次系统性错误分析。

在既有 decompose-then-verify 管线上，把与临床标签不一致的案例归到检索或验证，再用 人在回路的 LLM-as-judge 归纳错误码本。作者称目标是分类，不是做更好的核验系统。

核验设定

• 输入与裁决：长文回答经 MedScore 拆成带上下文的原子声明；检索器用声明作查询，取 top-10 段落。验证器给四分类：Supported、Refuted、No Evidence、Ambiguous。证据相互冲突时应标 Ambiguous。
• 对照标签：临床医生在父句上标 True/False；原子声明默认继承父句标签。Figure 1 把不一致归因于检索或验证。
• 二分类映射：Table 2 比较三种映射。第 5 节起的消融把 Refuted 当作 Has Error，其余当作 No Error。句子级聚合用 any-error：任一声明被判有错，则整句有错。
• 开放与半开放：MedExpert 为开放式。四个闭式数据集把自带小证据库换成 30.3M 段落的 MEDIC，作者称为半开放。

检索、语料与验证器

• 四种检索：MedCPT；RRF-2（BM25+MedCPT）；RRF-4（再加 SPECTER、Contriever）；Qwen3-Embedding-8B。均为 top-10。
• 三种知识源：MEDIC（PubMed、StatPearls、医学教科书，去掉 Wikipedia）；Google 通用检索；Google Scholar。另有二者合并的 Google Search。
• 六个验证器：GPT-5.4、MedGemma 27B、Gemma 3 27B、Qwen3.6-27B、Mistral Small 3（24B-Instruct-2501）、Mistral Small 4（119B-2603）。附录 A.5：开放权重模型 temperature 0.0、top-p 1.0、最长输出 4096、seed 42；主实验的 GPT-5.4 推理量为 low、最长输出 2048。检索与验证为零样本提示，附录 A.4 的 Table 11 给出完整提示词。

码本与自动归纳

• 流程：改编 Gao et al.（2026）。先由与临床医生的交互写出种子码本，再让 Claude Opus 4.7 在新数据上补未覆盖的模式，叶节点归入子码。连续多轮无新模式则视为饱和。全文迭代 6 版。
• 检索五维：Entity Match、Scope、Trustworthy、Evidence Polarity、切块。每维有一个高质量子码和若干低质量子码。五维同时高质量才计为高质量段落。最终子码见 Table 8。
• 验证六步：选证、理解证据、推断、口头置信、标签与推理是否一致、推理是否可追溯到给定证据。六步全对才计为正确推理。最终子码见 Table 9。
• 饱和规模：附录 A.6 写检索码本在 8080 段（202 条声明×4 检索器×10 段）上饱和，验证码本在 1212 条推理（202×6 验证器）上饱和。极稀有且无法归入最终子码的叶节点被人工删去。

人工核对

• 抽检：最终码本打在 MedExpert-gold 上：每检索器 200 段，共 800 对；每验证器 96 条推理，共 576 条。另由人工标 50 对声明–证据、60 条推理。
• 一致率：Section 6 报告人机一致 0.86 与 0.8。附录 A.6 写声明–证据子码 Cohen’s κ=0.86；推理轨迹原始一致率 80.0%，合并 κ 与 Krippendorff’s α 均为 0.57。

实验设置

• 开放式数据：MedExpert 有 540 对问答，专科为 Mental Health 与 Prenatal Care。Table 1 为句子级：Supported 9,950、Refuted 224。金标子集由 5 名持证临床医生复核原标为错误的 225 句，保留 86 句有事实错误，139 句改为无错误。
• 半开放数据：SciFact、SciFact-Open、HealthVer、CovidFact 的原证据库换成 MEDIC。Table 1 为预处理后的声明数。摘要写 3 个闭式数据集，Table 1–2 列出 4 个。
• 系统：4 种检索、6 个验证器、MEDIC 与 Google / Google Scholar。查询为拆开的声明，top-10。Mistral Small 3 是论文所称的原 MedScore 验证器。
• 指标：相对临床 Has Error 的 Precision、Recall、F1。第 5 节起把 Refuted 映射为 Has Error。原子声明默认继承父句标签。
• 错误标注：Claude Opus 4.7。百分比来自金标子集每检索器 200 段、每验证器 96 条推理。
• 运行：开放权重验证器 temperature 0.0、top-p 1.0、seed 42。论文未报告重复实验次数。

主结果

下表为 Table 2 中只把 Refuted 当作 Has Error 的百分比。检索为 Qwen3，语料为 MEDIC，验证器为 GPT-5.4。

Swipe horizontally to read the table

数据集	P	R	F1
MedExpert	5.6	17.0	8.4
MedExpert-gold	56.4	25.6	35.2
CovidFact	94.8	33.7	49.7
HealthVer	40.4	37.5	38.9
SciFact-Open	67.3	78.7	72.5
SciFact	57.3	81.4	67.2

• 作者的三点归因：作者称开放式仍然难，并把差距归为证据是否在库、金标准证据能否被定位、证据与声明是否对齐。作者认为第一点不能靠换检索器、换验证器或简单扩语料解决；第二点会随检索器变强而缩小；第三点需要领域知识、跨段落推理和对证据强度的校准。Table 10 的标题级覆盖为 SciFact 90.12%、SciFact-Open 81.46%、HealthVer 41.72%、CovidFact 14.13%。
• 映射不是单调的：把 No Evidence、Ambiguous 也算错误时，MedExpert 召回升到 45.1、F1 降到 5.7；SciFact 召回升到 97.0、F1 降到 52.0；CovidFact 的 F1 升到 78.2（均据 Table 2）。
• 正文与表不一致：作者写 F1 从 MedExpert 的 0.08 到闭式的 0.7–0.8，另写 MedExpert 降至 0.06。同一 Refuted 映射下，表中是 8.4，以及 SciFact-Open 72.5、SciFact 67.2、CovidFact 49.7。以表为准。

检索、验证器与语料消融

条件除另行注明外，均为金标子集、Refuted 映射为 Has Error。

• 六个验证器：Table 3，检索固定 Qwen3。Mistral Small 3 召回 34.9、F1 42.6，为六者最高；Gemma 3 为 8.1、14.1，最低；MedGemma 16.3、25.2；Qwen3.6-27B 22.1、32.8；Mistral Small 4 19.8、29.6；GPT-5.4 25.6、35.2。作者称医疗基准名次不跟踪这一召回。Figure 2 的召回柱与 Table 3 一致；正文未逐模型列出名次，只说来自 Best AI for Healthcare leaderboard，MedGemma 名次为估计。作者称医学微调提升有限。
• 检索与网页语料：Table 4，验证器 GPT-5.4。Qwen3 召回 25.6、F1 35.2；RRF-2 24.4、34.4；MedCPT 19.8、29.3；RRF-4 18.6、28.8。Table 6：MEDIC 25.6、35.2；Google Scholar 15.1、23.9；Google General 17.4、26.1；合并检索 15.1、23.4。作者称更强检索和实时网页检索都未解决该问题。附录 Table 14 中，同一声明在 MEDIC 上被标 Refuted、在 Google General Search 上被标 Supported；作者称权威来源页面也可含不实内容。
• 检验：附录 A.9。验证器召回 Cochran’s Q=40.20，p=0.0005。Holm 后，Mistral-Small-24B 的召回高于 gemma-3-27b-it 与 medgemma-27b-text-it；Qwen3.6-27B 与 GPT-5.4 高于 gemma-3-27b-it。F1 上，Mistral 相对 gemma 的差为 −28.4 个百分点（Holm p=0.0010），相对 medgemma 为 −17.3（p=0.0048），相对 GPT-5.4 为 −7.4（p=0.1542）。检索器召回 Q=3.32，p=0.3983，无 Holm 成对项。语料召回 Q=8.32，p=0.0360，Holm 成对比较为 None；合并网页相对 MEDIC 的 ∆F1 为 −11.8 个百分点（p=0.0654）。作者写 MEDIC 在召回上显著优于实时网页检索；成对校正后的表没有逐对显著项。

证据质量与推理步骤

• 五维证据质量：Table 8，每检索器 200 段，验证器 GPT-5.4。五维同时高质量：Qwen3 14.5%，RRF-4 11%，RRF-2 6%，MedCPT 2%。作者称 Qwen3 约为 MedCPT 的 7 倍，并称剩余难点是临床范围和直接肯定或否定。Qwen3 的范围精确匹配为 27%、直接极性为 42%、无关段落为 14.0%；MedCPT 为 7.5%、18.5%、35%。不正确切块：MedCPT 3.5%、RRF-2 0%、RRF-4 9%、Qwen3 4.5%。RRF-4 的可靠来源比例为 72%、Precision 为 64.0，但召回为 18.6。
• 六步全对率：Table 9，检索 Qwen3，每验证器 96 条。GPT-5.4 0.90，Mistral Small 4 0.76，Qwen3.6-27B 0.74，MedGemma 0.73，Gemma 3 0.68，Mistral Small 3 0.66。作者称这与端到端排序相反，Mistral Small 3 的最高召回多半是错误推理上的碰巧猜对。
• 主导错误：同表，一步内黄格可并存。Mistral Small 3 的选择性覆盖 20.8%、理解失败 15.6%、过度自信 12.5%。Gemma 3 的推断越界 18.8%、冲突综合失败 11.5%。GPT-5.4 余下错误主要在推断与置信：越界 7.3%、冲突综合 4.2%、过度自信 5.2%。六者的标签不一致均为 0。无依据推理：GPT-5.4 与 Qwen3.6 为 0，Gemma 3 与 Mistral Small 3 为 4.2，MedGemma 与 Mistral Small 4 为 1.0。

其他消融与分析

• 推理量（Table 7，GPT-5.4+Qwen3，金标子集）：Low 召回 25.6、F1 35.2、57,398 tokens；Medium 23.3、33.1、208,669；High 25.6、37.3、466,052。作者称多出来的 token 花在无用的犹豫上，召回没有提高。
• 全量 MedExpert（Table 15，Qwen3，Refuted 映射）：Mistral Small 3 召回 24.6、F1 7.9；GPT-5.4 为 17.0、8.4；Gemma 3 为 5.4、4.6。
• 四分类分布（Table 5，GPT-5.4，金标子集）：Qwen3 的 No Evidence 为 8.0%、Supported 为 78.3%；MedCPT 为 26.0% 与 65.0%。正文写 8.04% 与 80.14%，与表不一致，以表为准。
• 理由对齐（Table 19，86 条 Has Error，最严映射）：38 条系统理由与临床一致，10 条不一致，38 条全部声明为 Supported。作者称系统给出的预测理由中约 80% 与临床理由一致。
• 人机一致（附录 A.6）：声明–证据子码 κ=0.86；推理轨迹原始一致率 80.0%，κ=α=0.57。Evidence Selection 的 κ=0.26，为六类中最低。

作者指出的局限与后续方向

• 数据只有这一对（Limitations）：作者称截至 2026 年 5 月，MedExpert 是唯一公开、带临床 True/False 及临床理由的开放式医学事实性数据集；MedRAG 是唯一公开、含大量权威医学段落的语料，发表于 2024 年。分类和分析主要建在这一数据和语料上。
• 没有时间元数据（Limitations）：MedRAG 不提供段落元数据，无法评估发表日期。作者称 Temporal 可以成为检索分类的一维，但因数据限制未放入 Table 8；若以后有资源，可补时间信息。
• 算不了公式型检索指标（Limitations）：开放式下没有金标准段落，无法算 precision@k、recall@k，也没有金标准答案来算 RAGChecker 的生成指标。作者称若以后有资源，可再看这些公式指标是否与定性发现一致。
• 百分比只打在金标子集（Limitations）：自动模式标注因 API 预算只做在 MedExpert-gold 上；作者称多标数据后，百分比可以更完整。
• 子集的 P/F1 不能外推（附录 A.2）：作者承认金标子集的 Precision/F1 不能外推到全量；Recall 可以，因为全部 Has Error 句子都保留了。
• 推理标注的标注者差异（附录 A.6）：推理轨迹上逐标注者 κ 为 0.24 到 0.89，宽于声明–证据任务。作者将其记为局限，并归因于推理轨迹需要更多解释性判断。

实验覆盖范围

• 系统与数据：6 个验证器、4 种检索方法；语料为 MEDIC、Google General Search、Google Scholar 及二者合并。数据为 MedExpert、MedExpert-gold，以及改接到 MEDIC 的 SciFact、SciFact-Open、HealthVer、CovidFact（Section 3，Table 1–6）。
• 临床子集：MedExpert 为 540 对，专科为 Mental Health 与 Prenatal Care。金标由 5 名临床医生从 225 句原错误句复核为 86 句有错、139 句无错（附录 A.2，Table 1）。
• 分类标注规模：百分比来自金标子集每检索器 200 段、每验证器 96 条推理，评判模型为 Claude Opus 4.7（Section 6，Table 8–9）。码本饱和用了 8080 段与 1212 条推理（附录 A.6）。
• 运行设置：检索 top-10；开放权重验证器 temperature 0.0、top-p 1.0、seed 42（附录 A.5）。论文未报告重复实验次数。
• 已报告的一致性与检验：声明–证据与推理轨迹的人机一致见附录 A.6；召回与 F1 的区间和配对检验见附录 A.9。作者在 Limitations 说明开放式下没有金标准段落，因此未计算 precision@k、recall@k。

这篇工作诊断开放式医学事实核验的 retrieve-then-verify 管线断在哪里，而不是提出新的核验器。

• 问题：长文回答被拆成原子声明后，对照权威语料检索证据再由 LLM 裁决。端到端 F1 看不出断点。开放式没有金标准答案和金标准证据，闭式分阶段诊断用不上。
• 做法：在 MedExpert 上检索 top-10，给 Supported / Refuted / No Evidence / Ambiguous，再对照临床句子级 True/False。Claude Opus 4.7 做人在回路归纳。检索看实体、范围、可信来源、证据极性、切块；验证看选证、理解、推断、置信、标签一致和依据可追溯。五维全高才算高质量段落，六步全对才算推理正确。
• 跨数据集：Qwen3+GPT-5.4+MEDIC、只把 Refuted 当错误时，MedExpert 的 P/R/F1 为 5.6/17.0/8.4，金标子集为 56.4/25.6/35.2，SciFact-Open 为 67.3/78.7/72.5（Table 2）。把另外两个非支持标签也算错误，MedExpert 召回升到 45.1，F1 降到 5.7。
• 消融：金标子集上召回最高是 Mistral Small 3 的 34.9，最低是 Gemma 3 的 8.1（Table 3）。GPT-5.4 六步全对率 0.90，召回仍为 25.6（Table 9）。MEDIC 召回 25.6；Google Scholar 与合并网页为 15.1，Google General 为 17.4（Table 6）。推理 token 从 57,398 增到 466,052，召回仍为 25.6（Table 7）。五维全高质量段落最高为 Qwen3 的 14.5%（Table 8）。
• 作者的结论：作者认为难点是证据是否在库、能否被定位，以及证据与声明是否对齐；扩模型、加推理、医学微调和扩语料都不会自动解决。作者建议做任务导向的多维证据评估和验证器中间步骤评估，而不是只比聚合 P/R/F1。