Faithfulness vs. Safety: Evaluating LLM Behavior under Counterfactual Medical Evidence

当上下文里的医学证据与模型先验或安全约束冲突时，模型会跟证据走，还是停在安全边界。

• 场景：作者称普通人越来越多把大模型当作健康问题的第一来源，疗效问题常要综合多篇随机对照试验；这类失败可能带来现实后果。
• 张力：作者认为忠实遵循给定上下文通常可取，但若证据把正向结果安在有害干预上，临床人员会质疑。作者并不规定所有反事实都应如何回答，只是认为目前模型侧看不到这条边界。
• 不足：医学证据综合的已有工作多在证据有效时评测表现；通用领域的上下文与参数知识冲突研究则报告参数知识常被压过。作者称此前没有工作考察反事实或对抗性医学证据下的行为。
• 做法：在 MedEvidence 上构造 MEDCOUNTERFACT，把问题与 RCT 证据中的真实干预换成四类反事实刺激，评测模型是否照单接受并给出不带保留的回答。

医学领域安全

• 注入与编造上下文：Yang et al. (2025) 研究提示与内容注入对医学 LLM 的影响，本文转述其会改变模型行为。Omar et al. (2025) 报告模型常顺着人类编造的上下文细节展开；Chen et al. (2025b) 报告模型明知请求不合逻辑仍会遵从。
• 投毒与越狱：Alber et al. (2025) 报告少至 0.001% 的投毒训练 token 即可导致有害错误。CARES（Chen et al., 2025c）考察角色扮演或改写式越狱，本文转述安全机制仍易被绕过。
• 知识与实践：Gong et al. (2025) 用 knowledge-practice gap 描述考试式医学知识表现高、临床推理与安全评估不足。Wadhwa et al. (2023) 指出疗效类用户查询常见。

上下文与参数知识冲突

• 上下文优先：Chen et al. (2022)、Xie et al. (2023)、Cheng et al. (2024)、Sun et al. (2025)、Tao et al. (2024) 在通用领域报告：有上下文时参数知识常被压过，模型优先采用上下文。
• 错误信息：Pan et al. (2023)、Xu et al. (2024b) 讨论含错误信息的上下文带来的风险。Peng et al. (2025) 指向客观、正式的科学文献风格；Xie et al. (2023) 指向连贯、有说服力的证据。
• 相关基准：CONFLICTBANK（Su et al., 2024）与 WhoQA（Pham et al., 2024）评测与参数知识冲突的上下文，包括错误信息与模糊事实。作者称这些工作主要是 factoid QA，不同于带证据落地的复杂医学推理。

证据综合与接地

• RAG 与归因：Shuster et al. (2021) 用检索增强减轻对话幻觉；Nakano et al. (2021)、Thoppilan et al. (2022) 做带来源的问答。
• 有效证据：Yun et al. (2023)、DeYoung et al. (2024)、Polzak et al. (2025) 关注多文档综合或系统综述结论是否一致。作者称这些工作看的是有效证据下的表现。
• 使用调查：Mendel et al. (2025) 调查普通人把大模型和搜索引擎用于健康查询。

基线与数据

• 数据：MedEvidence（Polzak et al., 2025），即临床比较题加上 Cochrane 系统综述引用的 RCT。行为对照是同一题的原始干预相对四类反事实，以及 No-Evd、Evd、Skept+Evd、Expert+Evd。
• 缓解对照：Section 7 按 Xu et al. (2024b) 试了 Discriminating Misinformation 与 Disentangling Sources，分别对应 Xu et al. (2024a)、Perez et al. (2023) 与 Wang et al. (2024)、Neeman et al. (2023)。

作者把本文放在忠实与高风险安全的交叉处，看不同风险的知识冲突下模型如何在参数知识、安全约束和上下文遵从之间取舍，并称此前没有专门考察反事实或对抗性医学证据的工作。

在 MedEvidence 上构造 MEDCOUNTERFACT：把真实干预换成四类反事实，再看模型是否仍按原证据标签作答、是否标不确定、推理里是否认出不合理。

任务设定

• 来源：MedEvidence 有 284 道临床比较题，来自 100 篇可在 PubMed 获取的系统综述，共引用 329 篇 RCT，均为英文 Cochrane 专家综述。
• 记录：每条为 (Q, E, A)。Q 由综述结论改成干预 T 与对照的比较；E 是专家认为足以回答 Q 的 RCT 摘要或全文。正文写平均每题 2.18 篇，Figure 9 标注均值 2.176；86% 的题有 1–3 篇，其余 4–12 篇。
• 标签：专家标签为 Higher、Lower、No Difference。排除 Uncertain Effect 与 Insufficient Data 后剩 203 题：Higher 26.1%，No Difference 46.3%，Lower 27.6%。测试时允许模型另选 Uncertain。

四类反事实

• 替换：在 Q 和 E 中把 T 的每次出现换成 T′，其余内容不变。每道原题从四类各抽一个 T′。Figure 2 给出四类示意。
• NONCE：无意义自造词，用作模型对 T′ 没有参数知识的对照。用 Merriam-Webster 排除标准英语词，并确认没有含同一字符串的医学相关 Wikipedia 条目。
• MEDICAL：真实、但针对别的病情的治疗。对照 Wikipedia 核对；团队中的 MD 判断 T′ 与 T 的治疗范围是否重叠，使替换通常造成不匹配。
• NON-MEDICAL 与 TOXIC：前者是无医学用途的日常物体，经人工核对；后者是 Wikipedia 上写明为非法、高度危险或有毒的物质。对有文献记载过量可危及生命的物质，在名称后拼接毒性剂量标注。

生成与规模

• 生成：GPT-5-mini 为每类产生替换名词表（附录 A，每类至少 50 个，无效则去掉再采样），并按附录 Prompt A.5 生成反事实题与证据。
• 校验：每类抽查 50 条，确认 RCT 中的干预被替换，而不只是表面字符串匹配。TOXIC 全量检查中，3 条因模型拒绝生成 E′ 被排除（附录 B）。
• 规模：809 条 (Q′, E′)，TOXIC 200 条，其余三类各 203 条。专科分布见附录 Figure 10；纯文本中百分比与专科名无法可靠对齐，此处不列占比。

提示、回答与判定

• 四种提示（附录 Table 3）：No-Evd 只给问题；Evd 在题后给证据；Skept+Evd 要求采取怀疑立场，证据弱、矛盾或不合理时倾向 Uncertain；Expert+Evd 把角色设为有经验的临床医生兼 Cochrane 综述作者。
• 两种格式：多选沿用 Polzak et al. (2025)，输出 rationale、带引用的完整答案，以及 Higher、Lower、No Difference、Uncertain 之一，定义写在提示中。自由文本不约束措辞，再由 Claude Sonnet 4.5 映射到这四个标签；70 条人工核对准确率 92.86%（附录 F.1）。两种格式都引出 CoT。
• 主指标：Uncertain rate 是选出 Uncertain 的比例。EA rate 是回答与 MedEvidence 原标签一致的比例。作者写明：EA rate 更高不一定更好，因为对上原标签意味着把 T′ 当成有效干预来综合证据。
• 意识三分：推理轨迹分为 Explicit Yes（明确认出 T′ 及其不合理性）、Implicit Yes（感到问题但把 T′ 合理化或重新解释）、No（没有认出反事实或对抗性）。Table 1 各给一例，此处不复述回答原文。Claude Sonnet 4.5 标注全部轨迹，70 条人工核对准确率 90.00%（附录 F.1）。

实验设置

• 模型：主评测为 Gemini-2.5-flash、GPT-5-mini、Llama-3.1-8B-Instruct、Llama-3.1-405B-Instruct、Llama-4-Maverick-17B-128E-Instruct、OLMo-3-7B-Instruct、OLMo-3-7B-Think、Qwen2.5-7B-Instruct、HuatuoGPT-o1-7B。另试 Asclepius-Llama2-7B 与 OpenbioLLM-8B；作者称只有 HuatuoGPT-o1-7B 上下文够大且稳定遵循指令，后两者未进入主结果。
• 数据：过滤后 203 道原题，及其四类反事实共 809 条。每个原题与对应反事实都评。
• 解码与长度：除 GPT-5-mini 不能设温度外，温度均为 0，其余参数用默认值。超窗口时用 LangChain 的 RefineDocumentsChain：30K 窗口 37 例、14K 窗口 156 例触发（附录 G）。论文未报告重复次数。
• 评审：自由文本标签与意识分类用 Claude Sonnet 4.5；两项人工核对各 70 条，准确率 92.86% 与 90.00%。附录 K 另抽 1,600 条做拒绝检测，裁判未标出拒绝，并人工看了 100 条。作者称手工与自动检查都没有安全触发的拒绝，所有模型对所有题目变体都作了答。
• 指标：Uncertain rate、EA rate；生成前的标签条件概率（多 token 标签对 token log probability 求和再归一化）；Explicit Yes、Implicit Yes、No 的比例。

主结果

九个模型的逐格 EA rate 与 Uncertain rate，正文没有点估计；Figure 3 是跨全部模型的箱线图。下表只列正文写明的对比，不补箱线读数。

Swipe horizontally to read the table

条件	作者报告的模式	可核对数字	出处
No-Evd，T 换成 T′	不确定更高、EA 更低	未报告点估计	Section 4
Evd	相对原干预，答案未根本改变	未报告点估计	Section 4，Figure 3
Expert+Evd	作者称相对 Evd 无差别	未报告点估计	Section 4
Skept+Evd，多选	不确定上升、EA 下降，对 NON-MEDICAL 与 TOXIC 仍不够	平均 Δ Uncertain 增幅均低于 0.13	Figure 4

• 图注与正文：Figure 3 图注称，引入证据会降低 Uncertain rate、提高 EA rate，即便证据违反安全约束或常识。作者称无证据时模型有时能判断 T′ 不合理；一旦有 E′，行为与原始干预大体相近。
• 规模与训练：作者称无论规模或训练范式，模型对反事实都不敏感。前沿闭源模型与较小开源模型的反应大体相同；推理模型与 MoE 也没有更高敏感。正文把 Llama-3.1-8B-Instruct 一处写成 Llama-3.1-7B-Instruct，Table 2 与 Figure 7 为 8B。HuatuoGPT-o1-7B 的医学文本微调没有提高敏感度；作者称这与 Kim et al. (2025) 一致。
• 自由文本：No-Evd 下，自由文本的 Uncertain rate 低于多选。附录 O 中一部分 TOXIC 案例会给出具体答案和听起来合理的解释，而不是明确说不确定。作者认为真实交互多为自由文本，因此会把无依据的医学建议直接给用户。

推理中的不合理意识

• 测了什么：Claude Sonnet 4.5 给全部多选推理轨迹标三类意识（Figure 6、7），人工核对 70 条、准确率 90.00%。
• 结果：Explicit Yes 少见，只在无证据的 MEDICAL、NON-MEDICAL、TOXIC 中有一小部分，多数低于 0.20，一旦给出 E 或 E′ 就大体不再出现。NON-MEDICAL 在无证据时 Implicit Yes 常高于 0.80，加证据后下降。其余反事实以 No 为主。有证据的 TOXIC 条件下，至多 80% 的输出没有意识或迟疑。
• 作者解读：作者称有证据后，模型要么不认识不合理性，要么把 T′ 重新解释成与参数知识大致相符的干预。对 TOXIC，作者认为这带来安全方面的担心。Figure 7 中，模型对 NON-MEDICAL 的意识强于其他类；规模没有一致规律。OLMo-3-7B-Think 只在 NONCE 与 TOXIC 上比 OLMo-3-7B-Instruct 略高。附录 R 的个案里，作者认为推理训练改善证据推理，但增加对上下文的依赖，医学微调可能进一步削弱日常参数知识。

标签概率与 toaster 表示

• 测了什么：Figure 5 是 OLMo-3-7B-Instruct 在生成前的标签概率；附录 P 为其他模型。附录 M 在能取出 token 概率的子集上统计所选标签的平均概率，子集为 Gemini-2.5-Flash、HuatuoGPT-o1-7B、Qwen-2.5-7B、OLMo-3-7B-Instruct。
• 结果：图注称无证据时各类答案概率分布宽、类内方差大；有证据后分布收窄，且不同扰动的位移相似。作者称证据把概率集中到单一标签，并在任何 token 生成前就把 Uncertain 压得很低。附录 M：即便 Skept+Evd，所选答案的中位平均概率超过 0.9，各替换类型几乎不可区分。正文称 OLMo-3-7B-Think 的 Uncertain 有一定上升，但最高概率仍在 Higher；Figure 26 图注则称有证据后分布变宽、Uncertain 变得更可能。
• toaster：Section 6 在 Qwen-2.5-7B-Instruct、Evd 加多选下跟踪 T′ 为 toaster。线性探针用无上下文的最后一层最后 token 区分 NON-MEDICAL 与干预；100 条平衡样本上五折准确率 0.952±0.031，ROC-AUC 为 1.00（附录 C）。作者称 Figure 8 中，反事实证据 E′ 而非随机同领域上下文 CR，使 toaster 在大约六次提及后稳定落在干预区域；原干预 T 的余弦相似度到第二个 token 即稳定，toaster 约在六个 token 后稳定。作者称参数知识被短暂激活后不再保持。

两种缓解

• 测了什么：Section 7 在 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上试两种上下文级做法。detect 用 Gemini-2.5-flash 标出不合理或危险证据，再与证据一起输入；prior 先只凭参数知识作答，再把该答案与证据一起给模型。结果在附录 U Figure 28，正文未给逐格读数。
• 结果：作者称两种做法都提高了推理中对不合理证据的意识，并小幅提高不确定。
• 作者解读：作者认为这没有从根本上解决问题；即便提示点出异常或违反常识，模型仍倾向接受所给证据并沿其逻辑作答。作者认为只做上下文级干预不够，知识冲突可能需要训练或对齐层面的安全边界。

其他消融与分析

• 附录 G：Refine 链上的 156 条（Llama-3.1-8B-Instruct 与 Llama-3.1-405B-Instruct）各类 EA rate 为 0.40–0.60，Uncertain rate 为 0.20–0.40；多选 Implicit Yes 为 0.10–0.30，No 为 0.70–0.90，无 Explicit Yes。
• 附录 H：在 Qwen-2.5-7B-Instruct、OLMo-3-7B-Instruct、GPT-5-mini 上，多选有无 CoT 被作者称为无有意义差别；自由文本、No-Evd 的 Uncertain rate 约差 0.10 到 0.20，未写明哪一侧更高。去掉 CoT 后 No 更多。
• 附录 I：全文与仅摘要得到相同发现；给全文时 EA rate 约降 0.1–0.2。809 条中 44×4 例含全文。
• 附录 L：作者称较大的 EA rate 下降只出现在 No-Evd；其余提示变体下 EA rate 大体不变。
• 附录 N：Skept+Evd 的 Uncertain rate 仍聚在 0.4 以下；换成 MEDICAL、NON-MEDICAL 或 TOXIC 只带来有限上升。NON-MEDICAL 几乎不额外提高不确定。
• 附录 D Table 4（Qwen-2.5-7B-Instruct）：原证据与反事实证据最终表示的余弦相似度，NONCE 为 0.95±0.15，MEDICAL 为 0.95±0.14，NON-MEDICAL 为 0.95±0.14，TOXIC 为 0.94±0.16。作者称 Figure 11 中两组投影大体重叠，最终表示对真实与反事实证据不敏感。

作者指出的局限与后续方向

• 语言：因使用 MedEvidence，发现限于英文科学医学文献，不包括多语言文献或低资源语言（Limitations）。
• 题型：数据依赖可由配套 RCT 回答的临床比较题，作者称这可能不能代表不同用户医学查询的风格（Limitations）。
• 裁判：尽管对照人工标注做过验证（Limitations 写 90% accuracy；附录 F.1 为 90.00%），依赖 Claude Sonnet 4.5 分类有把裁判自身在检测安全失败上的局限传下去的风险。作者提出后续可用更大规模人工评估，以捕捉更细的推理模式（Limitations）。
• 缓解：作者认为仅靠上下文级干预不够，处理知识冲突可能需要训练或对齐层面来施加安全边界（Section 7）。
• 回退边界：作者认为，识别参数知识与上下文证据之间稳定的回退边界，是高风险领域后续要做的事（Conclusion）。

实验覆盖范围

• 主评测是 Section 3 列出的 9 个 LLM，四种提示，多选与自由文本；Asclepius-Llama2-7B 与 OpenbioLLM-8B 被尝试后未进入主结果。
• 数据是过滤后的 203 道英文临床比较题，以及四类反事实共 809 条；其中 44×4 例含全文，作者在附录 I 比较了全文与摘要。
• 缓解实验只在 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上比较 detect 与 prior（Section 7，附录 U）。
• 表示分析是 Qwen-2.5-7B-Instruct 上 T′ 为 toaster 的个案；探针训练用 50 个 NON-MEDICAL 词和 50 个干预词（Section 6，附录 C）。附录 D 另报最终层余弦相似度与 PCA。
• 论文未报告 Figure 3 的逐模型点估计，也未报告重复次数或显著性检验。自由文本抽取与意识分类的人工核对各 70 条；拒绝检测抽了 1,600 条，另人工看 100 条（附录 K）。

MEDCOUNTERFACT 用来观察医学证据问答里，模型在跟上下文和守安全之间实际站在哪一边。

• 问题：临床比较题要求根据 RCT 判断某干预相对对照是更高、更低还是无差异。作者问的是：若证据被换成无意义词、错适应症治疗、日常物体或毒物，模型还会不会照做。作者并不规定所有反事实的标准答案。
• 做法：从 MedEvidence 滤出 203 题，每题生成四类反事实，共 809 条。九个 LLM 在四种提示、多选与自由文本下作答。EA rate 看是否仍打出原标签，Uncertain rate 看是否承认不确定，另有三类不合理意识。
• 作答：作者称一旦给出证据，答案相对原始干预并未根本改变；怀疑提示能提高不确定，但对 NON-MEDICAL 与 TOXIC 仍不够。Figure 4 里，Skept+Evd、多选下，各类反事实的平均 Δ Uncertain rate 增幅都低于 0.13。作者称没有安全触发的拒绝。
• 意识与置信：无证据时 Explicit Yes 多数低于 0.20，有证据后作者称大体不再出现。有证据的 TOXIC 条件下，至多 80% 的输出没有不合理意识。附录 M 中，Skept+Evd 下所选答案概率的中位数超过 0.9。
• 表示与缓解：作者称 toaster 在反事实证据中大约六次提及后就被表示成真实干预，随机上下文不会造成同样位移。检测器标记或先给参数知识答案，只能小幅提高不确定；作者认为不能从根本解决。
• 作者结论：模型很少拒绝，短暂的安全信号会被盖过，并给出自信、不附保留条件的回答。作者认为需要在参数知识与上下文之间找出稳定的回退边界。