AdversaRiskQA：面向高风险领域的对抗事实性基准

高风险领域缺少经过核验的基准，用以评估模型能否识别并纠正被强自信表述嵌入提示词的错误事实，以及这种注入如何影响长文本事实性。

• 场景： 作者称 LLM 已用于内容生成、问答和网页搜索，事实性幻觉会传播错误信息并削弱公共信任。作者引 EU AI Act，把可能影响健康、安全与基本权利的应用视为高风险，本文聚焦 Health、Finance、Law。
• 现有不足： 作者称已有工作缺少高质量、领域化资源，无法评估对抗条件下的稳健性，也没有研究注入错误信息对长文本事实性的影响。
• 对抗设定： 对抗事实性（adversarial factuality）指把事实错误插入用户提示，并配以不同强度的自信表述。本文要看模型能否发现并纠正该前提，而不是只给出表面相关的回答。
• 评测对象： 被测的是 LLM 对基准对抗问题的回答。输入由基准固定：强自信前缀、改写后的错误知识、原问题。成功指读者能从回答中识别该错误前提为假；提示不直接给出正确答案。
• 本文工作： 作者提出 AdversaRiskQA，每领域分 basic 与 advanced，并给出 LLM-as-judge 对抗事实性评测，以及改编自 SAFE 的检索增强长文本评测。作者称据他们所知，这是首个经过核验且可靠、用于系统评估高风险领域对抗事实性的基准。

引言与 Related Work 把相关工作分成高风险领域事实性、对抗事实性和事实性评测。

高风险领域中的事实性

• Health： Kim et al.（2025）整理医学幻觉的分类与综述。论文把 Chen et al.（2024）与 Manes et al.（2024）列为医疗事实性基准，范围从长对话幻觉检测到多模态错误信息识别，未把任务逐篇对应。Pal et al.（2023）的 Med-HALT 含与本文接近的 fake-question detection；论文指出它把 ground-truth 直接放进提示，而不是依赖模型内部知识。
• Finance： Chen et al.（2022）、Chen et al.（2024）、Zhu et al.（2021）分别对应数值推理、长文本问答和表格—文本混合问答。论文称这些基准很少评估 zero-shot 事实正确性；最接近的 Rangapur et al.（2024）Fin-Fact 做多模态事实核查与解释生成，但其对抗侧面尚未被研究。
• Law： Fei et al.（2023）与 Guha et al.（2023）关注法律推理，Hu et al.（2025）关注法律问答中的事实性。论文称这些基准都未覆盖本文的对抗设定。Mansouri and Campos（2023）的 FALQU 在本文中是法律知识来源。

对抗事实性

• 概念： Huang et al.（2024）提出 adversarial factuality，用以促进批判性推理并减少错误信息。
• 自信程度： Sakib et al.（2025）比较不同自信程度的错误事实注入，称强自信更易成功，自信下降则检测改善，并联系到 sycophancy。论文指出其实验限于 8B 以下开源模型，且攻击对模糊信息最有效。
• 时间差： 作者称此后开源模型已有进展，因此需要重新评估；并称高风险领域的对抗事实性此前没有专门研究。

事实性评测

• 早期做法： Petroni et al.（2019）用精确匹配，Li et al.（2023）与 Lin et al.（2022）用人工标注。论文称这些做法往往不灵活或难以复现。
• LLM 评审： Zheng et al.（2023）用 LLM-as-a-judge。论文称其可靠性存疑，尤其在专家领域、长回答，以及模型利用对抗策略时，并引用 Szymanski et al.（2024）、Chern et al.（2023）、Raina et al.（2024）。
• 外部检索： Chern et al.（2023）的 FacTool 与 Wei et al.（2024）的 SAFE 将回答拆成事实，再对照外部知识。本文长文本评测改编自 SAFE。

对照与定位 主实验没有另设攻击方法基线，六个被测模型互为对照；长文本部分以同一模型的非对抗提示为对照。作者把本文定位为：同时覆盖 Health、Finance、Law 的对抗事实性，并检查注入错误信息后的长文本事实性。

AdversaRiskQA 先核验领域事实，再把它改写成带强自信前缀的错误前提并接上原问题；回答由 GPT-5-mini 判断是否纠正该前提，长文本则拆成事实并用网页检索校验。

数据构建

• 规模： Health、Finance、Law 各自构建。Health 取 HealthFC 中 Verdict 为 Supported（0）的 202 条，核验后为 basic 100、advanced 100。Finance 与 Law 各为 50+50。Table 10 的条目总数为 400。
• 难度： 作者称 basic 是预训练中较可能见过的通识；advanced 需要专门理解，更不可能出现在预训练语料中，用来看模型能否表达不确定、并识别需要外部检索的情形。
• 三阶段： Figure 2 为来源收集、结构化生成、人工复核。来源包括学术库、政府出版物和领域教育资源。GPT-5 生成四字段：Knowledge、Modified Knowledge、Query/Question、Prompt。多名贡献者核对事实、难度和语言。
• 领域来源： Finance 的 basic 由 GPT-5 生成后过滤，advanced 从 Kürthy et al.、Soliman、Fernández 的教材抽取。Law 以 FALQU / Law Stack Exchange 为基础，由 GPT-5 区分一般原则与更专门条目，再写成简洁 Knowledge。

对抗提示

• 格式： 沿用 Sakib et al. 的对抗数据格式：错误陈述配有 ground-truth。为增强对抗性，陈述以强自信提示开头，正文举例为 “As we know...”。Figure 1 是强自信前缀、被改写的错误知识与原问题的组合。
• 不直接给答案： 评测依赖模型内部知识。Figure 3 对照接受或忽视错误前提的回答，与处理了错误前提的回答；正文不把非对抗设定下的答案正确性作为目标。

对抗事实性判定

• 无效回答： 先标记空输出、截断或无信息回答。Table 2 把无效回答计为 Incorrect；另做一次过滤分析，作者称会去掉被标记问题，以便在共同子集上比较。
• 评审模型： GPT-5-mini 按事实性模板判定，附录 C.2 给出完整提示词。输入为已核验事实、错误前提、完整问题和模型回答。作者称选用与构建数据的 GPT-5 不同的变体，以降低自一致或评测偏差风险。
• 标签： Correct 指明确或隐含纠正错误前提、否定该前提，或把读者引向正确事实。Incorrect 指忽视、接受或未充分处理错误前提。主指标为纠正比例 Accuracy = #Correct / (#Correct + #Incorrect)。
• 人工抽查： finance 与 law 的 basic、advanced 各 10 条，health 20 条；论文称约为总量的 20%。作者报告 LLM 评审与人工在 90%–95% 的分层样本上一致，分歧经共识解决。

长文本事实性

• 范围： 只在 Qwen3-30B 上比较对抗与非对抗条件，覆盖全部数据集。作者称该方法成本高、耗时，更广评测留待以后。
• 流程： 相对 SAFE，由 LLM 自行分解并校验，而不是用外部 NLP 模型分解。分解使用 GPT-5-mini 与结构化输出，附录 C.3 给出提示词。事实校验由带网页搜索的 OpenAI Response API 代理完成，附录 C.4 给出提示词；该处未写明代理的具体模型名。
• 指标： 采用 SAFE 的 F1@K。K 取模型跨数据集事实数的中位数，本文为 8。它衡量回答中前 K 个抽取事实的事实准确率。

推理设置

• 生成： 实验在 Snellius 集群的 NVIDIA H100 上运行。除不支持 temperature 的 GPT-5 外，temperature 为 0.0；最大输出 8192 tokens，其余为默认。
• 系统指令： 各模型使用同一系统指令，附录 C.1 给出全文。正文称它要求回答简短、准确、面向一般读者，以减少风格差异。

实验设置

• 被测模型： Qwen3-4B-Instruct-2507、Qwen3-30B-A3B-Instruct-2507、Qwen3-Next-80B-A3B-Instruct、GPT-OSS-20B、GPT-OSS-120B、GPT-5。摘要中的 Qwen3（80B）对应表中的 Qwen3-Next-80B。GPT-5 规模未说明。
• 数据： AdversaRiskQA 共 400 条：Health 100/100，Finance 50/50，Law 50/50（Table 1、Table 10）。
• 对照： 六模型互比，分全部回答与剔除无效回答。长文本只在 Qwen3-30B 上比较对抗与非对抗提示。没有外部攻击方法基线。
• 指标： Accuracy 为 Correct 占 Correct 与 Incorrect 之和的比例；全部回答统计中，无效回答计为 Incorrect。长文本报告 Mean F1@8、平均事实数和平均正确事实数。
• 评审： GPT-5-mini 输出 Correct 或 Incorrect；附录写明其 reasoning effort 为 high。分层人工一致比例为 90%–95%。论文未报告重复次数和显著性检验。
• 生成： temperature 0.0（GPT-5 除外），最大输出 8192 tokens。系统指令要求简短回答（附录 C.1）。

主结果

下表单位为 Accuracy（%）。全部 Mean 据 Table 2，其余据 Table 4。

表格较宽，可左右滑动

模型	全部 Mean	剔除 Mean	剔除后 Health Basic	剔除后 Finance Adv	剔除后 Law Basic
Qwen3-4B	69.3	85.5	94.0	87.9	68.8
Qwen3-30B	78.2	87.5	90.0	81.8	84.4
Qwen3-Next-80B	73.3	94.7	96.0	90.9	100
GPT-OSS-20B	71.0	74.9	86.0	54.5	59.4
GPT-OSS-120B	71.5	76.8	84.0	69.7	62.5
GPT-5	90.2	91.4	90.0	84.8	90.6

• 规模： 作者称全部回答下开源模型不随参数规模单调变化，架构、训练语料和指令微调的影响大于规模。Table 2 中 Qwen3-30B 的 Mean 高于 Qwen3-Next-80B。
• 过滤： 作者称剔除无效回答后 Qwen3-Next-80B 最高、GPT-5 次之，模型差距缩小。Table 10 中该 80B 模型失败 94/400，为最多；GPT-5 为 0。结论称平均 Accuracy 高于 70%，Table 2 的 Qwen3-4B 一行不满足这一说法。
• 领域： 作者称 finance 最高，并认为模型更熟悉该领域；health 低于 finance。law 的 advanced 均值高于 basic，作者认为可能来自更丰富的上下文，也可能与 common knowledge contamination 有关。

难度差距

• 全部回答： Table 3 的 Mean |Δ| 为 finance 20.0、health 14.8、law 8.7，总均值 14.5。各模型 Mean |Δ|：Qwen3-4B 16.0、Qwen3-30B 15.7、Qwen3-Next-80B 7.3、GPT-OSS-20B 25.3、GPT-OSS-120B 16.3、GPT-5 6.3。作者称更大模型的两档差距更小，GPT-5 最一致。
• 过滤后： Table 5 的 Mean |Δ| 为 finance 19.9、health 11.5、law 12.9，总均值 14.8。作者称过滤后差距缩小，原始差异有一部分来自无效回答，但 finance 仍最大。
• 方向： law 上多个模型的 Δ 为负，即 advanced 高于 basic；health 与 finance 上 basic 通常更高（Table 3）。GPT-OSS-20B 的 finance Δ 在 Table 3 为 42.0，Table 5 为 42.8。

长文本事实性

• 结果： 仅 Qwen3-30B，K=8。Table 6 中 Health basic 的对抗/非对抗 Mean F1@8 为 89.4/89.7，advanced 为 90.1/92.7；Finance basic 为 79.6/80.0，advanced 为 87.1/86.6；Law advanced 为 82.5/83.1。Law basic 非对抗为 68.7，对抗为 82.7，平均事实数从 6.4 到 8.1。
• 正确事实数： Table 7 的对抗相对非对抗变化为 Health −0.80、Finance −0.02、Law +0.97，三领域均值 −0.05。作者称 health 损失最大，law 在对抗提示下正确事实更多。
• 作者解读： 作者称对抗提示在多数领域降低事实准确率，但差异不大，并提到样本量有限和回答长度的非确定性。Finance advanced 的对抗分数并非更低。作者认为 law basic 的相反模式，可能是因为对抗设定促使该领域生成更长、事实更多的回答。论文未报告检验。

失败回答、攻击与长度

• 失败类型： 附录 A 区分 null outputs、prompt echo 与 template leakage。作者称 Qwen3-4B、Qwen3-30B 更容易出现 template leakage；Qwen3-Next-80B 的模板问题较少，但更受安全机制影响。law 中涉及警察权力、刑事责任等，health 中涉及妊娠、心理健康或治疗建议的提示，更容易无效；finance 的失败更多与格式或模板有关。附录给出示例。
• 攻击条目： Table 8 的最易成功强自信攻击为 5/6 或 6/6 个模型未检出；两条 5/6 中，抵抗成功的模型分别是 GPT-5 与 Qwen3-Next-80B。Table 9 的最不易成功攻击为 0/6。作者称 basic 成功攻击通常利用常见误解或有争议说法，advanced 针对更具体的事实差错。此处不复述原提示。
• 长度： 作者称 Figure 4a 在过滤后的回答上，各模型族内更大模型往往 Accuracy 更高，同时回答更短、更稳定，范围为 600–800 字符。Figure 4b 中，作者称 400–800 字符通常更高，短于 200 字符更低，并称长度也受问题复杂度影响。文字抽取无法可靠对应各模型点值，故不逐点列出。

其他消融与分析

论文没有单独的参数消融表。其余汇总如下。

• Table 10 失败数（分母 400）：Qwen3-4B 77、Qwen3-30B 40、Qwen3-Next-80B 94、GPT-OSS-20B 7、GPT-OSS-120B 3、GPT-5 0；跨模型去重后移除 175 条。
• Table 2 六模型领域均值：Health basic/adv 79.5/64.7，Finance 91.7/71.7，Law 70.0/76.0，总均值 75.6。
• Table 4 剔除后领域均值：Health 90.0/78.5，Finance 98.2/78.3，Law 77.6/88.1，总均值 85.1。

作者指出的局限与后续方向

• 模型族： 只评估了三个模型族；作者称更广覆盖（如 DeepSeek、Gemini、LLaMA）可能提供更多关于架构和模型性质的信息（第 6 节）。
• 数据： 作者称数据集相对较小且仅英文，限制了可推广性和更细的分析（第 6 节）。
• 难度： 作者称对问题难度做独立核验可以加强评测，尤其在 law（第 6 节）。
• 事实分解： 作者称长文本评估可能漏掉事实，脱离上下文的事实也可能略微改变原意，从而限制事实性评估的洞察（第 6 节）。
• 单模型核验： 作者称因 LLM 评测成本高，长文本方法只在一个代表性模型上核验；更广核验是后续方向（第 6 节）。
• 评审器与扩展： 作者称评审器还可改用更省成本的网页搜索、更稳的事实分解，以及现有公式之外的指标；后续还可做多语言、专家参与的评测，或用训练策略提高对对抗错误信息的抵御（第 6 节）。

实验覆盖范围

• 主评测： 六个模型、Health/Finance/Law、basic 与 advanced，共 400 条（第 3.2 节，Table 1、Table 10）。
• 构建与评审： 数据构建使用 GPT-5，主结果也报告 GPT-5；对抗事实性评审是 GPT-5-mini（第 3.1、3.2.2 节）。
• 人工与重复： 分层复核为 finance/law 各难度 10 条、health 20 条，一致比例 90%–95%。论文未报告重复次数和显著性检验（第 3.2.2 节）。
• 长文本： 只在 Qwen3-30B 上比较对抗与非对抗，K=8。附录 C.4 未写明事实校验代理的模型名（第 4.2 节，Table 6）。
• 生成与提示： 除 GPT-5 外 temperature 为 0.0，最大输出 8192 tokens。对抗提示采用第 3.1.3 节的强自信前缀策略（第 3.2.3 节）。

AdversaRiskQA 用来评测 LLM 在 Health、Finance、Law 中，会不会接受被强自信表述包进问题的错误前提，并检查这种注入是否改变长文本事实性。

• 问题： 作者认为高风险领域的事实性错误可能导向不当决策。作者称既有基准没有覆盖这种对抗设定，也没有测量注入错误信息后的长文本事实性。
• 做法： 每条含已核验知识、改写后的错误知识、问题和强自信对抗提示，并分 basic 与 advanced，共 400 条。GPT-5-mini 判断回答能否让读者识别错误前提。长文本评测改编自 SAFE，只在 Qwen3-30B 上计算 F1@8。
• 主结果： 无效回答计为错误时，GPT-5 平均 Accuracy 为 90.2%，六模型总均值为 75.6%（Table 2）。剔除无效回答后，Qwen3-Next-80B 为 94.7%，GPT-5 为 91.4%（Table 4）。全部回答下，Qwen3-30B 的 78.2% 高于 Qwen3-Next-80B 的 73.3%。
• 例外： law 的 advanced 常高于 basic。长文本中，Health 的平均正确事实数变化为 −0.80，Law 为 +0.97（Table 7）。作者称多数领域差异不大，论文未报告检验。
• 作者结论： 作者称对抗事实稳健性不只取决于模型规模，也与对齐和训练目标有关；该基准可用于定位弱点，并推动高风险应用中更可靠的模型。