SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架

科学智能体里，一个基础概念的错误会沿密集知识依赖传开，而现有幻觉评测多把事实当孤立条目、只看终答对错。

• 场景：作者称LLM智能体正被用于科学研究，可靠性关键；错误可来自错误答案、无效工具调用或捏造证据，并沿下游推理传播。
• 现有不足：作者称现有检测依赖专家核验或粗统计指标，能发现幻觉，却不能解释成因，也不能追溯到产生它的推理步；开放世界基准迁到科学领域效果差，扁平的查询级评测捕捉不到依赖传播。
• 观察：作者在ProteinLMBench的失败轨迹上做反事实分析后称，此类幻觉主要由未掌握领域先验及其概念互联驱动，且集中在少数知识枢纽。
• 提出的框架：作者提出SCHEMA：从基准种子和文献证据自动建科学概念图，合成图锚定任务，并用轨迹级拓扑加权幻觉分HSw与多智能体反事实归因做互补诊断。作者称这是首个证据锚定、拓扑感知的科学智能体幻觉评测框架。
• 诊断对象：对象是带文献与网页工具的科学LLM智能体，轨迹为ReAct式。Section 2的因果问题是：若消除第t步的幻觉内容，终答能否从错误变为正确。论文未把该设定写成攻击者的白盒或黑盒威胁模型。

附录A把相关工作分成科学智能体，以及智能体幻觉与失败归因；引言另点了检测基准的两点不足。

科学智能体

• 工具增强与自动发现：ChemCrow（Bran等，2024）与Coscientist（Boiko等，2023）把LLM接到化学软件或实验平台。The AI Scientist（Lu等，2024）及v2（Yamada等，2025）自动提出想法、实现并撰写研究流程。
• 生物医学评测：BioDSA-1K（Zhang等，2024）与TruthHypo（Xiong等，2025）评测数据科学智能体和假说锚定。作者称这一方向整体更重视能力扩展，事实性检查常把幻觉当作事后的局部过滤，较少看顺序推理轨迹。

独立模型上的幻觉检测

• 原子主张：FactScore（Min等，2023）与RefChecker（Hu等，2024）把生成拆成可核查的原子主张。作者称这些方法连同单轮基准，是在孤立模型上评测，绕过了智能体的多步交互轨迹。
• 单轮与统计检测：引言以SelfCheckGPT（Manakul等，2023）代表粗统计指标，并称这类方法能发现幻觉是否发生，但不能解释成因或追溯到产生它的步骤。HaluEval（Li等，2023）在相关工作中被归入探测事实广度的单轮或图指标；引言用它支撑「错误会沿依赖传播、扁平评测捕捉不到」这一现象描述。

智能体轨迹与失败归因

• 轨迹基准：MIRAGE-Bench（Zhang等，2025）定位幻觉出现的推理步。引言把HalluHard（Fan等，2026）、AgentHallu（Liu等，2026）和Zhan等（2026）列为后续诊断基准，并称Table 1作了汇总；正文Table 1实际是修复率分类，特征对照在Table 4。
• 高分与根因：AgentHallu整理完整交互轨迹。TRACE（Chen等，2026）指出Pass@1会掩盖有缺陷的中间推理；作者称自己的实验与这一观察一致。Zhang等（2025）把多智能体日志变成因果图，用反事实筛选区分根因与传导症状。作者称把这些技术用到高风险科学推理仍未解决，并称现有文献未捕捉该领域深层的概念互联。

特征对照与本文基线

• Table 4：按claim级检查、轨迹评估、知识锚定、拓扑加权、反事实归因五行打勾。HalluHard、KGHaluBench、MIRAGE-Bench、DeepHalluBench至少有一行标✗；SCHEMA五行均为✓。表注写明✗表示不支持或部分支持。论文未给这四行与SCHEMA的数值对打。
• 基线与数据：主实验排除静态RAG，不把上述检测器当作数值基线；10个LLM在同一autogen工作流中互比。预备集为ProteinLMBench；主基准为Protein Domain与由PathVQA扩展的PathVQA-Enhanced。

作者把SCHEMA放在证据锚定、拓扑加权和反事实归因同时覆盖的位置，并称现有工作没有覆盖科学概念之间的深度互联。

SCHEMA把评测拆成两套互补诊断：大规模轨迹幻觉分，以及对选定失败轨迹的反事实根因定位。概念重要性由知识图拓扑给出，而不是默认每条事实等权。

反事实归因

• 因果问题：对ReAct式轨迹做干预。作者要回答：若消除第t步的幻觉内容，智能体是否会给出正确答案。
• 三步：Abduction中，solver πs生成轨迹，每步为内容、动作与观察，由AGDebugger记录；终答偏离标准答案则标为失败。validator πv抽取主张，对照文献与网页来源池，被多个独立来源驳回的主张进入幻觉集合。Intervention中，planner πp按结构影响排序并最小编辑轨迹，用已核验的更正替换选中主张，未选中内容逐字保留；未翻盘则扩大或改换子集，直到成功或预定义尝试预算用尽。论文未给出该预算的次数。
• 认定：Prediction从编辑步重新执行，并冻结该步之前的状态与记忆。某子集被认定为根因，当且仅当重跑把终答从错误翻为正确。预备实现的智能体模型为Intern-S1-Pro，编排为AutoGen与AGDebugger；论文未逐一写明validator与planner是否为同一模型。

概念图构建

• 边的来源：图含节点、边、类型函数、关系函数和来源标记。内在边来自基准的答案、标注和问题结构；外在边从种子向外检索同行评审文献（文中举例PubMed、bioRxiv）和网页科学对话。
• 三阶段：规则与LLM级联抽取种子，再按语义相似度与期刊影响排序文献；LLM从缓存文本抽三元组。节点融合要求同类型且嵌入相似度超过阈值，以避免把蛋白和其编码基因并成一点。新基准只对种子增量检索、抽取并合并。融合阈值与检索分数阈值的数值，论文未给出。
• 实例规模：生物医学两个子集。Figure 4标注Protein图989个节点、4076条边，PathVQA-Enhanced为1435个节点、7144条边。

题目合成与校验

• 证据档：每个子图标为WEAK、MEDIUM或STRONG，综合关系强度先验、对冲语密度和每跳独立来源数。附录E.2：全部跳为STRONG、支持数不少于2且hedge小于0.34才标STRONG；任一跳为弱、hedge不低于0.67或某跳无独立支持则标WEAK，其余为MEDIUM。
• 五类任务：Claim Choice为四选一，任意证据档；Boolean Support至少MEDIUM；Two-hop Tail要求两跳都为STRONG；Essay任意档；Experiment Code不走文本证据门，改走沙箱。附录E.2说明各类型对应的认知操作，并给出完整提示词。
• 三道门：规则门要求主张与来源块的token重叠至少80%，且至少出现在两篇不同文档，选择题答案唯一。沙箱要求参考解通过全部单元测试，挖空变体至少失败一个。LLM评审只在判决为SUPPORTED时收下，CONTRADICTED或INSUFFICIENT则拒绝；活文献检索的top-k为3。

轨迹幻觉分

• 与归因分开：轨迹流水线审计中间步骤，服务大规模检测；反事实模块更贵，只用在选定失败子集上。
• 主张与判决：抽取器去掉对冲语，把事实主张按概念分桶。证据按金标准片段、1跳图邻域、网页、实时文献短路检索，第一层非空即停。另一评审模型给出SUPPORTED、UNVERIFIABLE、REFUTED，程序再映射为惩罚0、0.5、1。附录E.3：抽取器为gpt-4o、温度为0；默认评审为gpt-4o，被评模型恰为gpt-4o时改用intern-s1-pro。概念分桶的嵌入回退阈值为余弦0.85。工具返回正文默认不进入抽取，以避免检索内容泄漏。
• 权重与聚合：Eq. 3为w_g(c)=1+\mathbf{1}[\eta(c)\neq\bot]\cdot\log(1+\deg_K(\eta(c)))，即图内主张按无向度数加对数权重，图外主张权重为1。加权幻觉分为HS^w(τ)=∑_j w_g(c_j)ρ(c_j)/∑_j w_g(c_j)，即按权重对惩罚做归一化平均。未加权HS是惩罚的平均。作者称二者之差反映错误落在图的何处，而不是错误条数。附录E.4另设节点匹配的余弦下限0.6。附录E.3写明流水线默认只在终答错误的轨迹上计算。HR与二元幻觉标记一并报告，正文未给出HR的公式。

实验设置

• 模型：Table 3的10个指令微调LLM为Kimi-K2.5、Qwen3.6-Plus、Llama-4-Scout、Doubao-Seed-2.0-Pro、Intern-S1-Pro、DeepSeek-V4-Flash、GPT-4o、GPT-5.4-mini、Gemini-3-Flash、Grok-4.1-Fast。附录D的接口名包括gemini-3-flash-preview-thinking与grok-4-1-fast-reasoning。温度为0或提供方最低值，top_p为1。无训练。
• 数据：Protein Domain n=800，PathVQA-Enhanced n=495；Checklist写明合计1295条。Figure 4的图规模为989节点/4076边与1435节点/7144边。Table 2按Core、Peripheral、Off与五类题交叉计数。预备实验另从ProteinLMBench随机抽346题。
• 工作流：同一autogen流程，一个推理智能体加被动工具执行器；工具为literature_search、literature_fetch、web_search、web_fetch。每题独立多轮对话，最多12轮、600秒。正文写明排除静态RAG。全量评测费用作者报告约为350美元。
• 终答指标：Acc为样本平均，WAcc按基准权重加权。附录E.4写明权重含图层级与证据强度；claim_choice、boolean_support、two_hop_tail、vqa用规则比对，essay用GPT-4o，experiment_code用单元测试通过率。正文4.1则称终答由pairwise LLM judge（GPT-4o）对金标准评分。
• 幻觉指标：HR、HS、HSw越低越好。抽取与评审分离；评审默认gpt-4o，评GPT-4o自身轨迹时换intern-s1-pro。附录E.3写明默认只在终答错误的轨迹上计算幻觉分；Table 3未另写这三项的样本范围。
• 重复：Checklist第7项写明因多轮成本，10个模型、1295条查询为单次运行，未报告误差线；温度设为0以稳定解码。

主结果

下表只列Acc与HSw，据Table 3。Protein即Protein Domain（n=800），Path即PathVQA-Enhanced（n=495）。10个模型超过8行，表中列入两子集Acc最低的模型，以及PathVQA-Enhanced上HSw最高的模型。省略Llama-4-Scout与Intern-S1-Pro。

Swipe horizontally to read the table

模型	Protein Acc	Protein HSw	Path Acc	Path HSw
Kimi-K2.5	0.299	0.309	0.595	0.375
Qwen3.6-Plus	0.546	0.277	0.555	0.432
Doubao-Seed-2.0-Pro	0.739	0.303	0.677	0.407
DeepSeek-V4-Flash	0.591	0.362	0.675	0.408
GPT-4o	0.482	0.290	0.418	0.323
GPT-5.4-mini	0.592	0.268	0.609	0.287
Gemini-3-Flash	0.747	0.326	0.529	0.326
Grok-4.1-Fast	0.554	0.352	0.658	0.434

• 概念转移：作者称两子集概念空间近乎不交，Protein上闭源模型如Gemini-3-Flash的Acc更高，并称准确率跨度约为0.30–0.75；转到通路交互后，作者称Doubao-Seed-2.0-Pro与DeepSeek-V4-Flash转到前列，总体差距近乎减半。省略行中，Intern-S1-Pro的Protein HSw为0.262，是Table 3该列最低，其Protein Acc为0.428、Path Acc为0.489；Llama-4-Scout的Protein Acc/HSw为0.600/0.296，Path为0.588/0.291。
• HR与HSw：作者称若干开源模型HR很低，但拓扑幻觉分高。Table 3中Qwen3.6-Plus与Doubao-Seed-2.0-Pro在Path上的HR为0.009与0.017，HSw为0.432与0.407。作者称闭源模型处于结构可靠性的Pareto前沿，并以GPT-5.4-mini在两子集HS最低（Protein 0.179、Path 0.122）、Path上HSw最低为例。同表中Grok-4.1-Fast的Path HSw为该列最高。
• 终答与轨迹：作者称Acc与HSw只弱相关，模型常经有结构缺陷的中间逻辑得到正确终答，并称这一脱钩在两个近乎不交的概念空间上都出现，因而不是语料特有现象。作者称Figure 5(a,b)呈现该关系；文本转换未保留点的坐标，数值以Table 3为准。

反事实修复与概念分布

• 设置与修复率：Section 2.2用Intern-S1-Pro，从ProteinLMBench抽346题，对141条失败轨迹做反事实分析。Table 1：wrong_answer 52/110（47.3%），其中mapping_error 33/68（48.5%）、fact_error 13/36（36.1%）、alignment_error 4/4、constraint_error 2/2；tool_loop 12/29（41.4%）；no_answer 1/2；合计65/141（46.1%）。
• 作者解读与表内例外：作者称wrong_answer为主模式，mapping error占幻觉的大多数且相对可修复，fact error修复率最低，错误前提会被后续步骤继承并放大。Table 1中mapping_error是最大子类（68/141），但未过半；fact_error的36.1%低于mapping_error与tool_loop，而alignment_error、constraint_error为100%，分母为4和2。
• 概念分布：作者称约三分之一失败来自工作流（截断推理、extractor degeneracy），67%追溯到领域知识，且集中于少数枢纽，Enzymatic/Catalysis近一半；并称枢纽相对可修复，长尾稀有概念修复率接近零。Figure 2统计的是248个幻觉概念的主题，不是141条轨迹。图中最大主题为Binding & Interaction & Affinity（n=54，修复率53.7%），Enzymatic/Catalysis为n=30、56.7%；Agent Short Reasoning n=53、34.0%，Extractor Degeneracy n=29、37.9%；Cellular n=2、修复率0.0%，Organism/Disease n=5、20.0%。

可证伪复杂度与拓扑幻觉分

• 四档均值：Figure 6在Protein Domain上把15个细类并成四档。图中标注的队列平均HSw为Identifier-grounded 0.381、Compositional 0.400、Processual 0.424、Locative 0.436。作者称该分沿可证伪难度单调上升。
• 频率与结构影响：作者称模型更常伪造标识类实体，其HR最高、HSw最低；过程性机制伪造更少，但每次带来更重的因果失败。论文未给出该轴上的HR数值。
• 模型差异：作者称Grok-4.1-Fast在Locative上HSw约为0.53，为队列最高；Qwen3.6-Plus在前三档低于队列平均，Locative约为0.48。作者认为越靠近高反驳复杂度，模型差异越大。

锚定水平与题型

• 非单调锚定：Figure 7(a)在Protein domain按Strong、Weak、Unanchored分层。作者称10个模型中有6个在Weak上低于Strong和Unanchored，点名Gemini-3-Flash、Llama-4-Scout、GPT-5.4-mini、GPT-4o。Kimi-K2.5从0.63降到0.16；Qwen3.6-Plus为0.69、0.53、0.43，作者称是队列中唯一严格单调下降的模型。
• 作者的解释：作者将其归因于部分图上下文造成检索歧义，不完整拓扑会鼓励过度自信的幻觉；完全无锚定则退回参数记忆或宽搜索。作者称在该检索设置下，部分拓扑上下文比没有锚定更有害。
• 题型：Figure 7(b)中，作者称Kimi-K2.5从boolean_support的0.01到experiment_code的0.96；队列boolean_support平均0.375，claim_choice平均0.645。Intern-S1-Pro在Boolean上为0.07，在多选格式上为0.56。脚注：两个模型在experiment_code上为0.00，因轨迹超过最大工具调用预算；作者称这反映资源消耗而不是编码能力。论文未点名这两个模型。

其他消融与分析

• Figure 5(c)标注的概念份额变化包括CellLine 17.7→10.2（−7.5）、Drug 22.5→16.8（−5.7）、Gene 6.1→13.3（+7.2）、Disease 0.9→4.9（+4.0）；作者称分布从分子实体转向临床通路。
• 附录E.3的默认计算范围是终答错误轨迹；与Table 3是否同一聚合范围，正文未另写。
• 终答评分在正文4.1与附录E.4的写法不完全相同，见实验设置。
• 节点融合阈值、检索分数阈值和反事实尝试次数，论文未给出数值。
• Checklist第7项：单次运行，未报告误差线。

作者指出的局限与后续方向

• 领域范围：图构建流程按设计与领域无关，但实证目前限于Protein Domain与PathVQA-Enhanced；作者称在其他学科上检验拓扑发现的通用性是下一步（附录B）。
• 评审校准：轨迹流水线依赖LLM评审。作者称虽分离了抽取与判决、用提示约束证据蕴含并缓存判决，但仍缺少大规模专家在环验证；对照领域专家标注做校准是必要方向（附录B）。
• 反事实成本：反事实模块能做细粒度因果定位，但每条轨迹更贵，因此只用于抽样失败。作者称扩到全基准需要更省的构造或选择性触发，二者都留作后续（附录B）。
• 交互预算：智能体有固定的最大推理步数与工具调用数，超预算记为失败，会不利于工具使用效率较低的模型；作者称两个模型因此在experiment_code上耗尽预算。更宽预算可能提高分数并增加推理成本，作者把效率与能力的权衡列为后续（附录B）。
• 模型队列：评测覆盖10个当代LLM，不包括微调科学模型或带自定义检索流程的智能体。作者称枢纽集中和准确率—轨迹诚实度脱钩在领域专用模型上是否仍在，是待研究的问题（附录B）。
• 误差线：Checklist第7项写明，因10个模型、1295条查询的多轮成本，未报告误差线，并以单次、温度为0的分数作为主要结果。

实验覆盖范围

• 主实验为Table 3的10个LLM，Protein Domain n=800、PathVQA-Enhanced n=495，指标为Acc、WAcc、HR、HS、HSw；Checklist写明单次运行。
• 题型为Claim Choice、Boolean Support、Two-hop Tail、Essay、Experiment Code，并按Core、Peripheral、Off交叉计数（Table 2）。
• 预备反事实分析使用Intern-S1-Pro，对象是ProteinLMBench 346题中的141条失败轨迹（Section 2.2），不是Table 3的全量轨迹。
• 工作流工具为literature_search、literature_fetch、web_search、web_fetch，每题最多12轮、600秒；正文写明排除静态RAG（Section 4.1、附录D）。
• 论文未报告主实验重复次数、反事实尝试预算的次数，以及幻觉评审与专家标注的一致性（附录B、附录E、Checklist第7项）。

SCHEMA是面向科学智能体幻觉的证据锚定评测框架，实例化在生物医学的Protein Domain与PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

• 问题：作者认为科学知识密集互联，一个基础概念的错误会沿多步推理污染整条轨迹；只看终答准确率既不能解释幻觉为何出现，也不能指出它落在哪个概念上。
• 做法：从人工核验基准抽种子，再从文献补外在边，建成概念图；按证据强弱合成Claim Choice、Boolean Support、Two-hop Tail、Essay和Experiment Code。轨迹流水线把主张判为支持、不可核验或驳回，再按节点无向度数做对数加权，得到HSw。另一模块用求解、校验和规划三个智能体，对失败轨迹做最小编辑，只有终答从错误翻为正确才认定根因。
• 预备归因：Intern-S1-Pro在ProteinLMBench的141条失败轨迹上，反事实修复率为46.1%（65/141，Table 1）。fact_error为13/36（36.1%），低于mapping_error的33/68（48.5%）。作者称错误集中于少数知识枢纽；Figure 2中最大主题是Binding & Interaction & Affinity（n=54），与正文「Enzymatic/Catalysis近一半」的说法并不一致。
• 主实验：10个LLM、同一工具工作流。Table 3中Protein Domain的Acc从Kimi-K2.5的0.299到Gemini-3-Flash的0.747；PathVQA-Enhanced上Doubao-Seed-2.0-Pro为0.677，GPT-4o为0.418。GPT-5.4-mini的Path HSw为0.287，Grok-4.1-Fast为0.434。Qwen3.6-Plus的Path HR为0.009，HSw为0.432。作者称终答正确仍可能来自有结构缺陷的中间推理。
• 其他结果：Figure 6的队列平均HSw从Identifier-grounded的0.381升到Locative的0.436。Figure 7(a)中Kimi-K2.5的准确率从Strong的0.63降到Weak的0.16；作者称部分图锚定可以低于完全无锚定。
• 作者结论：对高风险科学应用，终答结果本身不够。作者认为需要机制级、以知识拓扑为据的诊断，而不是表面准确率。