SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架
Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations
AI 导读
研究者提出 SCHEMA，一个面向科学 Agent 幻觉的、基于证据的拓扑感知评测框架。它从基准种子和文献证据自动构建科学概念图，合成覆盖断言验证、多跳推理、开放式解释和实验代码生成的任务，并用轨迹幻觉流水线与多智能体反事实归因两个诊断模块评估中间推理。结果显示，幻觉集中在少数高度连接的知识枢纽上，最终答案准确率与轨迹诚实度脱钩，模型常以结构上有缺陷的推理得出正确答案。作者据此认为，在高风险科学应用中，仅看最终准确率不足以判断 Agent 可靠性，需要基于知识拓扑的机制级评估。代码已公开。