从扭曲事实到失控智能体:大语言模型能可靠检测多维幻觉吗?
From Twisted Facts to Rogue Agents: Can LLMs Reliably Detect Multi-Dimensional Hallucinations?
AI 导读
研究者推出 HaluCheck 大规模双语基准,包含超过 4.2 万条样本,覆盖文本中的事实性幻觉与 Agent 轨迹中的忠实性幻觉,并提供面向检测、定位和纠正的多层级细粒度标注。在 14 个大语言模型上的实验显示,模型具备基本的样本级检测能力,但在细粒度定位、纠正和 Agent 幻觉检测上表现不佳;思考模式、联网搜索和监督微调各自带来部分改进,均未能完全解决问题。该基准为跨文本与 Agent 场景评估和诊断大语言模型可靠性提供了基础。