HaluEval-Wild：评估语言模型在真实场景中的幻觉
HaluEval-Wild: Evaluating Hallucinations of Language Models in the Wild
AI 导读
研究者推出 HaluEval-Wild 基准，从真实用户与 LLM 交互数据集 ShareGPT 中采集提问，评估多个大语言模型在真实场景中的幻觉率，作者称这是首个专为真实场景幻觉评估设计的基准。这些提问经 Alpaca 对抗筛选以保留有挑战性的样本，并归入五种类型以支持对模型幻觉类型的细粒度分析；参考答案由 GPT-4 结合检索增强生成（RAG）合成。论文称既有面向知识密集型问答、摘要等传统 NLP 任务的幻觉基准难以刻画动态真实交互。基准发布在 https://github.com/HaluEval-Wild/HaluEval-Wild。