跳到正文
原文

JudgeBench:评估基于 LLM 的评审模型的基准

JudgeBench: A Benchmark for Evaluating LLM-based Judges

arXiv· arXiv:2410.12784· Sijun Tan, Siyuan Zhuang, Kyle Montgomery, William Y. Tang, Alejandro Cuadron, Chenguang Wang, Raluca Ada Popa, Ion Stoica·本站收录· 20 天前· 原文发表AI 动态
AI 导读

研究者提出 JudgeBench,用于评估基于 LLM 的评审模型在知识、推理、数学和编程等挑战性响应对上的表现。该基准通过新流程将现有困难数据集转换为以客观正确性为偏好标签的响应对,针对以往基准只衡量与人类偏好一致性、难以反映事实与逻辑正确性的不足。对提示评审、微调评审、多智能体评审和奖励模型的综合评估显示,JudgeBench 比以往基准难度显著更高,GPT-4o 等强模型的表现仅略好于随机猜测。数据和代码已在 https://github.com/ScalerLab/JudgeBench 开源。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

TypeSafe发布Jev,多家公司跟进决策模型

阅读原文arxiv.org