JudgeBench:评估基于 LLM 的评审模型的基准
JudgeBench: A Benchmark for Evaluating LLM-based Judges
AI 导读
研究者提出 JudgeBench,用于评估基于 LLM 的评审模型在知识、推理、数学和编程等挑战性响应对上的表现。该基准通过新流程将现有困难数据集转换为以客观正确性为偏好标签的响应对,针对以往基准只衡量与人类偏好一致性、难以反映事实与逻辑正确性的不足。对提示评审、微调评审、多智能体评审和奖励模型的综合评估显示,JudgeBench 比以往基准难度显著更高,GPT-4o 等强模型的表现仅略好于随机猜测。数据和代码已在 https://github.com/ScalerLab/JudgeBench 开源。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
TypeSafe发布Jev,多家公司跟进决策模型
- IEEE Spectrum AI引用了论文编号或链接AI 公司开发决策模型以避免幻觉
designed to gauge decision accuracy, including RewardBench and JudgeBench.