跳到正文
原文
Scale Labs·本站收录· 原文发表· AI 动态 →精选关注度42

用 Jev 还是不用 Jev:何时将 System-1 决策模型用作 LLM 评审

To Jev or Not to Jev: When to Use System-1 Decision Models as LLM Judges

AI 导读

Scale Labs 在 11 个评审基准上用相同输入对比 14 个 System-1 决策模型与 4 个生成式评审,发现 DReX-Max、d1-ultra、Mercury-Decide、Jev 1.14 和 pplx-decider 1.2 这五个模型在测试的五个成对与 best-of-4 基准上与不带推理的 GPT-5.6 统计上无法区分,不过在该样本量下只有约 5 个百分点以上的差距才能被稳定检出。为每个提示词写一份参考答案后,11 个 System-1 评审在 JudgeBench 上达到 90.3% 至 93.4%,与前沿推理评审持平;在 best-of-16 选择上,含写参考答案的 GPT-5.6 调用在内每个提示词成本 0.0051 美元,而带推理的 GPT-5.6 为 0.0827 美元。

推荐理由

用 11 个评审基准对比 14 个 System-1 决策模型与生成式评审,给出了评审选型、提问方式与成本上的可迁移做法。

相关论文
阅读原文labs.scale.com