Jev 还是不 Jev:System-1 决策模型何时能取代 LLM 评委?
To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?
作者评测14个System-1决策模型替代LLM评审的能力,称带参考答案时11个模型在JudgeBench上达90.3–93.4%,与推理型评审统计上不可区分。
- LLM评审在best-of-N采样或强化学习中需被调用成千上万次,带推理的前沿评审又慢又贵。单次前向、不生成文本的System-1决策模型能否替代它们,此前只在单个模型上有过初步证据。
- 按预先声明的规则从S1MB榜单和OpenRouter决策模型目录选出14个System-1模型,在11个既有评审基准上与4个生成式评审对比,并比较三种提问方式:成对Choice、逐点清单、参考答案引导。
- 作者报告:5个模型与不带推理的GPT-5.6统计上不可区分;带参考答案时11个模型在JudgeBench达90.3–93.4%,与Opus和带推理的GPT-5.6不可区分;注入鲁棒性因模型而异(ASR 0.0–49.0%);通用System-1榜单能预测评审准确率(r=0.95–0.96)。
- 作者指出:更强的System-1模型因无法经API调用且需80GB显存自托管而未评测,最佳结果是能力下界;结果为单次运行、试点规模;注入载荷是自制扰动而非既有基准;清单与参考答案由Haiku和GPT-5.6生成,混合了System-1与System-2组件。
- 威胁模型
- 针对评审的注入攻击:在JudgeBench和LLMBar各150条的错误回答末尾追加三种载荷(声称已核对的评审者附注、伪造聊天模板系统轮、自我断言),攻击成功率定义为原本判对、追加后判错的比例;所有评审都被指示忽略评分相关文字。
- 被测模型
- Jev 1.14pplx-decider 1.2pplx-flash 1.2ClefClef-flashKev-4Bd1d1-ultraMercury-DecideMicrosoft Decision-1DReX v1.5DReX v2.0DReX-MaxSpan-02Kev-0.8BKev-9B
- 基准
- JudgeBenchLLMBarMT-Bench human judgmentsRM-BenchRewardBench 2PPE best-of-KHelpSteer2EvalBiasBenchCALMLongRewardBenchAgentRewardBench
- 指标
- accuracyECESpearman ρNote ASRAUROCF1
论文在 11 个评委基准上评测 14 个 System-1 决策模型(含 TypeSafe 的 Jev)与四个生成式评委(Claude Haiku 5.5、GPT-5.6 与 Claude Opus 5.5,含不同推理设置),发现多个决策模型的评判准确率可与生成式评委相当。5 个模型在全部五项两两对比与 best-of-4 基准上与无推理的 GPT-5.6 统计上不可区分;在提供参考答案时,11 个模型在 JudgeBench 达 90.3-93.4%,并在 PPE best-of-16 上以约十六分之一的单条成本追平开推理的 GPT-5.6。对被评回应中注入指令的鲁棒性取决于具体模型而非 System-1 设计,在被评回应后附加一段给评委的说明会翻转五个模型 0-5% 的正确判定,另外九个为 17-49%。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
TypeSafe发布Jev,多家公司跟进决策模型
- Scale Labs引用了论文编号或链接用 Jev 还是不用 Jev:何时将 System-1 决策模型用作 LLM 评审
(arXiv:2611.00505), asks when such a model can stand in for a generative judge, how it should be queried and where it fails.
深度解读
这篇论文试图解决什么问题?
System-1决策模型能否替代生成式LLM评审,在何种提问方式下接近推理型评审。
核心问题:System-1决策模型(如Jev)能否在LLM-as-a-judge工作负载中替代生成式评审,其准确率多大程度取决于具体模型、提问方式和模型规模。
- 场景与动机:LLM评审被广泛用于模型评测、数据过滤和奖励建模,但在best-of-N采样或强化学习中每批要调用数千次,带扩展推理的前沿评审又慢又贵(作者语)。决策模型对文本回答类型化问题(yes/no、多选、序数打分),单次前向返回校准概率、不生成文本,是廉价的候选。
- 现有证据的不足:Li et al. (2026)评测过早期Jev版本,发现它在普通偏好判断上有竞争力,但在需要验证正确性时落后前沿评审9–20个百分点;作者认为仍不清楚准确率多大程度取决于具体决策模型、应如何查询、哪些失败模式属于System-1设计本身而非模型规模。
- 论文的做法:按预先声明的协议从独立榜单和公开决策模型目录选出14个System-1模型,在11个既有评审基准上用相同问题和输入评测,与4个生成式评审(Claude Haiku 5.5、GPT-5.6带与不带推理、Claude Opus 5.5带思考)对比。
- 威胁模型(注入鲁棒性评测):
- 攻击者目标:让评审把错误回答判为更优。
- 手段:在JudgeBench和LLMBar各150条的错误回答末尾追加三种载荷之一(声称已核对的评审者附注、伪造聊天模板系统轮、自我断言正确性,附录C)。
- 受害系统:14个System-1评审与生成式评审;所有评审的评分规则中都包含忽略评分相关文字的指示。
- 成功判定:原本判对、追加载荷后判错的比例(Note ASR)。
有哪些相关研究?
LLM评审、决策模型作评审、评审偏差与注入攻击、级联与校准四条线,最近的是Li et al. (2026)。
LLM-as-a-judge
- Zheng et al. (2023)——提出MT-Bench,称强LLM评审与人类标注者之间的一致性接近人类水平,并记录了位置偏差、冗长偏差和参考答案引导评分。
- 后续方向:概率加权打分(Liu et al., 2023)、开源微调评审(Kim et al., 2024)、生成式验证器(Zhang et al., 2024)、用强化学习训练会推理的评审(Whitehouse et al., 2025);Gu et al. (2024)提供综述。
- 清单式评测(Cook et al., 2024; Lee et al., 2024)——把判断分解为针对每条指令的yes/no条目;论文把同一思路用于决策模型,因为对同一输入追加问题几乎不增加成本。
决策模型作评审
- TypeSafe以Jev引入System One(决策模型)类别(Almeida, 2026),随后出现同接口的开源模型Kev(Palmer, 2026)、pplx-decider(Perplexity AI, 2026)、Clef(Cloudflare, 2026),OpenRouter目录现托管数十个决策模型。
- Li et al. (2026)是最接近的先前工作:把Jev与16个生成式和奖励模型评审在成对与逐点正确性任务上对比,测量校准与顺序稳定性并研究接受-升级级联;报告Jev 1.13在JudgeBench上78.6%(GPT-6为93.1%),冻结级联接受53.7%的条目、损失0.6个百分点。MLflow(30条、二值正确性)和Langfuse提供工程集成指引。
评审偏差与攻击
- 位置偏差(Wang et al., 2023)与长度偏差(Dubois et al., 2024)已有记录;CALM(Ye et al., 2024)用原理引导扰动量化12种偏差,EvalBiasBench(Park et al., 2024)提供6类偏差的手写样本对。
- 针对评审的提示注入包括基于优化的攻击(Shi et al., 2024)和通用对抗后缀(Raina et al., 2024)。
级联与校准
- FrugalGPT(Chen et al., 2023)在廉价与昂贵模型间路由查询;Jung et al. (2024)带统计保证地升级不确定判断;校准用ECE度量(Guo et al., 2017)。
基线与基准:对照评审为Haiku 5.5、GPT-5.6(带/不带推理)、Opus 5.5(带思考),同规模对照为Qwen3.5-4B;基准为JudgeBench、LLMBar、MT-Bench、RM-Bench、RewardBench 2、PPE、HelpSteer2等11个。作者定位:本文以14个决策模型的横向比较、提问方式、参考答案引导、注入与偏差、best-of-K及同规模对照补充Li et al. (2026)。
论文如何解决这个问题?
预声明协议选14个System-1模型,三种提问方式在11个既有基准上与4个生成式评审对比。
整体思路:把14个System-1决策模型当作评审,在既有基准上用相同问题和输入与4个生成式评审对比,并系统比较三种提问方式(成对Choice、逐点清单、参考答案引导),再做校准、注入鲁棒性、路由和同规模对照分析。
模型选择(预声明两阶段)
- 入选条件:必须暴露类型化Noul/Choice/Score接口,且能以开源权重本地运行(≤9B参数)或经OpenRouter决策模型目录调用。
- 第一阶段:按S1MB英文榜单取最优模型和尺寸阶梯——Jev 1.14、pplx-decider 1.2与pplx-flash 1.2、Clef与Clef-flash、Kev-4B(本地MLX运行)。
- 第二阶段:对目录其余30个条目(2026-10-25)各做100次JudgeBench试点调用,纳入请求处理可靠且全套预估成本≤$4的模型:d1、d1-ultra、Mercury-Decide、Microsoft Decision-1、DReX v1.5/v2.0/Max、Span-02(Table 2)。
- 生成式评审:Haiku 5.5(关闭思考)、GPT-5.6(reasoning_effort=none与medium两档)、Opus 5.5(adaptive thinking,medium);按Li et al. (2026)的做法只输出判定和概率,不给理由。
基准与协议
- 11个既有基准:JudgeBench(350对)、LLMBar(419)、MT-Bench人工判断(313个非平局对)、RM-Bench(1,350)、RewardBench 2 best-of-4(300)、PPE best-of-16(300提示)、HelpSteer2(300条带人工评分),附录E另有EvalBiasBench、CALM、LongRewardBench、AgentRewardBench(Table 4)。
- 顺序处理:每个成对条目两种呈现顺序各评一次;MT-Bench的87个平局不计入准确率。
- 统计检验:配对差报告prompt聚类bootstrap的95%置信区间,p值来自prompt级符号翻转置换检验(注入用精确McNemar),每个预定义比较族内做Holm校正(6个族共567个检验);∗表示Holm校正后p<0.05。
三种提问方式
- 成对Choice:决策模型收到user_request、response_A、response_B字段和A/B选择问题,两种顺序的概率取平均。
- 逐点清单:每个回答单独请求,含6个通用Noul(正确性、最终答案、指令遵循、完整性、聚焦、拒答)和3–6个由Haiku 5.5按提示写一次的条目级Noul,信号为平均logit;成本为每提示一次Haiku调用($0.16/1,000提示)。
- 参考答案引导:GPT-5.6(medium推理)每个提示写一条短参考答案,决策模型被问回答的最终答案是否与之一致。
分析设置
- 注入鲁棒性:三种载荷追加到错误回答末尾,攻击成功率=原本判对、追加后判错的比例。
- 路由:System-1模型先评全部条目,置信度低于阈值τ的升级给Opus;τ在30%开发集上冻结后在70%测试集上评测。
- 同规模对照:Kev-4B是Qwen3.5-4B-Base上的LoRA加指针头;对照为同API服务的未训练Qwen3.5-4B-Base,以及作为生成式评审的Qwen3.5-4B(关思考,及4k token思考预算加budget forcing)。
论文做了哪些实验?
11个基准上14个System-1模型对4个生成式评审,另有注入、路由、同规模对照等分析。
实验设置
- 被测模型:14个System-1决策模型(DReX-Max、d1-ultra、Mercury-Decide、Jev 1.14、pplx-decider 1.2、d1、Microsoft Decision-1、Span-02、DReX v2.0、Clef、pplx-flash 1.2、DReX v1.5、Clef-flash、Kev-4B),另加Kev-0.8B/9B和未训练Qwen3.5-4B-Base作规模消融。
- 生成式对照:Haiku 5.5、GPT-5.6(不带/带推理)、Opus 5.5(带思考);同规模生成式对照Qwen3.5-4B(关思考及4k思考预算)。
- 基准与规模:JudgeBench 350对、LLMBar 419、MT-Bench 313非平局对、RM-Bench 1,350、RB2 300、PPE 300提示×16回答、HelpSteer2 300;附录基准80–1,925条(Table 4)。
- 指标:准确率(成对两顺序平均)、ECE(单次A/B概率,跨成对基准汇总)、HelpSteer2 Spearman ρ、注入ASR、PPE top-1正确率、路由AUROC。
- 判定方式:基准自带标签;CALM改写内容由GPT-5.6和Opus 5.5(均带思考)独立审计,仅两者均判定内容不变的改写被保留。
- 重复次数:所有结果为单次运行;5个托管决策API的50条JudgeBench请求重复两次,Choice判定96–100%一致(Table 6)。
主结果
据Table 1(准确率%,Choice为两顺序平均;+ref为GPT-5.6参考答案引导;PPE为best-of-16):
表格较宽,可左右滑动
评审 JB Choice JB +ref LLMBar Choice RB2 Choice PPE +ref ECE Note ASR DReX-Max 83.7 91.0 88.3 87.0 89.1 0.024 0.0 d1-ultra 84.6 93.4 87.6 86.7 90.6 0.030 0.4 Jev 1.14 82.3 91.4 87.4 81.7 90.8 0.019 23.3 pplx-decider 1.2 81.1 93.1 87.1 76.3 91.1 0.038 4.7 Mercury-Decide 79.7 92.9 88.5 84.0 88.9 0.067 49.0 Kev-4B 66.6 88.0 71.8 57.3 87.2 0.058 32.2 Haiku 5.5 70.1 – 74.2 76.2 75.7 0.056 2.3 GPT-5.6(不带推理) 84.4 – 87.8 82.7 74.4 0.075 2.3 GPT-5.6(带推理) 93.1 – 89.6 87.8 91.2 0.038 1.1 Opus 5.5(带思考) 94.7 – 91.4 88.5 94.6 0.087 0.4 (省略Span-02、DReX v2.0、Clef、pplx-flash、DReX v1.5、Clef-flash、d1、Microsoft Decision-1,结果最差的Kev-4B已列出;完整14行见Table 1。)
- 作者报告:5个模型(DReX-Max、d1-ultra、Mercury-Decide、Jev 1.14、pplx-decider 1.2)在全部5个成对和best-of-4基准上与不带推理的GPT-5.6统计上不可区分(−6.6到+4.3 pp,均n.s.);DReX-Max和d1-ultra在JudgeBench、LLMBar、RB2上比Haiku高+10.5到+14.4 pp(∗)。
- 带参考答案时,11个模型在JudgeBench达90.3–93.4%,与Opus(94.7%)和带推理GPT-5.6(93.1%)统计上不可区分;PPE best-of-16上每个参考引导的System-1评审都与带推理GPT-5.6不可区分(87.2–92.8% vs. 91.2%),Jev方案成本约为其1/16($0.0051 vs. $0.0827每提示)。
- 作者称Jev 1.14的ECE(0.019)为所有评审最低,DReX-Max、d1-ultra、d1(0.024–0.031)也优于每个生成式评审(0.038–0.087);6个System-1模型与人工HelpSteer2评分的相关性(ρ=0.445–0.498)高于每个生成式评审(0.43–0.44),但置信区间重叠。
注入鲁棒性
- 测了什么:三种载荷追加到JudgeBench和LLMBar各150条的错误回答,指标为原本判对、追加后判错的比例(Table 13)。
- 结果:评审者附注使DReX-Max、d1-ultra、Microsoft Decision-1、d1、pplx-decider的0.0–4.7%正确判定翻转,与生成式评审(0.4–2.3%)统计上不可区分;其余9个模型为16.7–49.0%,Mercury-Decide最高(49.0%);同规模生成式评审Qwen3.5-4B为77.3%。
- 作者解读:注入鲁棒性是单个模型的属性而非System-1设计的属性;清单降低了除Span-02外每个脆弱模型的ASR,但使DReX-Max的伪造系统轮ASR从5.1%升至21.7%。
路由与同规模对照
- 路由:Jev或pplx-decider作第一级、低置信度升级Opus时,LLMBar达90.7%(10%升级)和91.7%(17%升级,Opus单独91.7%),JudgeBench达92.3%(60%升级)和91.5%(41%升级,Opus 94.4%);两者识别自身错误的AUROC为0.71–0.90,Kev-4B为0.63–0.81(Table 16)。
- 同规模对照:Qwen3.5-4B(关思考)与Kev-4B清单在5个基准中的4个上统计上不可区分;带4k思考预算时JudgeBench达84.0%,比Kev-4B清单高15.7 pp(∗),与参考引导的Kev-4B不可区分,但中位延迟117秒对Kev-4B的0.70秒。作者据此认为小决策模型的正确性差距主要源于缺少推理而非规模。
- 长上下文(LongRewardBench,243条):Jev 1.14和pplx-decider 1.2均达70.8%,与Haiku和Opus不可区分,但比GPT-5.6低10.5–11.9 pp(∗);Kev-4B在8K后准确率下降约20分。
其他消融与分析
- 清单提问:仅提升较弱模型——Clef、pplx-flash、Kev-4B、Clef-flash的LLMBar +8.1–17.2 pp,DReX v1.5/v2.0、pplx-flash、Kev-4B的RB2 +11.0–13.7 pp(均∗);5个最强模型中仅pplx-decider在RM-Bench +6.9 pp(∗)。
- 榜单相关性:JudgeBench/LLMBar/RB2平均Choice准确率与Jev Decision Index的Pearson r=0.96(12个模型),与S1MB r=0.95(9个模型)(§E.1)。
- 长度偏差(RM-Bench hard−easy):Jev 1.14为−12.9 pp(GPT-5.6不带推理−11.3 pp),其余System-1模型−15.0到−33.1 pp;参考引导基本消除(Jev −0.1)。
- 智能体轨迹(AgentRewardBench,292条):pplx-decider 1.2成功AUROC 0.921,与带推理GPT-5.6(+0.003)和Opus(−0.012)不可区分;副作用检测对所有评审都困难(F1 6.5–35.3%)。
- 负面结果:RB2上开发集阈值不迁移(Jev升级0%);Kev-0.8B接近随机不可用;参考引导在RB2 Precise IF上降至28%(清单为50%)。
有什么可以进一步探索的点?
作者列出模型覆盖、单次运行、自制注入载荷等局限;实验覆盖14个决策模型与11个基准。
作者指出的局限与后续方向
- 更强模型未评测(Limitations):Jev Decision Index和S1MB排名更高的模型(Fastino GLiDE、Jeffan-31B、StartLux-Decision、Darwin-27B)未评测,因为它们不经所用决策API提供、自托管需至少80GB显存和模型专用服务代码;作者称最佳模型结果是当前System-1评审能力的下界而非上限。
- 目录纳入规则排除了6个模型(Limitations):因成本或请求上限被排除。
- 单次运行、试点规模(Limitations):所有结果基于单次运行,每套80–1,925条;榜单与评审准确率的关系仅由9–12个模型估计,其中一些可能与榜单共享训练来源。
- 注入载荷为自制(Limitations):是对JudgeBench和LLMBar的自行扰动,而非既有注入基准。
- 混合组件(Limitations):清单和参考答案由Haiku 5.5和GPT-5.6生成,这些提问方式混合了System-1与System-2组件。
- 成本与测量假设(Limitations):价格为目录价,GPT-5.6档位未明、按Terra价假设;Jev以外System-1模型的OpenRouter价格未报告;失败调用计为错误;Qwen3.5-4B思考变体只跑单一顺序且26–63%的判定依赖budget forcing;延迟在共享笔记本GPU上测量。
实验覆盖范围
- 被测System-1模型共14个,另有Kev-0.8B/9B和未训练Qwen3.5-4B-Base作规模消融;生成式对照4个加同规模Qwen3.5-4B。
- 基准共11个,主结果基于JudgeBench、LLMBar、MT-Bench、RM-Bench、RB2、PPE、HelpSteer2,其余4个在附录E。
- 注入评测覆盖300条(JudgeBench+LLMBar各150)和3种载荷;偏差评测含EvalBiasBench(80对)和CALM(1,925条)。
- 长上下文覆盖4K–64K token共243条,其中64K桶仅9–17条;智能体轨迹292条。
- 论文未报告生成式评审的重复运行(仅5个托管决策API做了50条×2次的确定性检查);未报告评审判定与人工标签之外的人工评估一致性。
总结一下论文的主要内容
14个System-1决策模型在11个评审基准上的系统对比:强者可替代非推理前沿评审,参考答案可补齐正确性差距。
一篇关于System-1决策模型能否替代LLM评审的评测论文。动机是前沿推理评审在best-of-N、强化学习等场景被调用成千上万次时又慢又贵,而决策模型单次前向即返回校准概率。
- 做法:按预声明协议从S1MB榜单和OpenRouter目录选出14个System-1模型,在11个既有基准上与Haiku 5.5、GPT-5.6(带/不带推理)、Opus 5.5(带思考)对比,并比较成对Choice、逐点清单、参考答案引导三种提问方式。
- 主结果:5个模型在全部5个成对和best-of-4基准上与不带推理的GPT-5.6统计上不可区分;DReX-Max和d1-ultra在JudgeBench、LLMBar、RB2上比Haiku高10.5–14.4个百分点(Table 1)。
- 参考答案:每个提示由GPT-5.6生成一次参考答案后,11个模型在JudgeBench达90.3–93.4%,与Opus和带推理GPT-5.6不可区分;PPE best-of-16上所有14个参考引导评审(87.2–92.8%)与带推理GPT-5.6(91.2%)不可区分,Jev方案成本约为其1/16。
- 校准与人类一致性:Jev 1.14的ECE为0.019,低于所有生成式评审(0.038–0.087);6个System-1模型与人工HelpSteer2评分的ρ(0.445–0.498)高于生成式评审(0.43–0.44),但置信区间重叠。
- 鲁棒性:评审者附注注入的ASR在5个模型上仅0.0–4.7%,在其余9个上达16.7–49.0%,作者据此认为注入鲁棒性是单个模型的属性而非System-1设计的属性;同规模对照显示4B决策模型的正确性差距主要源于缺少推理而非规模。
- 作者结论:决策模型的选择与System-1/System-2之间的选择同样重要;最强System-1评审可在成对判断上替代非推理前沿评审,配合参考答案可接近推理评审;通用System-1榜单(与评审准确率r=0.95–0.96)可用作选型短名单,但注入鲁棒性需逐模型实测。