TypeSafe发布Jev,多家公司跟进决策模型
先了解这件事
TypeSafe AI 发布决策模型 Jev,宣称其更快、更便宜且不会产生幻觉,Cloudflare、OpenAI 等公司迅速跟进推出同类模型。这类模型保留 LLM 架构但只做一次前向传播,只能从预设选项中作答并输出概率。独立预印本在 11 个评委基准上评测 14 个 System-1 决策模型与四个生成式评委,发现多个决策模型的评判准确率可与生成式评委相当:5 个模型在全部五项两两对比与 best-of-4 基准上与无推理的 GPT-5.6 统计上不可区分;提供参考答案时,11 个模型在 JudgeBench 达 90.3-93.4%,并在 PPE best-of-16 上以约十六分之一的单条成本追平开推理的 GPT-5.6。Scale Labs 用相同输入对比后称,含写参考答案的 GPT-5.6 调用在内每个提示词成本 0.0051 美元,带推理的 GPT-5.6 为 0.0827 美元。预印本还发现,对被评回应中注入指令的鲁棒性取决于具体模型而非 System-1 设计。
AI 根据报道生成 · 3 天前更新
走势与进展
每小时关注度一个进展,越高报道越多
现在 42,24 小时 +2%·峰值 43(11月13日 05:00)·这段时间 1 个进展,此前 1 个
事件进展
后续时间线
- XX @_akhaliq· 讨论Jeveration(新标签页打开原帖)
- IEEE Spectrum AIAI 公司开发决策模型以避免幻觉
TypeSafe AI 发布决策模型 Jev,宣称其更快、更便宜且不会产生幻觉,Cloudflare、OpenAI 等公司迅速跟进推出同类模型。这类模型保留 LLM 架构但只做一次前向传播,只能从预设选项中作答并输出概率。独立预印本测得 Jev 在 RewardBench 等基准上中位延迟 150 毫秒,GPT-6 Astra 为 1.89 秒。
- Scale Labs精选用 Jev 还是不用 Jev:何时将 System-1 决策模型用作 LLM 评审
Scale Labs 在 11 个评审基准上用相同输入对比 14 个 System-1 决策模型与 4 个生成式评审,发现 DReX-Max、d1-ultra、Mercury-Decide、Jev 1.14 和 pplx-decider 1.2 这五个模型在测试的五个成对与 best-of-4 基准上与不带推理的 GPT-5.6 统计上无法区分,不过在该样本量下只有约 5 个百分点以上的差距才能被稳定检出。为每个提示词写一份参考答案后,11 个 System-1 评审在 JudgeBench 上达到 90.3% 至 93.4%,与前沿推理评审持平;在 best-of-16 选择上,含写参考答案的 GPT-5.6 调用在内每个提示词成本 0.0051 美元,而带推理的 GPT-5.6 为 0.0827 美元。
- arXivJev 还是不 Jev:System-1 决策模型何时能取代 LLM 评委?
论文在 11 个评委基准上评测 14 个 System-1 决策模型(含 TypeSafe 的 Jev)与四个生成式评委(Claude Haiku 5.5、GPT-5.6 与 Claude Opus 5.5,含不同推理设置),发现多个决策模型的评判准确率可与生成式评委相当。5 个模型在全部五项两两对比与 best-of-4 基准上与无推理的 GPT-5.6 统计上不可区分;在提供参考答案时,11 个模型在 JudgeBench 达 90.3-93.4%,并在 PPE best-of-16 上以约十六分之一的单条成本追平开推理的 GPT-5.6。对被评回应中注入指令的鲁棒性取决于具体模型而非 System-1 设计,在被评回应后附加一段给评委的说明会翻转五个模型 0-5% 的正确判定,另外九个为 17-49%。
相关讨论
- XX @_akhaliqJeveration(新标签页打开原帖)
关注度走势
每天新增来源
- 11月13日新增1个来源(1家媒体、0个账号)
- 11月14日新增0个来源(0家媒体、0个账号)
- 11月15日新增0个来源(0家媒体、0个账号)
- 11月16日新增0个来源(0家媒体、0个账号)
- 11月17日新增1个来源(1家媒体、0个账号)
- 11月18日新增0个来源(0家媒体、0个账号)
- 11月19日新增1个来源(0家媒体、1个账号)
- 11月20日新增0个来源(0家媒体、0个账号)