JevAgentHarness：对与 LLM 共享控制权的决策模型进行基准测试、部署与训练

如何在少损失成功率的前提下，把智能体harness中的常规多选交给更快、更便宜的决策模型。

• 场景：作者称LLM智能体已能改仓库代码、操作桌面与网页、完成终端任务并按领域政策服务客户，但多数harness每步调用大模型，长任务又慢又贵。作者称一次公开排行榜评测约花费40,000美元；多数调用以多选结束，例如客服下一步是查订单、取消还是询问客户。
• 不足：决策模型如JEV不生成文本，而是给列出的每个选项一个概率。一次记录中，JEV耗时为一次LLM调用的28%，价格为2.6%。作者称这类模型在固定问题上构建和测试，尚未在智能体内部检验；错误会带到后续步骤，固定题集也很少包含智能体自己犯错后的状态，且每次查询都增加延迟。
• 假设：作者认为，决策模型若由智能体内部的测试选出、只在有信心时使用，并在智能体自己到达的状态上训练，就能帮助智能体。
• 做法：作者建立AGENT DECISION BENCH，从孤立题测到接管运行中的智能体；设计JEVAGENT HARNESS，在智能体自己的轨迹上为每种选择拟合阈值，低于阈值仍由LLM决定；并训练开放的4B模型AGENT DECISION-4B。作者要找的是成功率落在LLM单独运行3个百分点以内、成本更低的委派集合。

决策模型

• JEV与开放模型：JEV以及Intern-Decision、StartLux-Decision、OpenJev给列出的选项打分，而不是生成文本（Almeida, 2026; InternLM, 2026; StartLuxLabs, 2026; razorback16, 2026）。已有系统把决策模型用于游戏动作、记忆、升级和评判（Ma et al., 2026; Jiang et al., 2026; Wu and Lim, 2026b; Li et al., 2026）。
• DecisionFlow：Chen et al. (2025) 结构化LLM的决策。作者把本文称为智能体的decision modeling，并引用该工作。
• REFLEX：Wu and Lim (2026b) 在置信度低于一个全局阈值时把动作交给LLM。作者称本文改为每个决策点拟合一个阈值。

决策与工具使用评测

• 固定问题：决策与工具使用基准给固定问题打分（Benchmark Heaven, 2026; Ling et al., 2026; Patil et al., 2025; Ross et al., 2025）。
• 整段轨迹：智能体环境给整段轨迹打分（Yao et al., 2025; Trivedi et al., 2024; Lu et al., 2025）。作者称AGENT DECISION BENCH补上步骤级和任务级测试。
• 同分不同决策：Zhang et al. (2026) 讨论分数相同的模型仍可能做出不同决策。论文对此只作描述。

路由、推迟与训练

• 路由器与级联：为一次调用选择模型（Chen et al., 2024; Ong et al., 2025; Aggarwal et al., 2024）。LLMRouter比较学习型路由器（Feng et al., 2026a）。作者称路由、级联、小函数调用模型和快慢智能体，多在固定问题或单一选择上测试。

• 学习推迟：不确定时交给专家（Geifman and El-Yaniv, 2017; Mozannar and Sontag, 2020）。作者称决策模型改为给列出的选项打分，不确定再推迟。

• 智能体强化学习：训练对象是LLM（Jin et al., 2025; Wang et al., 2025d）。作者称本文训练的是决策模型。

• 基线与基准：任务级对照是LLM单独运行，主实验为Gemini 3.5 Flash，另有Flash-Lite。决策模型对照包括Intern-Decision-4B、StartLux各尺寸、OpenJev、OpenAI Decisions和未训练的Qwen3-4B。短名单对照含BM25关键词短名单。数据包括BFCL v4、When2Call、DECISION GYM及其Shift与Hard、τ2-bench、SWE-bench Verified、Terminal-Bench 2.0和ALFWorld。

作者把区别放在：决策模型只给harness列出的选项打分，不确定时交还LLM；阈值按决策点在智能体轨迹上拟合；评测做到步骤级和任务级；训练状态来自智能体自己访问过的轨迹。

整体做法是把harness的常规选择写成多选题，只在决策模型置信度超过按轨迹拟合的阈值时采纳，并让AGENT DECISION-4B在智能体到达的状态上学习JEV的答案。

决策点、模式与阈值

• 八个决策点：三个决定动作，即工具、参数，以及无工具时的下一步动作。五个控制回路：是否写记忆、失败后是否反思、是否停止、是否把步骤路由到更便宜的LLM、读回哪些笔记。选项由harness列出。
• 五种模式：REPLACE始终由决策模型决定；CASCADE先由它答，置信度达到阈值才采纳，否则LLM决定；ASSIST缩小候选后由LLM选；GUARD批准或退回LLM的提议；TRIGGER决定可选步骤是否运行。作者称实现了全部40种点与模式的组合（附录A）。一次委派是某个决策点加上模式和阈值，例如工具选择的级联。
• 输出：模型读入状态文本、一个问题和选项，返回每个选项的概率。答案是最可能的选项，置信度是该选项的概率。JEV直接返回该概率；开放模型在一次前向中给全部选项打分。
• 移交条件：作者给出，在所列假设下，值得移交当

c(s) ≥ τ^⋆ = max(0, q_L − Δ C/V) 其中q_L是LLM在该选择上的正确率，ΔC是省下调用的价格，V是一次错误选择的代价。含义是：节省能覆盖额外风险时，决策模型可以比LLM少准一点。

阈值如何拟合

• 静默记录：先在单独任务上跑智能体，每个智能体LLM 150个任务。决策模型对每题作答但不执行，即shadow mode。
• 估计量：按决策点估计q_L、一次调用的价格，以及V，即一次错误选择带来的任务成功率下降，按每解出一题1美元计价。轨迹还给出各置信度上的准确率，故置信度不必等于真实正确率（附录A）。
• 取值：阈值是“高于该置信度后接受值得”的最低置信度。没有合格区间时，仍由LLM决定。LLM、决策模型或任务规则变化时重拟合。
• 拟合结果：作者报告JEV配Flash时，工具阈值为1.00，参数为0.99，因此只用接近确定的答案。

AGENT DECISION BENCH

• L1：把BFCL v4的1,114条工具选择和1,949条参数项，以及When2Call的928条，改成多选题。周围没有智能体，答错不影响下一步。
• L2：在200个新DECISION GYM任务的5,314个相同状态上作答，只打分不执行。对照是可接受的下一步答案键。
• L3：决策模型做运行中智能体的每一次工具选择；ALFWorld中为每一次动作。无阈值，LLM写参数，选择会被执行。衡量的是任务成功率。
• DECISION GYM：模拟小店客服。评测设置下每题提供同样的68个工具加finish，顺序打乱：7个核心工具、1个询问客户、31个近似重复、29个无关工具。任务来自脚本计划，所以每个仍可解的状态，包括绕路之后，都能导出答案键。答案键对所有模型隐藏。strict mode下，不在计划中的数据改写会结束回合。训练、拟合和测试用不相交随机种子。后加的Shift改工具名、措辞和请求种类；Hard每题10或12个客户，并加入取消或发货的新规则。

JEVAGENT HARNESS

• 题面：每个选择使用JEV的输入格式。工具调用拆成一次工具选择，再加上每个有界参数或可从上下文复制的参数各一题。自由文本只由LLM写。接受该格式的模型都可接入（附录C）。
• 低于阈值：LLM照常决定。不确定的答案多一次决策模型调用，但不把任务交给可能错误的选择。
• 适配器：通过现有harness的钩子提问，包括mini-SWE-agent的强弱LLM路由、pi的守卫和触发，以及Codex CLI与Claude Code的命令钩子。适配器或决策模型失败时，harness按原方式运行（附录Table 9）。

训练与何谓通过

• 数据：在587个训练任务上记录15,694个决策状态。脚本策略重复开发中见过的错误，30.9%的状态出现在错误之后。教师JEV把正确答案排在第一时，目标把该答案的one-hot与教师概率混合，混合系数α为0.3；否则目标只是one-hot。
• SFT：交叉熵加平方误差项，平方项权重μ为0.5。基座是Qwen3-4B，LoRA秩32，2个epoch，学习率10的-4次方。
• GRPO：SFT模型在训练任务上做决策，固定的智能体LLM做其余部分。每题G为8条轨迹。奖励是成功减去LLM调用次数惩罚，再减去不可逆错误调用；λ为0.5，N0为10，η为0.2。智能体LLM为Flash-Lite，保留第15次迭代。附录D给出目标式。
• 通过标准：Stage 1单独测每种委派，保留更便宜且非劣效者。非劣效指同一批任务两种跑法下，单侧5%检验显示成功率损失小于3个百分点，τ2-bench为5个百分点。11个注册检验用Holm校正，使任一错误通过的概率保持在5%。Stage 2在新任务上一起测通过的委派；其计划在阅读任何Stage 1结果之前注册。

实验设置

• 智能体LLM：主实验是Gemini 3.5 Flash（文中称Flash），原生工具调用，温度0。更便宜的Gemini 3.5 Flash-Lite接收被路由的步骤，并模拟τ2-bench用户，也是DECISION GYM上的第二智能体LLM。追加实验还有DeepSeek-V4-Pro与V4-Flash、Gemini 3.8 Flash、GPT-6-Luna和GPT-6.1-Sol。
• 决策模型：注册实验以JEV为主，三个委派另用Intern-Decision-4B。对比还包括StartLux-0.8B到27B、OpenJev、OpenJev-27B、OpenAI Decisions、未训练的Qwen3-4B，以及作者训练的AGENT DECISION-4B和AGENT DECISION-0.8B。附录Table 32另有一轮可服务的公开决策模型。
• 数据规模：L1为BFCL v4的1,114条工具选择、1,949条参数项和When2Call的928条。L2为200个任务的5,314个状态。Stage 2用500个新DECISION GYM任务。Shifted的任务级为200题；Hard为10或12个客户。τ2、SWE-bench Verified、Terminal-Bench 2.0和ALFWorld的样本量见各表。
• 对照：同一批任务上的LLM单独运行；无决策模型的简单对照；固定阈值0.5；BM25关键词短名单；同调用率的随机触发。
• 指标与判定：任务成功率、成本、耗时、LLM调用次数，以及孤立题与步骤级准确率、ECE。DECISION GYM的标签来自答案键，不是人工。非劣效边际为3个百分点，τ2-bench为5。除非表中写明重复次数，每臂每题一次、温度0。
• 选择规则：Stage 1有11个注册检验。Stage 2的组合由事先固定的规则从Stage 1结果中选出：每个决策点取节省最大且通过的委派，否则留给LLM。四个Holm校正检验分别检查组合是否仍非劣效且更便宜，以及自训模型能否换下JEV。

主结果

作者称孤立题分数会排错用于智能体的决策模型。下表为Figure 4b。附录G.5写明：L1是BFCL工具选择1,114条；L2、L3是shifted DECISION GYM，L2为100题的1,250个录制状态，L3为200题且模型做每一次工具选择。图中spread为5.1、19.7、57.5个百分点。省略AGENT DECISION-0.8B（87.1 / 95.6 / 82.0）。

表格较宽，可左右滑动

决策模型	L1 (%)	L2 (%)	L3 (%)
StartLux-9B	92.2	90.9	69.5
AGENT DECISION-4B	89.3	94.9	91.5
JEV	89.9	91.8	82.0
StartLux-27B	90.8	94.7	79.9
OpenJev-27B	90.2	92.4	69.5
OpenAI Decisions	90.6	86.1	66.0
StartLux-4B	91.3	86.5	49.0
Intern-Decision-4B	88.2	75.9	34.0

• 作者的解读：作者称孤立分数会排错。BFCL工具选择最高的StartLux-9B只完成69.5%的任务；BFCL上较低的AGENT DECISION-4B完成91.5%，JEV完成82.0%。步骤级准确率与任务成功率的Kendall相关为0.84。
• 对照：附录G.5写明，这200个shifted任务上Flash单独解出100.0%。StartLux-27B的L3是前164题。
• must-ask：作者称差距在必须询问客户的状态。AGENT DECISION-4B答对67.4%，JEV答对58.3%（§7.1）。Figure 4b的91.5%与Table 3中加公开数据一行的任务成功率相同；论文未在图注中另写训练阶段。

哪些委派能过注册检验

• 级联：Flash为智能体LLM时，JEV做了27.2%的工具选择和20.8%的参数选择，成本降14.2%，500题中无一结果改变，并通过注册检验（§7.2、Table 24）。Flash-Lite上拟合阈值把全部工具选择留给LLM，级联没有节省。
• 无阈值：让JEV做每一次工具选择，成功率降19.0个百分点。固定阈值0.5降21.5个百分点（Table 2）。作者称拟合阈值保住了成功率。
• 未转移：在τ2-bench上重拟合后，通过的最便宜委派仍降8.1个百分点，作者称未能说明它能转移（Table 24）。

部署后的成本、时间与Stage 2

• 近满分的500个新任务：Flash单独成功率为99.4%（Table 29）。JEV的选定组合成功率为97.2%，差−2.2个百分点，成本省40.7%，未通过非劣效。换成AGENT DECISION-4B V1后成功率为100.0%，差+0.6个百分点，成本省81.1%，检验成立。共同状态上，V1相对Intern-Decision的准确率差为+24.0个百分点，相对JEV为+7.7个百分点，检验成立。
• 自有GPU：Table 2中，加公开数据的4B在自有GPU上成本省86.3%，时间省60.3%。作者称AGENT DECISION-4B使智能体便宜86.3%、快至2.5倍。共享GPU一行成本省81.1%，时间节省为−49.5%，即更慢。附录C.1称约四路共享时，排队占回合时间的66.1%。
• 更难设置：作者称Table 1各行是Stage 1之后追加的。ALFWorld上，在其状态训练的4B使成功率从90.7%到95.0%（n=140），成本省89.0%，时间从37.0秒到18.2秒。编码智能体由JEV在强弱LLM间路由，成本降7.0–10.5%，成功率随harness变化；SWE-agent从63.0%到57.0%（n=100）。Hard任务上委派保持或提高成功率，但只省4.6–30.5%成本，并且更慢。

4B模型能否学会这些决策

• SFT是主要增益：shifted状态上，步骤级准确率从52.9%升到98.4%，孤立准确率只升7个百分点（Table 3）。SFT用2.2个GPU小时。Qwen3-4B在shifted任务上的成功率从13.5%到96.0%；StartLux-4B加同一配方后从49.0%到98.0%。
• GRPO：在SFT之上再加4.5个GPU小时和26.53美元的LLM调用，作者称无可测增益。不做SFT时，GRPO之后shifted任务成功率为11.5%，之前为13.5%（附录D.4）。
• 失败形态：作者报告JEV的34个失败任务都始于不可逆的错误工具选择，通常是该询问时却取消。在智能体状态上训练的模型没有这类错误（附录G.7）。Hard、10个客户、模型未学过该规则时，AGENT DECISION-4B做了多数取消或发货决策，但对了81.6%，任务成功率3.0%，LLM单独为88.0%。在该规则上再训练后，留出准确率从76.5%到95.3%（附录D.6）。

其他消融与分析

• 固定阈值0.5：成功率−21.5个百分点，成本省84.5%；shadow mode拟合阈值：+0.0个百分点，省14.2%（Table 2）。
• 三工具短名单：−7.8个百分点，成本省53.7%；关键词短名单任务成功率18.8%，JEV短名单92.0%（§7.2）。
• 停止守卫：成功率差−0.6个百分点，成本高6.2%，注册检验为非劣效（Table 24）。
• 把Flash-Lite的步骤送给Flash：成本高36.2%，成功率差+0.6个百分点，检验未成立（Table 24）。
• 公开工具数据续训：孤立准确率从78.8%到85.1%，shifted任务成功率从96.0%到91.5%（Table 3）。
• GPT-6-Luna上重拟合的工具级联：成功率从45.0%到83.0%（n=100），成本为参考的8.4倍（Table 1）。

作者指出的局限与后续方向

• 语言与智能体LLM：任务和提示词都是英文，多数运行用Gemini，少量用DeepSeek和OpenAI。作者写明，换语言或其他智能体LLM时，值得委派的选择种类可能不同（Limitations）。
• 检验类型：主检验是非劣效，说明成功率下降小于固定边际，即3个百分点，τ2-bench为5。作者写明，要说明成功率相等需要等价检验（Limitations）。
• 绑定到具体智能体：阈值和训练后的决策模型拟合于该智能体自己的运行。作者写明，新智能体、新工具或新任务族需要重拟合；要得到更好的准确率，还需像ALFWorld那样在该智能体的状态上训练（Limitations）。
• 自由文本动作：编码智能体的动作是自由文本，决策模型只能选择哪一个LLM来写这一步。作者写明节省为7.0–10.5%，把只读文件的步骤交给快模型没有可靠节省，因为决策模型几乎分不出这些步骤（Limitations，附录C.3）。
• 价格与延迟：作者写明所报价格和延迟是当时记录的，会随供应商、硬件和决策模型的服务方式变化（Limitations，附录F）。
• 未做的比较与漂移：作者写明没有与RouteLLM等学习型路由器在同任务上比较，且本次运行中GRPO相对SFT无可测增益。部署中可以跟踪超过阈值的答案比例，以便发现任务漂移、阈值需要重拟合（Limitations）。

实验覆盖范围

• 智能体LLM：实验中跑过Gemini 3.5 Flash、Flash-Lite、DeepSeek-V4-Pro、DeepSeek-V4-Flash、Gemini 3.8 Flash、GPT-6-Luna和GPT-6.1-Sol（§6、Table 1、Table 28）。
• 决策模型与层次：主对比包含JEV、AGENT DECISION-4B及其V1、0.8B配方、Intern-Decision-4B、StartLux五个尺寸、OpenJev与OpenAI Decisions。评测分L1孤立题、L2录制状态和L3接管运行中的智能体（§3、Figure 4）。
• 任务与harness：DECISION GYM含普通、Shift和Hard；公开基准含BFCL v4、When2Call、τ2-bench、SWE-bench Verified、Terminal-Bench 2.0和ALFWorld。适配器接到mini-SWE-agent、SWE-agent和pi（§3、附录C）。
• 委派网格：八个决策点、五种模式；附录A称40种组合都已实现。Stage 1为11个注册检验，Stage 2为4个，另有6个次级检验（Table 24）。
• 协议中写明的量：校准为每个智能体LLM 150题；训练为587题、15,694个状态；GRPO每题8条轨迹，保留第15次迭代。除非表中另写，每臂每题一次、温度0。论文写明未与RouteLLM在同任务上比较。

这篇工作把智能体循环里的多选，从每步都调用的大LLM挪到小决策模型上，并同时给出评测、委派规则和训练配方。

• 问题：作者称长任务慢且贵，是因为harness每步调用大模型，而多数调用以可列举的选择结束，如下一个工具、参数或是否停止。固定题上的分数不能说明模型在运行中的智能体里是否可用。
• 方法：AGENT DECISION BENCH分三层：孤立多选题、只打分的录制轨迹、以及真正执行选择的任务级。JEVAGENT HARNESS在智能体自己的轨迹上为每个决策点拟合置信阈值，低于阈值仍由LLM决定。AGENT DECISION-4B以Qwen3-4B为基座，在智能体访问过的状态上用JEV的答案做SFT，再在回路里做GRPO。
• 评测发现：shifted任务上，模型做每一次工具选择时，BFCL工具选择最高的StartLux-9B任务成功率为69.5%，AGENT DECISION-4B为91.5%，JEV为82.0%（Figure 4b）。无拟合阈值时，JEV接管全部工具选择使成功率降19.0个百分点。
• 部署数字：拟合后的工具与参数级联，在Flash的500题上省14.2%成本且结果不变。500个新DECISION GYM任务上，JEV组合降2.2个百分点、未通过非劣效；换成V1后成功率为100.0%，成本省81.1%并通过。加公开数据、自有GPU时，Table 2的成本节省为86.3%，作者称快至2.5倍。ALFWorld上当地训练的4B使成本省89.0%。
• 作者的结论：作者认为结果支持该假设，即决策模型在智能体内部被测试、只在有信心时使用、并在智能体到达的状态上训练时，能帮助智能体。编码智能体的动作是自由文本，决策模型只能选哪个LLM写这一步，节省较小。