READY：面向企业 Agent 部署的可靠性资格认证框架

企业部署要问的不是智能体能否自主做完专业工作，而是人机系统能否在可接受的人工监督和成本下达到规定可靠性。

• 出现场景：作者称企业开始把需要领域知识、工具和多步任务的专业工作交给 AI 智能体。组织很少需要完全无人值守，而是让一部分工作自主完成，另一部分由人复核、纠正、批准或接管。
• 现有评测的缺口：作者称现有智能体基准主要衡量能否完成任务以及结果质量，回答的是能力问题。文中举例：自主正确 80% 并不因此就可以或不可以部署，还要看错误的 20% 能否被识别并交给人，以及复核增加多少成本。
• 作者的观察：自主表现接近的系统可以对应很不同的可靠性–监督权衡。摘要与引言给出同一对数字：GPT-5.4 与 Sonnet 5 的自主准确率相差 0.3 个百分点（72.8% 对 72.5%），在同一 76% 可靠性目标和所评估的监督策略下，人工复核率分别为 39.2% 与 29.6%。
• 本文提出：作者提出 Reliable Enterprise Agent Deployment（READY）。它保留每个工作流自己的成功定义，在候选监督策略中选满足可靠性目标的最低成本策略，冻结后在留出病例上做统计资格认定，并给出部署画像。作者实现了与现有评测基础设施解耦的测试床；端到端案例是回顾性临床审计，16 个系统、750 例。

能力与工作产品基准

• 知识考试到可执行工作：Humanity’s Last Exam（Phan 等，2025）评封闭式前沿题目的孤立答案。Agents’ Last Exam（Sun 等，2026）、GDPval（Patwardhan 等，2025）、xbench（Chen 等，2025）转向长程计算机使用、专家工作产品或职业对齐的生产力。作者称这些评测主要刻画工作是否完成、完成得如何。
• 成本与一致性：Kapoor 等（2024）主张在留出数据上同时报告成本与准确率。τ-bench（Yao 等，2024）的 pass^k 衡量 k 次独立尝试是否都成功。作者指出前者仍是能力证据的扩展，后者不纳入人工监督或运营成本。
• 周围任务套件：作者还综述网页、办公、CRM、终端、工具使用和智能体安全等基准，以及评测综述。这些条目在文中是目录式描述，没有逐篇与 READY 做实验对比。

选择性预测、推迟与置信信号

• 风险–覆盖：Chow（1970）、El-Yaniv 与 Wiener（2010）、Geifman 与 El-Yaniv（2017）给出拒绝选项和选择性分类。作者写明第 3.4 节的风险–覆盖曲线和 AURC 直接来自这一文献。
• learning to defer：Madras 等（2018）、Mozannar 与 Sontag（2020）让模型在自行预测和交给下游决策者之间选择。作者指出，弃权率或推迟率本身不说明被推迟病例后来怎样，因而不能决定部署是否可接受。
• 作路由信号的置信：Kadavath 等（2022）的 P(True)、P(IK)，以及 Kuhn 等（2023）的语义不确定性等，是候选信号。作者称 READY 不规定信号，只评估部署策略能观察到的信号；阈值路由需要排序，不把校准当作资格前提。

成本路由、人工监督与执行框架

• 模型间路由：FrugalGPT（Chen 等，2023）和 RouteLLM（Ong 等，2025）在模型之间做级联或路由，以较低成本达到质量条。作者指出三点区别：升级对象是人而不是更强模型；用留出数据上的可靠性下界，而不是平均成本–质量点；质量条可以包含过程与政策要求。
• 人工监督：作者引用 Vaccaro 等（2024）对 106 项研究的元分析，其人机组合平均不如单独的人或 AI 中较强的一方。作者称 READY 因此不默认复核会改善结果，而把复核成功率当作测量量或显式假设。模型卡（Mitchell 等，2019）报告预期部署条件下的表现；作者称 READY 报告的是特定人机配置的部署画像，而不是单独认证智能体。
• 执行框架：Inspect AI（2024）标准化任务、沙箱、评分和日志；Harbor（2026）、AgentBeats（Liu 等，2026）负责容器化或统一协议下的比较。作者称 READY 不是竞争框架，参考实现跑在 Inspect 上，增加的是证据支持哪个部署工作点。

基线与基准

• 基线方法：案例主策略是只看陈述置信的终态接受或升级。附录 B.5 的负对照是不确定裁决一律复核，与信号策略用同一套开发集选择、冻结和资格流程。
• 基准：CliniCARE-Bench 的回顾性临床审计，750 个病例，四类裁决。

作者称 READY 不替代能力基准，而是在其证据上增加可靠性–监督–成本资格层。Table 4 的说明中，作者称 READY 是把可执行任务、交互、对目标的可靠性、运营成本、人工监督和留出统计资格这六项合成单一部署资格声明的方法。

作者把部署资格写成对监督策略类的约束优化：先按工作流自己的标准衡量执行是否成功，再选最低成本且达到可靠性目标的策略，最后在未参与选择的病例上做统计认定。框架名为 READY。Figure 1 把流程画成规格输入、测试床内三阶段、部署画像；图中绿色数字是造影 CT 后急性肾损伤审查的示意，不是第 5 节 16 系统的测量结果。

部署目标的形式化

• 对象：工作流 w 有环境 Ew、病例总体 Dw 和有限样本 Sw。智能体 m 在策略 π 下产生轨迹。评测器 gw 把轨迹映成测量向量，成功谓词 ϕw 再映成二元结果 ui。测量与资格分开：前者记录测了什么，后者规定哪些测量算成功。
• 两个量：部署可靠性是 R_m,w(π)=E_{x∼ Dw}[u^π(x)]，即随机病例上满足预定成功准则的概率，不是单个病例的属性。运营成本 C 是执行成本 Kw 的期望，可分成智能体成本与人工成本，二者都可以随 π 变化。
• 选择：在可行集上取 π^⋆∈argmin_{π∈ Fm,w(Y,Bw)} C_m,w(π)。可行集要求可靠性不低于目标 Y，可选风险泛函不超过 Bw；只关心平均可靠性时风险约束不启用。可行集为空，表示所评估的策略类不支持该工作点。式（9）只定义选择，不定义统计资格。

终态接受或升级

• 路由：临床审计案例用轨迹不变的终态策略。智能体先做完，留下轨迹、路由信号 si 和自主成功 ui；部署时只能看到 si 一类可观察量。标量阈值策略在 si≥τ 时接受，否则复核。覆盖率 c(τ) 是 s≥τ 的概率，复核率是 1−c(τ)。
• 人机可靠性：接受子集上的成功率为 a(τ)。复核路径成功率 ah(τ) 可以实测，也可以作为部署假设。因为路由不是随机抽样，ah 可以随 τ 变化。常数 ah 时，系统可靠性是自主接受与复核两条路径的凸组合。作者用此说明：自主基准成功率不决定部署可靠性。
• 成本：常数近似下，每例成本为智能体执行成本 km 加上复核增量成本 kh 乘复核率。km 与 kh 都为正且为常数时，最小化成本等价于在可行策略中最小化复核率。若有病例级成本，则直接估计策略诱导的成本，不把 kh 设成常数。案例研究未给出 km、kh 的金额，比较用的是复核率。
• 信号诊断：选择性风险 r(τ) 是被接受病例中失败的概率。AURC 是风险–覆盖曲线下面积，越低越有利，但受自主成功率基线影响。AUROC 只衡量 si 对成功 ui 的排序，不直接由成功率患病率决定。二者是这一策略类的诊断，不是通用资格量。附录 A.1 要求提高阈值不降低保留病例的成功率；阈值路由不要求 si 已经校准。

留出统计资格认定

• 冻结：样本分成开发集与资格集。路由规则、阈值、优化步骤和开发阶段边际都只用开发集。选中的策略在查看资格结果前冻结。开发阶段目标可以等于部署目标 Y，也可以加预先规定的边际。临床审计全部使用 δ=0.05，在开发集上要求估计可靠性不低于 Y+δ，以避免直接贴着 Y 选阈值后通不过留出下界。
• 判定：点估计高于目标不够。复核结果被观察到时，病例结果是接受则用自主成功、否则用复核成功，并可用单侧二项下界。复核未执行时，ah 是假设：接受病例贡献观察结果，复核病例贡献 ah。Table 3 与附录 B.1 的计算只对接受病例的成功率做单侧 95% Clopper–Pearson 下界，不给 ah 置信；达标条件是该下界不低于 Y。第 3.5 节还写了对有界病例级量的均值直接做下界。声明写成“在所声明的 ah 下于目标 Y 达标”。
• 盈亏平衡：amin_h 是冻结策略仍能达标的最弱常数复核成功率。若 [0,1] 内没有任何 ah 使下界过线，则报告在任何常数复核成功率假设下都不达标。ah 若来自独立复核数据，不确定性也要传递，不能当成已知常数。
• 抽样与风险：重复运行不当作新的独立病例；按患者、客户或站点聚类时，置信区间或重抽样要在聚类层做。未过线的策略不得用资格集重调。除非另有同时推断程序，声明是针对预先指定目标和冻结策略的逐点声明。失败后果不同时，可选工作流损失和尾部风险约束；附录 A.2 给出 CVaR 的一种实现，损失、尾部水平、容忍度和置信水平必须在看留出结果前规定。

轨迹相关监督与测试床

• 轨迹相关：干预发生在执行中时，改变 π 会改变后续观察和行动，不能只重放已保存轨迹，必须在运行时执行或模拟。优化目标仍是式（9）。作者不规定优化算法。第 5 节的实例不是这一设置。
• 三份规格：工作流规格给出总体、样本和环境；评测规格给出 gw、ϕw 和路由信号；部署假设给出 Y、人工监督模型、成本模型和风险容忍。后两者与测量证据分开，以便同一证据在新要求下重算。参考实现使用 Inspect AI：病例对应 Sample，评分器是产生测量的一种机制，ϕw 仍是 READY 层定义。
• 临床审计实例：智能体看到审计问题和纵向病历，检索证据、应用临床标准，并返回四类裁决之一、引用和陈述置信。四类为 Yes、No、Indeterminate: Lack of Data、Indeterminate: Medically Ambiguous。正确的不确定裁决本身可以是成功执行，与“把已完成病例升级给复核”不是同一决定。主成功指标是裁决与参考一致；过程感知变体另要求没有取消资格的过程缺陷，用作稳健性检查。
• 证据接口：资格记录与部署假设分开保存。只改 Y、复核模型或成本时，从已有记录重算；改评测器时，轨迹若含修订评测器所需的全部输入则可重评分，否则重跑；改智能体、环境、工具或总体则重跑并重新资格认定。作者把资格声明写成版本化谱系加部署假设，而不是智能体的永久属性。

实验设置

• 被测系统：16 个，各在全部病例上运行（§5.1）。Claude Code：Opus 5、Sonnet 5。Codex：GPT-5.6-Sol、GPT-5.6-Luna、GPT-5.5、GPT-5.4、GPT-5.4-mini。Gemini CLI：Gemini-3.6-Flash、Gemini-3.5-Flash、Gemini-3.1-Pro。opencode：DeepSeek-V4-Pro、DeepSeek-V4-Flash、GLM-5.2、Qwen-3.7-Plus、MiniMax-M3、Kimi-K2.7-Code。
• 数据与判定：CliniCARE-Bench 750 例，共 12,000 次 system–case 运行。参考裁决为 Yes 352（46.9%）、No 248（33.1%）、Indeterminate: Lack of Data 123（16.4%）、Indeterminate: Medically Ambiguous 27（3.6%）。主成功是四类裁决与参考一致，不是 LLM 评审。过程感知变体另要求无取消资格的过程缺陷。
• 信号与缺失：路由信号是报告中的陈述置信，重标度到 [0,1]。11,992/12,000 次有信号；7 次未给置信、1 次无报告，赋 si=0 并最先升级。§5.1 称不同置信取值从 5 个（Gemini-3.1-Pro）到 36 个（GPT-5.4-mini）。
• 划分：病例一次均匀随机、固定种子分成开发集与资格集，各 375，不按运行划分，故系统间比较配对。未分层，但保留裁决比例：开发集 172/126/64/13，资格集 180/122/59/14。
• 策略与假设：单一终态阈值，对四类预测使用同一 τ，在开发集按 Y+0.05 选择后冻结。主假设 ah=0.90。因为观察范围内选择性成功低于 ah，没有策略能超过可靠性 0.90；高于 0.90 的目标达不到，作者称为复核路径假设的结构上限，而不是智能体能力。
• 指标：开发集报告 a0、AURC、AUROC、Succ@50%（各自最有信心的一半病例上的选择性成功）。资格集报告复核率、可靠性点估计、单侧 95% 下界和 amin_h。达标当且仅当下界不低于 Y。论文未报告 km、kh 金额，也未对每条升级病例执行人工复核。

主结果

下表只列 8 个系统。a0 来自开发集 Table 2（n=375）；复核率、点估计和下界来自资格集 Table 3（Y=0.76，ah=0.90，Nqual=375）。未列入 GPT-5.6-Sol、GPT-5.6-Luna、GPT-5.4-mini、两个 Gemini Flash、两个 DeepSeek 和 MiniMax-M3。

Swipe horizontally to read the table

系统	开发集 a0	复核率	点估计	95% LCB	达标
Opus 5	75.7%	22.4%	0.839	0.807	是
Sonnet 5	72.5%	29.6%	0.856	0.826	是
GPT-5.5	75.7%	21.3%	0.843	0.811	是
GPT-5.4	72.8%	39.2%	0.828	0.797	是
GLM-5.2	75.7%	10.9%	0.762	0.725	否
Gemini-3.1-Pro	70.9%	100%	0.900	0.900	是†
Qwen-3.7-Plus	66.4%	61.9%	0.874	0.851	是
Kimi-K2.7-Code	65.9%	67.7%	0.860	0.837	是

• 接近的自主准确率：比较对在开发集选定，并在阅读资格集结果前冻结。作者称排行榜上几乎并列的系统，部署复核负担可以不同；该差距被归到路由质量，而不是自主准确率。Sonnet 5 的开发集 AUROC 为 0.681、AURC 为 0.203，GPT-5.4 为 0.601 与 0.222（Table 2）。
• 点估计过线仍可能不达标：GLM-5.2 的点估计只比 0.76 高 0.002，点估计与下界之差为 0.037。作者称提高 ah 只挪动被复核的那部分质量，没有任何 ah∈[0,1] 能使其达标；要达标需 δ≥0.075，复核率升到 32.0%，高于 Opus 5 和 GPT-5.5。
• 全复核与边际：表注 † 的 Gemini-3.1-Pro 只靠把全部病例交给复核才达标，得到的正是 ah；作者称这不是部署。该目标下 15/16 达标。无选择边际时，前沿扫描中 46% 的策略达标；δ=0.05 时为 95%（§5.5）。

路由质量与可靠性–监督前沿

• 测了什么：在开发集上扫描阈值，看陈述置信能否把失败优先移出自主处理。Figure 2 的图注给出纵轴为接受病例中的选择性风险、横轴为自主覆盖率，阴影带为接受病例少于 19、选择性风险估计不稳定的区域；图注称曲线越低表示选择性路由越有效，并高亮 Sonnet 5 与 GPT-5.4。可选阈值只落在置信并列组的边界上。
• 结果：Table 2 上，作者称 a0 与 AUROC 基本不相关（Pearson ρ=−0.12），AURC 与 a0 的 ρ=−0.80。Qwen-3.7-Plus 的 a0 为 66.4%，AUROC 为 0.711，是表中 AUROC 最高的一行。Gemini 模型在至多 73% 的病例上给出 100% 置信，因而最严的可达策略仍让多数运行保持自主（§5.3）。
• 作者的解读：Figure 3 图注写，在资格集、ah=0.90 下，Y=0.76 时 Sonnet 5 复核 29.6%，GPT-5.4 复核 39.2%；到 Y=0.85，每个系统的复核负担都超过 90%。作者同时报告反例：Qwen-3.7-Plus 与 MiniMax-M3 的开发集 a0 同为 66.4%，Qwen 的 AURC 和 AUROC 都更好，但 Y=0.76 时复核率分别为 61.9% 与 33.9%。作者把原因写成过冲：Qwen 最近的可达阈值给出点估计 0.874，多付了目标未要求的 11 个点可靠性，因此单目标复核率是噪声较大的摘要，Figure 3 的前沿更适合跨系统比较。

复核假设与过程感知成功

• ah 敏感性：附录 B.2 在 ah∈{0.80, 0.85, 0.90, 0.95, 1.00} 上重复 31 个目标、16 个系统、共 496 个策略的选择–冻结–资格流程。ah=0.80 时 318/496 达标，平均复核率 76.3%，有部署的策略达到的最高 Y 为 0.775；ah=0.90 时 469/496 达标，平均复核率 53.0%。从 0.90 降到 0.80，平均复核负担提高 23 个百分点；ah=0.80 时 311/496 个策略把每例都交给复核。
• 非单调：达标策略数不随 ah 单调增加：ah=0.85 为 472/496，ah=0.90 为 469/496。Table 5 中，GPT-5.6-Luna 在 Y=0.76 于 ah=0.80 和 0.90 达标，于 ah=0.85 不达标。作者把这写成在一个划分上选择、在另一个划分上检验的预期行为。Gemini-3.1-Pro 在 ah≤0.95 时复核率保持 100%，只在 ah=1.00 降到 33.6%。
• 过程缺陷：12,000 次运行中 21.9% 带有过程缺陷，系统间从 12.7%（GPT-5.5）到 30.0%（Kimi-K2.7-Code）。换成过程感知成功后，16 个系统两种 AUROC 的 Spearman 相关为 0.87，单个系统 AUROC 变化至多 0.032；扫描的平均复核率从 53.0% 升到 69.8%。Table 6 在 Y=0.76、ah=0.90 下，两个 Gemini Flash 的复核率从约 38% 变为 100%，GLM-5.2 从主定义下 10.9% 且不达标，变为 44.8% 且达标（点估计 0.811，下界 0.781）。达标策略数升到 488/496。作者认为这加强而非削弱第 5.6 节的比较，因为那里对比的一对在过程缺陷计入后变成两个无法部署的系统。

不确定裁决一律复核的对照

• 测了什么：附录 B.5 把主策略与一个负对照比较：凡预测为两类不确定裁决，无论置信都复核，确定裁决仍用阈值。τ 的选择和冻结与主策略相同。
• 结果：496 个策略上，对照平均复核 48.9%，只看信号的策略平均 53.0%；对照严格更高的格子只有 206/496。去掉阈值网格过冲后，在资格集上达到点估计 0.80 时，对照在 16 个系统中的 10 个需要更多复核，平均差 −2.2 个百分点；达到 0.85 时为 15 个系统中的 6 个，平均差 −5.2 个百分点。
• 作者的解读：作者原预期这种混淆会表现为多余监督，但报告的结果并非如此。资格集上汇合后，不确定裁决的自主成功为 0.493，确定裁决为 0.757，所以预测类别携带失败信息。作者认为对照的问题是结构性的：类别约束造成每系统一个复核率硬下限，不能像信号策略那样画出前沿，而且依赖本队列中不确定裁决较少正确这一标签属性。附录 B.4 的类内 AUROC 为 Yes 0.639、No 0.611、ILD 0.614、IMA 0.668，作者据此称信号不是预测类别的代理。

其他消融与分析

• 选择边际：无 δ 时前沿扫描达标比例 46%，δ=0.05 时 95%（§5.5）。
• 资格集置信取值数：Table 8 从 Gemini-3.1-Pro 的 4 个到 GPT-5.4-mini 的 33 个，与 §5.1 的 5 至 36 不是同一统计口径。
• 多目标：Table 7 中 Opus 5 在 Y=0.71、0.76、0.80 的复核率为 0.8%、22.4%、37.9%；GPT-5.4 在 Y=0.71 的复核率 12.5%、点估计 0.731、下界 0.693，未达标。
• 类内自主成功与平均置信：Yes/No/ILD/IMA 为 0.856/0.657/0.544/0.336，平均置信为 0.894/0.891/0.839/0.797（附录 B.4）。
• amin_h（Table 3，Y=0.76）：Sonnet 5 为 0.677，GPT-5.4 为 0.805，Opus 5 为 0.690，GPT-5.6-Luna 为 0.890；GLM-5.2 无可行 ah。
• ah=0.95 与 1.00 的全扫描：467/496 与 463/496 达标，平均复核率 44.6% 与 38.9%；扫描止于 Y=0.85，故 ah≥0.90 时“最高达到的 Y”在文中被写成下界而非天花板（附录 B.2）。

作者指出的局限与后续方向

• 经验范围：本文实验集中于轨迹不变的终态接受或升级，并使用 CliniCARE-Bench。第 3.7 节给出轨迹相关策略的表述，但其大规模经验验证留给后续工作（Section 7, Empirical scope）。
• 人工监督假设：声明的复核路径若未直接执行，其成功率、延迟和成本必须作为部署假设，画像以这些值为条件。作者希望后续直接测量复核有效性、复核时间、干预类型和恢复成本，而不是把它们当成固定参数（Section 7, Human-oversight assumptions）。
• 总体与配置：资格声明适用于评测所代表的工作流总体，以及收集证据时的版本化配置。作者写明它不保证任意分布偏移、工作流构成变化、环境变化或明显不同的智能体行为下可靠性不变。设计部署后监测和再资格触发超出本文范围（Section 7, Population and distribution validity）。
• 风险与治理：主目标用工作流特定的二元成功事件，并在可靠性目标下优化期望运营成本。失败后果差异大时可以加风险约束，包括尾部风险。作者写明 READY 不替代企业安全、隐私、法律、监管或组织治理流程（Section 7, Risk and deployment context）。
• 非普遍认证：作者写明 READY 不试图对智能体做普遍认证，也不覆盖生产部署中的全部组织考量（Section 7 开头）。
• 三个后续方向：轨迹相关与多步监督策略的经验评测；直接测量人工复核的有效性与经济性；在更多企业工作流和领域上验证。作者称第 4 节的开放接口支持这些扩展，且不改变资格目标（Section 7 末段）。

实验覆盖范围

• 被测为 16 个智能体系统，在 CliniCARE-Bench 全部 750 个回顾性临床审计病例上运行，共 12,000 次 system–case 运行（§5.1）。
• 所报告的策略是基于陈述置信的终态接受或升级；开发集与资格集各 375 例，为一次固定种子的病例划分（§5.1–5.2）。
• 主资格使用单侧 95% 下界、ah=0.90 和 δ=0.05；附录 B 对五个 ah、过程感知成功定义，以及不确定裁决一律复核的对照，重复了选择–冻结–资格流程。
• 参考裁决按自然队列分布，而非均衡分布：Yes 352、No 248、Indeterminate: Lack of Data 123、Indeterminate: Medically Ambiguous 27（§5.1）。
• 论文未报告案例研究中的 km、kh 金额，未报告被升级病例的实测复核成功率，也未报告多个划分或多次运行的重复；所报告声明以 ah 和这一次划分为条件（§3.3、§5.1）。

READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。

• 问题：作者认为企业部署的是人机系统：一部分工作自主接受，另一部分复核、纠正、批准或接管。能力基准停在工作产品质量；80% 自主正确并不由此决定可否部署。
• 方法：每个工作流保留自己的成功谓词。READY 在候选监督策略中选满足可靠性目标、可选风险约束也满足的最低成本策略，然后冻结，在未参与选择的病例上要求单侧置信下界不低于目标。终态接受或升级可以重放已保存轨迹；执行中干预会改变后续轨迹，必须在环执行或模拟。复核可以是实测结果，也可以是显式假设。
• 实例：回顾性临床审计，16 个系统、750 例、12,000 次运行。路由信号是陈述置信。主分析 ah=0.90、选择边际 0.05，开发集与资格集各 375。成功首先定义为四类裁决与参考一致。
• 结果：开发集自主准确率 72.8% 的 GPT-5.4 与 72.5% 的 Sonnet 5，在资格集、目标 76% 下都达标，复核率分别为 39.2% 与 29.6%（Table 3）。复核率最低的 GLM-5.2 点估计为 0.762，95% 下界为 0.725，未达标，且没有常数 ah 能补上。Gemini-3.1-Pro 只在 100% 复核时达标。无边际时前沿扫描 46% 的策略达标，有边际时 95%。
• 作者的结论：作者称应把系统按达到同一可靠性所需的监督和成本来比较，而不是只按自主准确率排名。部署画像是在特定工作流、监督模型和工作假设下的条件声明，不是智能体的固有分数。观察范围内选择性成功低于 ah 时，可靠性不能超过这条复核假设。