CoVer：用干预检验为 Agent 构造可判定规则边界

运行时验证器必须判断一条谓词能否由固定、无需解释的过程精确解决，还是必须交给评审；作者称模型不具备这种自可判定（self-decidability）。

• 场景：作者称金融、医疗、法律的规则来自外部，智能体执行自己没写的义务。分流对每条规则的每个谓词、每次行动都会重复，审阅者无法逐条审计。作者另引美国联邦法规中以 shall、must 标出的约束超过一百万条，一家机构的子集也可到数千条。
• 错分的代价：把“冲突是否重大”送进代码，会认证从未评估的合规；把“是否在三个工作日内发出”送去评审，则为一行日期比较付一次调用。作者称前者多报、静默且会在机群上重复，后者少报、可数，但会吃掉推理预算。
• 现有假定：作者称把难例升级是当前的标准补救，但每一种都预设升级决定已经做对；据作者所知此前无人测量过。多报的谓词不会被升级，缓解恰好在需要处被关掉。作者认为把模型当成任何评测查询的足够好的神谕，是范畴错误。
• 本文做法：用三家实验室的四个模型，在六个语料上收集约 22,000 次标注，并提出 COVER：全体一致只提名，合成检查通过干预才准入。作者报告端点 κ 为 0.92–0.99，监管文本降到 0.20–0.50，偏差方向相反，没有可当保守选择的模型。
• 威胁模型：
  • 路由目标是把外部施加的谓词分到代码或评审，避免把判断谓词自动执行。
  • 作者假设智能体可能未对齐，但不攻击验证器；谓词来自治理流程而非对手（§8）。
  • 检查所读字段只在受限意义上可被采信：须为基础设施产出、智能体不能写入的已证实字段。
  • 谓词文本本身的对抗性撰写不在范围内（附录 E）。

LLM 评审与标注分歧

• Gu 等（2024）、Li 等（2024）：综述记录 LLM 评审有噪声、位置与冗长偏差，并对领域敏感。作者称本文不是又一篇此类研究。
• Pavlick 与 Kwiatkowski（2019）：讨论人类文本推断中的固有分歧。作者在附录 E 用“观察到的是自信的相反答案，而不是一起犹豫”来回应“人类也会不同意”。

可判定与主观任务

• Zhou 与 Shbita（2026）：把没有固定标准能解决的任务标为 ill-defined，可判定性质走规则检查，主观性质走评审。作者称二者共享这条区分，差别在于谁划线、在何处划：对方是建基准时由人手工执行的指南；本文研究没有设计者在环、分流落到运行时的情形。对方用两名评审降低主观区内的噪声；本文用互证定位边界，再加以验证。

规则、标准与可检查奖励

• Kaplow（1992）、Hart（1961）、Dawes 等（1989）、Simon（1973）：分别区分规则与标准、精算与临床预测、良构与病构问题。作者称这些分野都是有人预先、离线划定的。
• Regier 等（2013）：DSM-5 现场试验把诊断标准写得更具体，六个诊断的组内 κ 仍在 0.20–0.39，三个低于 0.20。作者称这是买到一致性、没有效度，并称 §7 复现了这一结局。
• PAJAMA（Huang 等，2025）、Writing-Zero（Jia 等，2025）：前者合成可执行评审程序，后者把训练绑到可检查信号，并按领域把可验证性当作给定。作者称它们假定已经知道什么能用程序检查，跳过了模型不能自报时如何划界。

运行时执法与升级

• FormalJudge（Zhou 等，2026）、AgentSpec（Wang 等，2025）：做神经符号监督或可定制的运行时策略执法。作者称它们预设策略已经分成可检查义务与需评审义务，本文的问题在其上游。
• Moslem 与 Kelleher（2026）、Zellinger 等（2025）、Deng 等（2026）：讨论动态路由、早弃权级联和带量规的评分。作者称这类补救都预设升级决定站得住。
• Kadavath 等（2022）、Wang（2026）：校准模型对自己答案的信心。作者称“类型还是答案”与此正交：模型可以校准答案对不对，同时分不清问题是否可检查。

基线与基准：单模型自报（Sonnet、Opus、GPT-4o、Llama-3.1）、Majority、Unanimous、全部交评审，以及参考评审一致门和干预门。语料为 IFEval、MT-Bench、EU AI Act、FINRA、已部署信贷智能体规则集和金标签合成语料。

作者把自可判定放在 LLM-as-judge 的准确率问题之前，并用三项对照来反对泛泛的不可靠性解释：端点仍一致、偏差方向可反相关、把任务写得更细并不把面板推向真值。

作者不把任一模型的类型标签放在关键路径上。COVER（COrroborate-then-VERify）先用多模型一致提名，再只根据合成检查的行为决定能否自动执行。

运行时要回答的是类型

• 智能体的每一步都要对照适用规则，规则再拆成谓词。作者称只有两条路：用代码解决，或花一次调用交给评审；没人路由的谓词仍会默认落入其中一条。
• 路由要的不是个案裁决，而是标准的类型：对已陈述事实，固定、无需解释的过程能否给出精确答案。判断谓词则依赖解释、程度或价值。
• 作者称难度不是分界：可判定谓词可以很繁琐，判断谓词也可以对人很明显。脚注 1 说明“可判定”只是与可计算性的类比，不是图灵不可判定的形式主张。

标注协议

• 每个模型对单条谓词做一次盲分类，温度 0，不许犹豫。题写固定：可判定等于对显式事实的固定过程给出精确答案，否则为判断。
• 语料把边界夹在中间。IFEval 为可判定极，MT-Bench 为判断极；边界来自 EU AI Act、FINRA 和一套运行中的智能体规则，另有金标签合成语料作对照。
• 谓词由另一个 LLM 按固定模式从规则文本分解，且对这里研究的标注不知情。作者称去掉上下文会把面板一起推向 JUDGMENT，而不是观察到的双向分裂。
• 主面板为 Claude Sonnet、Claude Opus、GPT-4o、Llama-3.1-70B。监管语料的真值是 LLM 代理：只看规则和谓词文本，盲于面板输出；两档有依据映射为 DECIDABLE，两档无依据映射为 JUDGMENT。

两层路由

• 互证：只把四个模型都独立称为 DECIDABLE 的谓词当作提名，不是裁决。作者称约束来自最保守的成员，因此再加入更宽松的成员不应改变全体一致集合；该预测写在测试之前。
• 合成：谓词变成两类制品，命名事实槽和槽上的决策规则。模型填槽，代码执行规则。检查限于比较、查找、格式或计数。
• Figure 3 把非全体一致的谓词直接送去评审，并写明提名之后不再咨询模型。附录 A 的 Algorithm 1 更宽：全体一致的提名优先合成；预算还有剩余时，未提名谓词的检查若通过各门仍可准入。从未尝试的谓词进入评审集。

四个门

• G0 结构：拒绝把谓词原样交回抽取器的恒等检查。
• G1 依据：槽须能从已证实字段读出，可读比例不低于 θG。已证实字段由基础设施产出，智能体不能写。需要智能体自己填写的字段时，无论面板怎么说都升级。
• G2 敏感：存在某个槽，改写其值后裁决改变。作者称这是退化防护，不是从已测失败推出来的，并照此报告。
• G3 不变：在确定性改写算子 ρ 下，裁决保持的记录比例不低于 θI。
• 论文未给出 θG、θI 的数值。记录缺字段或检查抛出异常时升级。作者称门失败关闭：坏检查只多一次评审调用，不会漏掉违例。
• 干预评估设在智能体规则上：73 条谓词、36 条合成行动记录，每条含工具调用日志、会话字段和对话。判断性现象以清楚、含糊、缺失三种形式出现；记录给证据、不给裁决。一条记录只作模式示例，不进入任何门。操作点在种子划分的一半上选定，在另一半上报告。

被换掉的第二层

作者先做的第二层是：合成检查，在构造时留出的个案上与参考评审比较，一致比例至少为 τ 才准入。EU AI Act 上的探针个案和参考裁决在本研究之前收集。作者称该检验测的是检查是否复现评审；评审与面板来自同一类估计器，共享盲点，τ 只控制跟踪评审有多紧。自洽工具则对每个槽在温度 1.0 下独立再抽取 K=5 次，记录前缀固定为 12 条。作者同时写明干预也证不了忠实性：检查可以有依据、敏感且不变，却只覆盖谓词的一部分；要核忠实性就要把评审请回来。

四模型在端点上能分开可判定与判断，到监管文本和智能体规则上则画不出稳定边界，且没有全程更少多报的模型。

实验设置

• 模型：Claude Sonnet、Claude Opus、GPT-4o、Llama-3.1-70B 标注全部目标。附录 C.3 在测量完成后加入 DeepSeek-R1-Distill-Qwen-14B（本地、温度 0、2000 token 预算），不进入主面板，上文图表不含它。
• 规模：832 条谓词、六个语料、约 22,000 次调用，另有四种题写变体和两种扰动。Table 3 的条数为 EU AI Act 175、FINRA 56、智能体规则 73、合成 328、消融端点 120。附录 C.3 称校准端点共 200，其中 IFEval 为 120 条指令。论文未报告 MT-Bench 条数。
• 真值：合成语料为金标签。监管语料为 LLM 代理。智能体规则用规则集的 grading_method，20 条 “both” 计为判断（脚注 3）。端点按构造无争议。
• 协议：每条谓词一次盲分类，温度 0，不许犹豫。可判定的定义见第 3 问。人类复核把已停用的 Sonnet 检查点换成最近的有日期后继（§C.2）。
• 指标：Cohen's κ；多报率的分母是真判断谓词，少报率的分母是真可判定谓词；争议率是没有全体一致标签的比例；互证看精确率与覆盖率；另有模型内翻转率、假可判定条数和消除的评审调用比例。
• 重复：主标注为单次抽取。数月后同题重跑，未换检查点的自一致为 GPT-4o 97.2%、Opus 99.0%、Llama-3.1 99.4%（附录 C）。论文称 Sonnet 检查点已停用，GPT-4o 用的是浮动别名，精确修订不可恢复。

主结果

下表只列入正文写明方向的百分比。法规少报的分母为 153，多报的分母为 78；智能体规则多报的分母为 24（Figure 2、§6）。Figure 2 还标有其余柱值，纯文本无法与左右轴对齐，格内写未报告。

Swipe horizontally to read the table

模型	法规少报	法规多报	规则多报
GPT-4o	74%	1%	71%
Opus	54%	未报告	29%
Sonnet	未报告	22%	62%
Llama-3.1-70B	未报告	37%	46%

• 方向随语料翻转：作者称没有在法规和智能体规则上都更谨慎的模型。法规上 GPT-4o、Opus 偏少报，Llama、Sonnet 偏多报，最对立的一对 κ 只有 0.20；到智能体规则上四模型都转向多报，κ 为 0.38–0.64。
• 多报不会被升级：作者称智能体义务的条件常点名字段，读起来像机械检查，模型因此多报，而这正是运行时会按标签自动执行的设置。
• 争议区在中间：端点 κ 为 0.92–0.99，例外是 Opus 在清楚判断项上多报 10%（§6）。Figure 1 称 231 条上 GPT-4o 称 41 条可判定、Llama 称 145 条，除 2 条外前者含于后者；73 条规则上 Llama 的 48 条除 1 条外含于 GPT-4o 的 62 条，争议区占监管文本谓词的 61%。附录 B 称含合成对照的完整政策集上 κ 为 0.41–0.71。

互证路由

Table 1 左侧 n=231 的监管文本。Syn. 是合成语料金标签上的精确率，不是这 231 条上的数字；Proxy 与覆盖率对应监管文本。论文未在该表给出合成语料条数。

Swipe horizontally to read the table

路由	合成精确率	代理精确率	覆盖率
Sonnet	93.6%	88.8%	88.2%
Opus	96.8%	93.3%	45.8%
GPT-4o	99.2%	97.6%	26.1%
Llama-3.1	86.4%	80.0%	75.8%
Majority（≥2/3）	98.0%	93.7%	48.4%
Unanimous（4）	99.2%	97.0%	20.9%

• 智能体规则 n=73：Unanimous（4）消除 56.2% 的评审调用，假可判定 7，精确率 82.9%；Majority（≥3/4）为 72.6%、9、83.0%；干预门为 27.4%、3、85.0%。该语料 67.1% 为可判定。§8.1 把全体一致写成精确率 83%、覆盖率 69%。
• 作者的解读：作者称全体一致能到高精度一角，而不必事先知道谁有偏差，并把安全相关的假可判定率限制在 1%–3%；代价是覆盖率，GPT-4o 把约四分之三的真可判定谓词送去评审。97%–99% 只在偏差方向相反时成立。

规格消融

• 设计：语料、模型、解码不变。R-proc（202 token）只把定义改成程序表述；R-spec（707 token）加入四步决策程序、五条边界规则和八个例子。预注册门槛是真实语料争议率下降超过 5 个百分点（附录 D）。
• 结果：R-proc 下争议率变化为 −6、+3、+7、0、0 个百分点，单模型翻转自身标签 6.6%–16.3%，方向不一致。R-spec 使 EU AI Act 降 30.9 个百分点、FINRA 降 19.6 个百分点（Table 3：175 条从 65% 到 34%，56 条从 52% 到 32%）。转成一致的 71 条监管谓词，制造出的共识正确率 57.7%（Wilson 95%：46.2–68.5），未提示时形成的共识为 88.8%（80.5–93.8）。同一 71 条上，未提示面板的多数票正确率 49.3%。该集合 74.6% 为可判定，恒判 DECIDABLE 可得 74.6%。30 个错误中 29 个是少报。智能体规则为 33%→33%，其下 12 条进出争议集。
• 作者的解读：作者称规格化是从边界撤回，不是划清边界。只更换八个同样正确例子的 R-spec′，与 R-spec 解决集的 Jaccard 为 63.3%，正确率 75.9% 对 57.7%（z=2.16，p=0.031）。作者称规格化的收益是题写选择上的抽签。脚注 2：更细题写把监管文本 κ 抬到 0.55–0.69，但额外一致不跟踪真值。

参考评审一致门与干预门

• 一致门：EU AI Act 上 τ=1 时，173 条中准入 43 条，精确率 79.1%（Table 2；标签行用 175 条）。38 条参考裁决从不变化，门收进 16 条并在其上得 100.0%；27 条有变化的准入谓词为 66.7%（Wilson 95%：47.8–81.4），相对其 62.2% 基率高 4.4 个百分点。校准一致率从 29.6% 升到 76.7%；作者列出的真可判定率为 55.6、75.0、62.8、62.3 和 79.1%。摘要把同一上升写成 30% 到 77%。作者称该门测的是可复现性，不是可判定性。
• 干预门：不变性从半数一致收到全部一致，精确率从 66.7% 升到 85.0%，基率 67.1%。全体一致留下的 7 个假可判定中，门拒绝 5 个。种子划分的另一半：门准入 10 条、精确率 90.0%、假可判定 1；全体一致为 19 条、89.5%、2 个。门去掉 27.4% 的评审调用，全体一致去掉 56.2%。作者称它没有在相近消除率下超过全体一致的精确率。
• 自洽性：到达该门的 20 条（13 条可判定、7 条判断）上，十种汇总的 AUC 为 0.42–0.48；9/13 与 5/7 完全自洽。作者称估计器与自己一致，并不比它与评审一致更能认证可判定。

其他消融与分析

• 附录 C.3：14B 蒸馏在监管文本把 73.2% 谓词判为可判定（Sonnet 65.8%、Llama-3.1 62.8%、Opus 32.5%、GPT-4o 17.7%）；§6 称其监管文本多报 41%、智能体规则多报 92%。全体一致集合不变：监管文本 33 条、97.0%、覆盖率 20.9%；规则集 41 条、82.9%、仍是 7 个假可判定。IFEval 上 120 条全对；MT-Bench 上把 30% 判为可判定，对照 GPT-4o 0.0%、Sonnet 与 Llama-3.1 各 1.2%、Opus 10.0%。
• §C.2：一名标注者盲分 53 条 FINRA 规则，κ 0.34–0.48；各模型多报 3%–18%、少报 45%–85%，与谓词级双向分裂不同。A 对 C 上全体一致精确率 100%，只覆盖可判定规则的 10%。区间宽 15 到 30 个百分点。
• Table 6：模板下 Opus 边界自翻转 33% 对对照 5%，GPT-4o 为 44% 对 7%；Llama 为 20% 对 27%。释义下 Opus 28%/6%（z=3.15，p=0.002），Sonnet 25%/8%（z=2.41，p=0.016）。
• Table 4：四模型争议率 EU AI Act 65%、FINRA 52%、智能体规则 33%、合成 23%、汇总 39%；三模型时为 54%、43%、22%、16%、31%。作者称加入模型只会增加分歧，这些是下界。
• 脚注 3：把 “both” 改计为可判定后真判断只剩 4 条，GPT-4o 多报仍为 75%、Opus 为 25%。作者称排序和翻转还在，幅度依赖该约定。
• 附录 G：用的是同意门而非干预门。合成语料上约 33% 的谓词评估被确定性自动执行，门控可归因的漏违例为 0；作者称该安全性质按构造成立。默认阈值未进入“与全部评审相差 2 个百分点以内”，差距约 5 个百分点，表现为多标。

作者指出的局限与后续方向

• 智能体语料：73 条谓词、20 个规则族、一个已部署信贷智能体；多报率依赖 24 条真判断谓词，Wilson 95% 区间约 35 个百分点宽。作者称方向稳健，幅度则否（§9）。
• 代理真值：监管语料的真值是 LLM 指定的代理标签。作者称以不依赖真值的分歧指标为主，并用 53 条盲人标注复核来缓解（§9）。
• 自建记录：干预评估基于 36 条作者自建的合成行动记录；自洽性零结果来自到达该门的 20 条谓词。作者称这 20 条不是语料的随机样本，该结果是有界检查，不是全语料测量（§9、附录 E.4）。
• 灰色谓词与不稳定：作者称“可判定”部分是约定，有些谓词本身是灰色的，合理标注者会分开，那里没有待恢复的事实。模型内不稳定依赖扰动工具和具体模型，作者把它写成佐证，不是普遍规律（附录 E.4、E.6）。
• 执法封顶：作者称它是初步结果，底物为合成数据，确定性检查模型只有一个；安全性质按构造成立，不从中得出更强主张（附录 E.4）。
• 范围之外：作者称不处理谓词本身的对抗性操纵。推理时代检查用的是 14B 蒸馏模型，测的是延长审议能否修复边界，不是前沿推理能力能否修复（附录 E.4）。

实验覆盖范围

• 主面板四个模型都标注全部目标；DeepSeek-R1-Distill-Qwen-14B 在测量完成后加入，标注 559 条政策谓词、73 条智能体规则和 200 个校准端点，不计入主文图表（附录 C.3）。
• 六个语料共 832 条谓词：IFEval、MT-Bench、EU AI Act、FINRA、一套已部署信贷智能体规则、金标签合成语料（§5）。
• 路由比较包括单模型、Majority、Unanimous、全部交评审、EU AI Act 上 τ=1 的参考评审一致门，以及智能体规则上的干预门（Table 1、Table 2、§8.3）。
• 另有 R-base、R-proc、R-spec、R-spec′，释义与确定性模板两种扰动，53 条 FINRA 规则的单人盲标，以及合成底物上的初步执法封顶（§7、附录 B、§C.2、附录 G）。
• 论文未报告 MT-Bench 条数。主标注为单次抽取。附录 G 称执法封顶的阈值扫描尚未做。附录 C.1 称已发布的标注文件是主要可复核产物。

这篇工作测的是智能体验证器在检查之前的分流：外部规则里的哪条谓词能用固定过程解决，哪条必须交给评审。

• 问题：作者称这个自可判定问题先于评审答得准不准。升级难例的补救都默认定分流已经做对。多报会把判断送进代码且不再升级；少报则为一行代码付一次调用。规则由监管方写成时，部署方不能改写难的谓词。
• 做法：COVER 不把任一模型的标签放在关键路径上。四个模型全体称为可判定，只构成提名。准入要求合成检查读取智能体不能写的已证实字段、对干预改变裁决，并在确定性改写下保持结论；失败则升级。与参考评审一致被放弃，因为作者称那只说明检查复现了同一类估计器。
• 边界测量：IFEval 与 MT-Bench 上四模型 κ 为 0.92–0.99。231 条监管文本谓词上降到 0.20–0.50：Llama、Sonnet 偏多报，GPT-4o、Opus 偏少报。73 条已部署信贷智能体规则上四模型都转向多报，GPT-4o 为 71%。Figure 1 称争议区占监管文本谓词的 61%。
• 路由数字：全体一致相对代理标签的精确率在监管文本为 97.0%，覆盖率 20.9%；在智能体规则为 82.9%，假可判定 7 条（Table 1）。干预门精确率 85.0%，去掉 27.4% 的评审调用，少于全体一致的 56.2%。与参考评审的校准一致率从 29.6% 升至 76.7%（摘要写作 30% 到 77%），作者称真可判定比例并不随之移动。
• 作者的结论：验证器的能力边界要靠执行出来的检查建立，不能再问一次模型。在 EU AI Act、FINRA 和银行信贷政策这类外部写成的规则下，路由错误是静默的，并落在不会被升级的方向。后加的推理时代模型把分裂拉宽，而不是合上。