AGO AI Quality Gate：面向 RAG 的证据优先发布决策框架

企业要在证据不完整、LLM评审会出错时，决定某个RAG版本放行、复核还是拦截。

• 发布决策：作者称RAG用来把LLM锚定在私有文档上，部署涵盖客服、合规、医疗和金融。锚定能减轻但不能消除幻觉：答案可能与检索证据矛盾、引错来源，或在检索失败时编造内容。这变成反复出现的版本能否发布的决定。
• 评分到决策的缺口：作者称现有框架把质量拆成检索侧和生成侧并由LLM评审打分，但放进可追责门控后有三点不够。不完整证据若被平均，会把「测出来差」和「没测到」混在一起。数十到几百条、按不平衡类别分层的评测集上，点估计高估确定性。评审有偏差，一个领域上的一致性不能迁到另一个领域。
• 现场约束：客户数据不能离开现场；可观测性常常不完整；顾问必须能为签署的每一项自动决策辩护。作者称这些约束塑造了设计。
• AGO的决策层：作者提出自托管的AGO AI Quality Gate。它把缺失证据和评审协议错误写成显式结果，用分层beta-binomial量化回归风险，并规定评审分数影响决策前必须做元评估。作者称组件建立在已有工作上，贡献是让这些量成为发布决策的输入，而不是分数背后的隐含假设。

作者在Sect. 2把相关工作分成评测框架、基准和评审可靠性，只在自己点名的工具上写了与AGO的差别。

RAG评测框架

• RAGAs（Es等，2024）：无参考、由LLM打分的faithfulness、answer relevance、context precision和recall。作者采用开源工具推广的RAG三元组：context relevance、adherence、answer relevance。
• ARES（Saad-Falcon等，2024）：用合成数据训练轻量评审，再用prediction-powered inference在小规模人工标注集上校准。作者对比说，ARES针对基准上的评测器准确率；AGO把评测器验证放进带缺失证据语义的端到端决策流程。
• TruLens与护栏：作者称RAGAs、ARES和TruLens提供分数或评测器预测，而不是本文研究的证据感知发布语义；直接比较发布决策需要先施加同一决策策略。NeMo Guardrails（Rebedea等，2023）提供可编程输入和输出护栏；作者称AGO把同类本地护栏当作多种指标提供者之一，并服从同一套决策语义。

基准

• RGB（Chen等，2024）：在噪声或反事实检索下探测LLM行为。作者此处只描述其做法。
• RAGBench（Friel等，2024）：10万条(question, documents, response)轨迹，12个数据集、五个行业领域，TRACe标注连续relevance、utilization、completeness和二元adherence。作者称标签由经人类标注校准的LLM标注器产生，故称reference labels而非ground truth，并采用其协议：连续目标看RMSE，adherence看AUROC。

评审可靠性

• 与人类偏好：作者称LLM评审在一些任务上与人类偏好相关，并引用Zheng等（2023）和G-Eval（Liu等，2023）。
• 偏差与不可迁移：作者称Wang等（2024）展示位置偏差和冗长偏差；Bavaresco等（2024）报告一致性随任务和领域变化很大。作者据此不一次认证评审模型，而要为每个部署领域重测评审与人类的一致性。协议使用Cohen的κ（Cohen，1960；Landis与Koch，1977）、MCC（Chicco与Jurman，2020）和自助法（Efron与Tibshirani，1994）。

基线与定位

• 基线：评审层在相同分层样本上比较gpt-4.1-nano与gpt-4o，基准为RAGBench。作者另转述基准作者公布的GPT-3.5、RAGAs、TruLens和在RAGBench上微调的DeBERTa-large，并称只作方向参照。统计门控的对照是naive gate：观察到的候选通过率不低于观察到的基线通过率减δ则放行；情景为合成的回归、无变化和改进。
• 定位：作者称现有工具给答案打分；在不完整证据下把分数变成可追责的发布决策，是部署系统面对、也是本文要处理的缺口。

AGO把版本比较做成可审计的升级：缺失证据和畸形评审不能被当成通过，统计比较用后验回归风险，且不覆盖已有拦截。

设定与证据模型

• 案例：案例含问题、可选期望行为（参考答案、期望术语、期望来源）、可选检索要求和禁用短语。版本化数据集来自生产轨迹，带类别和关键性标记。调用被测系统得到回答和检索上下文，上下文可为空。
• 指标与复现：结果含名称、可选数值、可选阈值、通过标记和提供者。阈值、同义词策略和评审说明都在版本化evaluation profile中。决策可由数据集快照、profile快照和代码版本复现。
• 四类证据：observed、declared、inferred（须标明）和missing。缺失必须作为带影响说明的缺口出现，不能填默认值。

分层打分

• 确定性检查：回答是否存在、必需上下文、期望来源与文档版本、禁用短语、期望术语。术语匹配做Unicode、大小写和重音归一化，并用profile中的同义词组；匹配比例达到profile规定比值即通过。
• 本地护栏：检查PII、密钥、提示注入、禁用短语、JSON与链接有效性。动作含block、warn、log，并有超时和fail-open/fail-closed。每次执行都发出指标结果，超时是可见证据，不是静默跳过。
• 三元组评审：对context relevance、adherence、answer relevance做一次受限JSON调用。端点可替换、与OpenAI接口兼容，temperature为0。分数达到profile阈值θ则该指标通过。实验里的θ见第4问，不要和下面的风险阈值混用。
• 协议规则：落在[-0.01, 1.01]的值钳制到[0, 1]；非数值、非有限或真正越界记为提供者协议错误，该指标判失败，案例转人工复核，不把畸形输出改成有效分数。只有需要检索的案例才评adherence；纯对话轮次该维度未定义，省略而不填补。运行级主指标是adherence rate，即已评案例中通过adherence的比例。

决策语义

• 模式与底线：模式为observe、review或block；observe不影响决策。固定集合C独立升级，包括缺失必需上下文、来源或版本匹配失败、禁用短语、PII、密钥或注入发现、输出格式违规。C优先于profile，误配成observe-only也会拦截。作者称这属于决策语义，不是随profile变化的风险偏好。
• 条目与运行：无指标结果为not evaluable；失败项属于block模式或属于C则为block；除observe外仍有失败则为manual review；否则promote。运行级任一block则block；全部not evaluable则not evaluable；存在manual review或not evaluable则manual review；否则promote。
• 两条性质：作者称没有隐含通过，缺失证据只能得到not evaluable或manual review。门控是升级机制，不是自主裁决。部署中profile级拦截留给关键违规，例如PII泄漏。

分层beta-binomial门控

• 层后验：层次是条目、层、运行、比较，不是全局部分池化模型。层内把promote记为成功，先验Beta(α0, β0)，默认Beta(1, 1)，后验给等尾95%可信区间。运行摘要是各层后验均值的加权和，默认权重为该层案例占比。作者称该权重反映评测设计而非生产流量；profile可改用流量份额或业务关键性，报告写明所用加权。
• 回归风险：同一数据集和profile上比较基线A与候选B。回归风险为ρ = P(p_B < p_A − δ ∣ data)，即候选分层加权通过率低于基线至少δ的后验概率。δ默认0.03。ρ达到τb（默认0.8）则block，达到τr（默认0.5）则manual review，否则promote。它支持运行级决策，不覆盖已有拦截证据。这里的0.8是风险阈值，不是评审分数阈值。
• 独立性与先验：两次运行按独立建模，蒙特卡洛样本与种子固定并记录。作者称共享条目时独立性高估差值方差，门控因而偏向复核和拦截，并认为这是有意的保守处理。默认无信息先验不把候选锚定到更早版本。δ、先验和阈值都在profile中，并随运行报告。

元评估与部署

• 黄金集：新领域上，评审类指标要影响决策，必须先做元评估并附上报告。每维有二元人工标签：冒烟至少30条，决策级至少100条；两类都要有，少数类至少30%；含一定比例边界案例；两人独立标注后裁定，并报告标注者间一致性，作为阅读评审一致性的上限。
• 统计与升级：在运行阈值θ上二值化。报告原始一致率、Cohen的κ（期望一致率为1时记未定义，不改写）、MCC、不依赖阈值的AUROC、阈值扫描，以及95%自助法区间。只有报告达到profile的下限下界和区间宽度上限，该指标才能以block模式运行；论文未给出这两个准则的数值。实务上先仅复核，黄金集成熟后再升级。验证绑定模型标识、冻结量表和θ；更换端点或模型版本则报告失效并重做。
• 部署：自托管，数据不出客户或顾问边界；唯一出站是可换成云端或本地兼容端点的评审。轨迹入库前检测并脱敏PII与密钥。策划若有拦截性发现，门控不能运行。流程为导入、策划版本化数据集、选择profile、元评估、跑门控、交付报告。每次运行保存内容哈希快照。未放行案例由顾问复核。

作者报告的实验分两层：RAGBench上的评审层，以及合成数据上的统计门控。作者在Sect. 5写明前者不是AGO的端到端验证。

实验设置

• 评审模型：gpt-4.1-nano与gpt-4o，temperature 0。先在3个数据集的验证样本上比较（每评审N=300），预先指定标准是θ=0.8的MCC；再在12个数据集的测试划分上各跑一次（每评审N=1200，实例相同）。
• 数据：RAGBench，作者称10万条标注轨迹、12个数据集、五个行业领域。本文用每数据集100条的分层样本，能平衡adherence标签时加以平衡，固定已发布种子。作者称这些样本支持受控比较，不是总体估计。不运行检索系统。
• 标签与指标：TRACe标签由经人类标注校准的LLM标注器产生，作者称为reference labels而非ground truth。adherence对二元adherence，报告AUROC和θ=0.8的MCC；论文写明也看F1，表中给出的是MCC。context relevance与TRACe relevance定义不同，主比较为Spearman与Kendall，表中为Spearman。95%自助法区间，1,000次重采样，固定种子。
• 统计门控：合成二元条目决策，不调用外部模型。N为20、30、50、100、200；层比例general、domain_specific、critical为0.50、0.30、0.20，基线通过概率0.90、0.85、0.80；候选在每层变化-0.05、0或+0.05。每情景1,000次重复，数据种子20260709。作者称种子日程在早先只含回归的试点中固定，不是种子搜索的结果。
• 对照：naive gate；balanced_default（复核阈值0.50）；decision_grade（复核阈值0.40，用于Table 4）。共同设置：Beta(1, 1)、95%可信度、δ=0.03、拦截阈值0.80、121个后验样本、种子4201与4202。两套AGO配置收到相同观测和相同ρ，差别只在复核阈值。基线与候选的条目结果及后验抽样保持独立。
• 运行完整性：量表在任何测试划分实例被打分前冻结，之后未改提示词或阈值。报告运行中评审协议错误为0，协议错误不进入一致性统计。正式数字前的审计发现截断文档数的载荷缺陷和跨数据集重复实例标识；第一次全量测试被中止，部分结果丢弃。作者称报告运行中每个实例的每份文档都到达了评审。

主结果

下表是12个数据集测试划分的微平均，每评审N=1200，实例相同（Table 2）。区间为95%自助法置信区间。费用按原文美元计，此处不写货币符号。

表格较宽，可左右滑动

评审	adherence AUROC	MCC @ 0.8	Spearman	费用
gpt-4.1-nano	0.603 [0.570, 0.634]	0.170 [0.110, 0.221]	0.366 [0.313, 0.413]	0.39美元
gpt-4o	0.783 [0.756, 0.807]	0.433 [0.386, 0.484]	0.298 [0.243, 0.351]	9.42美元

• 作者的差距陈述：作者称在相同测试实例上，gpt-4o比低成本评审高0.180 AUROC、高0.263 MCC，且这两个指标的置信区间不重叠。选择标准下被选中的是gpt-4o。
• 低成本评审：作者称它检出非adherent答案只略高于随机；0.1–0.9扫描中MCC都不超过0.17，故不是阈值造成的。报告运行中协议错误为0，解释形式完好。作者称操作输出本身不标出这一缺陷。
• Spearman例外：该列上低成本评审高于gpt-4o，两区间重叠。作者称相关性秩相关低且不稳定，并把该比较视为探索性的，称这与两种relevance定义不一致相符。

分数据集与已发表评测器

• gpt-4o分数据集：Table 3，每数据集N=100。作者称adherence AUROC从cuad的0.620到expertqa的0.883；摘要把同一范围写成0.62 to 0.88。θ=0.8的MCC从emanual的0.040到msmarco的0.618。Spearman在hotpotqa为-0.159，在tatqa为-0.053；表中最高为techqa的0.583，covidqa为0.009。
• 作者解读：作者称即便对所选评审，有些领域上的生产运行点也接近无信息，因此评审质量不能认证一次后假定可迁移，阈值要按领域校准。Figure 1图注写明gpt-4o为实心圆、每数据集N=100、虚线为chance、数据集按gpt-4o AUROC排序，并与基准作者公布的评测器并列；作者称跨协议比较只是指示性的。图中点的相对位置文本未给出。
• 已发表数字：作者转述基准作者在全量测试划分上的AUROC（其Table 3）：GPT-3.5为0.51–0.65（均值0.56），RAGAs为0.52–0.70（均值0.60），TruLens为0.40–0.70（均值0.59），微调DeBERTa为0.64–0.87（均值0.79）。作者称本文gpt-4o的分数据集均值为0.77、微平均为0.783，落在微调编码器所报告的范围内，并高于零样本基线；低成本评审落在较早零样本评测器的范围内。作者称这不是协议相同的比较。

统计门控的操作特性

• 测了什么：在合成回归、无变化、改进三种情景下，比较naive与decision-grade（Table 4，比率为百分数）。回归情景中放行一个变差的候选被作者定义为不安全放行；无真实变化时的复核或拦截为误报；真实改进时的放行衡量发布吞吐。
• decision-grade：作者称回归下naive放行29.3%–41.8%，AGO放行22.2%–35.1%，且每个测试N上都更低。Table 4中35.1%在N=30，不是N=20的33.0%；22.2%在N=200。同期AGO block从N=20的19.7%到N=200的36.2%。无真实变化时，作者称decision-grade放行51.4%–76.2%，并把23.8%–48.6%送去复核或拦截。真实改进时放行71.5%–99.4%，naive为76.7%–99.8%。N=200的平均ρ为回归0.638、无变化0.249、改进0.028。
• 作者解读与balanced例外：作者称防护不是没有代价，这些数字描述的是所测数据生成过程下的策略取舍。balanced_default与decision-grade共享全部模拟证据；作者称后者更强的回归防护来自更低的复核阈值，而不是不同样本或不同后验模型。balanced在回归下promote为29.8%–43.9%，作者称可以达到或超过naive；无变化时promote 60.6%–83.0%，误报率17.0%–39.4%；改进时promote 77.4%–99.8%。该组数字在正文，不在Table 4。

其他消融与分析

• 验证划分（Table 1，3个数据集，每评审N=300）：gpt-4o的MCC @ 0.8为0.435 [0.329, 0.539]，gpt-4.1-nano为0.284 [0.176, 0.391]；AUROC为0.787 [0.731, 0.837]与0.672 [0.609, 0.732]；Spearman为0.217与0.279；费用1.36美元与0.06美元。按预先指定的MCC选中gpt-4o；该划分上Spearman是低成本评审更高。
• 三数据集试点（N=300，同一低成本评审）：AUROC 0.563 [0.495, 0.631]。作者称该区间与随机无法区分，因此框架要求先有置信区间再下结论。
• 阈值扫描：低成本评审在0.1–0.9上MCC都不超过0.17。
• 协议错误：报告运行中为0。正文表未给出RMSE或F1的数值；作者称RMSE只作补充材料，并带有定义不一致的说明。

作者在结论里列出三项后续工作；论文没有单列Limits清单。下面的覆盖范围是实验实际做到哪里，不是作者列出的局限。

作者指出的局限与后续方向

• 配对贝叶斯比较：Sect. 6将后续工作列为配对贝叶斯比较。论文未在该节把它写成对当前合成结果的否定。
• 其余TRACe维度：Sect. 6列出对其余TRACe维度做原生评测。Sect. 5.1已写utilization和completeness不是本评审原生产出、answer relevance无TRACe对应而被排除，并留给后续工作。
• 逐案例方差：Sect. 6列出逐案例方差的重复采样分析。
• 未单列的局限：论文没有Limits、Discussion或附录中的局限清单。伦理声明写的是公开基准、合成结果、本地脱敏和强制人工复核，没有把这些写成不足。

实验覆盖范围

• 评审实验：跑了gpt-4.1-nano与gpt-4o，temperature 0。验证样本为3个数据集、每评审N=300；测试样本为12个数据集各100条、每评审N=1200，两评审实例相同（Sect. 5.1，Table 1–3）。作者写明这些样本支持受控比较，不是总体性能估计。
• 统计门控：合成二元条目决策，N取20、30、50、100、200，回归、无变化、改进三种情景，每格1,000次重复；比较naive、balanced_default与decision_grade（Sect. 5.2，Table 4）。不调用外部模型。输入是合成的二元条目决策。
• 作者写明的边界：Sect. 5写明RAGBench检验评审层和冻结的元评估协议，不是AGO的端到端验证；这些结果不验证完整发布门控。门控数字描述所测数据生成过程下的策略取舍。
• 对照数字的来源：GPT-3.5、RAGAs、TruLens、微调DeBERTa的AUROC是作者转述的基准作者全量测试划分结果；作者称协议不同，只作方向参照（Sect. 5.1，Figure 1）。
• 论文未报告的量：论文未报告作者自己双人标注的一致性数值；RAGBench实验使用基准reference labels。论文未报告确定性检查或本地护栏的拦截计数。profile对验证区间的下限下界和宽度上限未给数值（Sect. 3.5）。

AGO是部署在企业RAG评估业务中的自托管发布门控，用来决定一个版本应放行、人工复核还是拦截。

• 问题：证据经常缺上下文、提供者失败或评审输出畸形；评测集多为数十到几百条且分层；打分的LLM评审本身会随任务和领域变化。作者要的是可追责的发布决定，而不是对可得分数取平均。
• 做法：打分分确定性检查、本地护栏和temperature为0的可替换评审，维度是context relevance、adherence、answer relevance。无指标结果不能当成通过；畸形输出记为协议错误并转人工。运行级用分层beta-binomial比较基线与候选，回归风险达到profile阈值才复核或拦截，且不能压过已有拦截证据。新领域上，评审分数影响决策前必须先做黄金集元评估。
• 评审层：RAGBench测试样本上，每评审N=1200，gpt-4o的adherence AUROC为0.783 [0.756, 0.807]，gpt-4.1-nano为0.603 [0.570, 0.634]；θ=0.8时MCC为0.433与0.170（Table 2）。同一gpt-4o在12个数据集上AUROC从0.620到0.883，MCC从0.040到0.618（Table 3）。摘要把AUROC范围写成0.62 to 0.88。
• 门控层：合成回归情景中，decision-grade的不安全放行为22.2%–35.1%，naive为29.3%–41.8%（Table 4）。作者称每个测试N上都更低；无真实变化时会把23.8%–48.6%送去复核或拦截。作者称这一比较针对decision-grade；balanced_default在回归下的放行为29.8%–43.9%，可以达到或超过naive。
• 作者的结论：格式完好的评审输出不能代替测量；置信区间会改变能否下结论；阈值应按业务校准，而不是写死在代码里；缺失证据必须是一等结果。作者把证据完整性、评审有效性、后验回归风险和关键指标的固定优先级称为一等发布标准。