跳到正文
原文
Hugging Face Daily Papers· arXiv:2610.01218·本站收录 · 原文发表

AGO AI Quality Gate:面向 RAG 的证据优先发布决策框架

AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation

AI 导读

作者提出 AGO AI Quality Gate,一个用于工业级 RAG 评估的证据优先质量门框架,帮助企业在证据不完整、指标来自易出错 LLM 评审时决定系统版本是发布、修改还是拦截。框架包含四态决策模型(把缺失数据和评审错误作为显式结果)、结合确定性检查与本地护栏及结构化 LLM 评估的分层打分、用分层 beta-binomial 门概率化量化回归风险,以及强制性的元评估协议。由于项目数据为专有,作者在 RAGBench 的 12 个数据集、10 万条标注 RAG 轨迹上评估评审层:在相同分层测试样本(每个评审 N=1200)下,低成本评审 gpt-4.1-nano 检测不合规回答仅略高于随机(AUROC 0.603 [0.570, 0.634]),gpt-4o 达到 0.783 [0.756, 0.807],但其分领域表现仍在 0.62 至 0.88 之间。

阅读原文huggingface.co