RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

若干 4–9B 开源评审的聚合，能否在忠实性评测上替代专有前沿评审，以及这种替代何时划算。

• 场景：作者称自动忠实性评测越来越依赖 LLM-as-a-judge，判断主张、检索段落或模型输出是否被来源支持。最可依赖的评审是云端专有大模型，单次费用虽小，但在持续、高吞吐监测下累计，且文本离开部署方控制的端点，并受速率限制。
• 现有路线不足：作者归纳三条路线。升级（escalate）仍把前沿模型留作不确定时的后备，作者将其读作互补方案。专用小模型通常为带参考的核验训练，在主场有优势，但无法给没有参考的任务打分，且据报告离开训练分布后泛化差。聚合不训练模型权重，并保留上述通用性。
• 核心观察：作者认为集成与孔多塞陪审团定理的直觉，依赖错误独立；同一预训练先验下的评审会一起犯错。已有工作报告九个前沿评审只约有两个有效独立票，最佳单评审未被击败。未决的是廉价面板在何种条件下才划算，以及不划算时替代代价是什么。
• 本文提出：RAIM（Robust Aggregation of Inexpensive Models）把交叉拟合堆叠元学习器与可采纳检验绑在一起：前者联合拟合成员权重，折扣附和更强成员的弱评审；后者从成员自身输出识别“聚合优于最佳成员、且仍接近前沿评审”的区间。实例化为十个分属不同家族的 4–9B 评审，在八个忠实性基准上对照按标注消耗排序的比较阶梯。

• LLM-as-a-judge 与升级：Gu 等与 Li 等综述了 LLM 评测；Chen 与 Goldfarb-Tarrant、以及 Han 等讨论单模型评审的系统偏差，以及只有远超 10B 的规模才被报告达到人类水平一致。Chen 等的 FrugalGPT 与 Jung 等的 Trust or Escalate 在廉价模型不确定时才调用更贵模型；作者把升级读作仍保留前沿后备的互补方案。
• 专用忠实性检测器：MiniCheck（Tang 等，论文中的 [73]）与 Prometheus / Prometheus-2（Kim 等）把小模型专门训成评审。Huang 等报告微调评审不能一般地替代 GPT-4。SelfCheckGPT、语义熵、SummaC、LettuceDetect、FactCG、HalluGuard 等走参考条件或无参考检测；作者称专用器在主场有优势，但接口需要文档时无法给无参考任务打分。
• 评审集成与相关错误：Verga 等（[75]）报告小评审面板以前沿模型的一小部分价格更好地跟踪人类评分。孔多塞陪审团定理、Dawid–Skene、Dietterich 的集成、以及带相关分类器的无监督集成是聚合的古典来源。Kohli 报告九个前沿评审只有约两个有效独立票；Goel 等与 Kim 等指出大模型错误相关，且相关随准确率上升。Hossain 等称一致率会高估证据。作者采用能表达联合加权的最简形式，即堆叠逻辑回归。
• 基线与基准：比较阶梯包括无标签的平均成员、未加权多数、Dawid–Skene，以及按标注挑选的全局最佳单评审、交叉验证最佳单评审、测试集上的 oracle 最佳单评审，顶端是 Claude Sonnet。八个基准为 MedHallu、RAGTruth、WiCE、XSum、CNN、ExpertQA、FActScore、TruthfulQA；其中 WiCE、XSum、CNN、ExpertQA 取自 LLM-AggreFact。外部对照含 Bespoke-MiniCheck-7B、MiniCheck-Flan-T5-L、Granite Guardian 3.3、Prometheus-2 与提示词版 GPT-4o。

作者把本文定位为：不训练权重的聚合，并用可采纳检验回答“何时值得”，而不是只报告平均上是否划算。增益被归于成员本身，因为只拟合十个系数。

整体上，RAIM 让十个廉价评审各自给出二值判决，再用交叉拟合的堆叠逻辑回归合成一个判决；同一校准集上的可采纳检验决定该任务是否处于“聚合划算”的区间。

问题设定

• 任务：每个成员对候选陈述给出二值判决，gold=0 为 supported，gold=1 为 hallucinated / unsupported。评测分两类：有显式参考的 grounded faithfulness，以及只靠世界知识的 ungrounded factuality。数据集做成类别平衡，条目按来源记录或依据文档聚成簇。
• 面板：Nv=10，均为 4–9B 的指令微调开源模型，家族为 Llama、Qwen、Mistral、Gemma、Phi、Yi、Command-R、GLM、Granite、Falcon，作者称这样是为了分散失败模式。无法解析的输出记为弃权。
• 提示词框架：按数据集固定，十名成员与前沿评审共用。问答集用 def_on：MedHallu 与 RAGTruth 为 (question, evidence, candidate)，无依据的 FActScore 与 TruthfulQA 去掉 evidence。四个 LLM-AggreFact 声明核验集（WiCE、XSum、CNN、ExpertQA）用 MiniCheck 式的 (document, claim) 框架。解码设置与覆盖审计在附录 K，条目构造在附录 J。

堆叠聚合

• 元学习器：成员判决作为特征、金标作为目标。成员 i 的票 vi ∈ {0, 0.5, 1}，弃权填 0.5。拟合

P(y=1∣ v)=σ(β₀+∑_i β_i v_i)

其中 σ 为 logistic。β 用未调的 ℓ2 惩罚最大似然估计，惩罚权重为 1/C、C=1；作者称只有十个特征时拟合对该选择不敏感，最小的 CNN、WiCE、FActScore 最受影响。系数联合拟合，附和更强成员的评审被折扣，与金标反相关但有信息的成员可以取负权重。

• 防泄漏与读出：5 折交叉拟合，每条的堆叠预测都是折外的。判决阈值为 0.5，同时打破 Nv=10 时未加权多数的平票。拟合 β 需要金标，标注成本在附录 C 测量、在第 4 节计价。

比较阶梯与判定

• 阶梯：无标签且可部署的是未加权多数、平均成员、无监督 Dawid–Skene；全局标签选出的 best-on-average 单评审到处部署；CV-best 单评审与堆叠面板都用监督、都严格折外评估；oracle best 在被评分的测试集上取 argmax，作者称最慷慨但不可部署；其上是要被替代的专有前沿评审。
• 指标：主指标为 Cohen’s κ=(po−pe)/(1−pe)，只计超过随机的一致。伴随平衡准确率 bacc，即两类召回的均值；类别平衡时与普通准确率重合。弃权条目从 κ 中剔除，但在 bacc 中按本类错误计。
• 不确定性与三种结论：所有量带 95% 配对簇自助百分位区间，B=2000，同一簇的条目一起重采样。比较时在同一次抽取上重算双方，读配对差。win 要求堆叠 κ 相对 CV-best 的配对差下界大于 0；clean win 还要超过 oracle；tie 为区间跨过 0。改进或变差在 95% 配对区间（未做多重比较校正）不含 0 时为 clear，否则为 unresolved。附录 K 给 best-single 对照的 Holm 校正 p 值。

可采纳检验

• 两个坐标：能力分布（有多少成员单独达标，而不是最佳有多好）与错误相关。后者用成员平均成对错误相关 ϕ̄ 概括。作者称这两项都从聚合器已经消耗的校准集读出。
• 规则：给定能力门槛 κ0、份额 c、相关门槛 ϕ0，至少份额 c 的成员达到 κ≥κ0 且 ϕ̄≤ϕ0 时任务可采纳。操作点取 (κ0, c, ϕ0)=(0.30, 1/2, 0.40)，由此 MedHallu、WiCE、FActScore 被采纳。收紧任一门槛会纳入更少任务。相关坐标在归一化成 ϕ̄ 之前不需要金标（成对一致率与错误指示的一致率相同，Spearman ρ=+0.93）；能力坐标没有无假设的无监督对应，Dawid–Skene 会把 CNN、ExpertQA 上无人达到 κ=0.30 的成员都标成有能力。
• 条目级机制：在最佳单评审出错的条目上，其他成员正确的比例越大，面板越常挽回该条。作者报告带数据集固定效应的逻辑回归系数为 +4.67，点双列 r=+0.41，p<10^−20，且在全部八个数据集内为正。

实验设置

• 评审：十个 4–9B 开源指令模型，家族标签为 Llama、Qwen、Mistral、Gemma、Phi、Yi、Command-R、GLM、Granite、Falcon。前沿对照为 Claude Sonnet（claude-sonnet-4-6，temperature 0）。另测 Qwen2.5-32B 与 Qwen2.5-72B，以及专用器 Bespoke-MiniCheck-7B、MiniCheck-Flan-T5-L、Granite Guardian 3.3、Prometheus-2，并引用提示词版 GPT-4o。
• 基准与规模：Table 1 的 n 为 MedHallu 2000、WiCE 222、RAGTruth 1362、XSum 546、CNN 114、ExpertQA 1462、FActScore 330、TruthfulQA 1634。主分母是四个核心有依据集 MedHallu、RAGTruth、XSum、WiCE；CNN 因 n=114 功效不足、ExpertQA 因榜单上已发表方法 bacc 不超过约 61% 而退出主计数。六个有依据集为次分母，八集为最宽范围。全部按精确 50/50 平衡构建。
• 基线：平均成员、未加权多数、Dawid–Skene、best (avg)、best (CV)、oracle best，以及 Sonnet。
• 指标与区间：Cohen’s κ 与 bacc；配对簇自助，B=2000，95% 区间。判决阈值 0.5。5 折交叉拟合。Holm 校正只用于四个核心集相对 best single 的差。
• 外部可比性：作者称四个 LLM-AggreFact 子集与已发表 bacc 的协议差在约 1 个点以内，因此 3 个点以下的差距不具信息量。MedHallu、RAGTruth 的已发表数用幻觉类 F1；RAGTruth 已发表测试集幻觉率为 0.178，本文构造为 0.5，作者称水平不可比。

主结果

Table 1 中堆叠面板的 κ / bacc，以及相对 CV-best 与 Sonnet 的配对 Δκ（粗体表示 95% 区间不含 0，按作者的“校正前”读法）：

表格较宽，可左右滑动

数据集	堆叠 κ	bacc	Δκ vs CV-best	Δκ vs Sonnet
MedHallu	0.725	86.3	+0.032	−0.036
WiCE	0.540	77.0	+0.056	−0.008
RAGTruth	0.409	70.4	+0.010	−0.192
XSum	0.437	71.9	+0.037	+0.019
CNN	0.349	67.5	+0.051	−0.120
ExpertQA	0.235	61.8	−0.005	+0.070
FActScore	0.503	75.2	+0.059	−0.049
TruthfulQA	0.472	73.6	+0.000	−0.151

Sonnet 的 κ 与 bacc（Table 1）：MedHallu 0.761 / 88.1，WiCE 0.548 / 77.4，RAGTruth 0.601 / 80.0，XSum 0.418 / 70.9，CNN 0.469 / 73.5，ExpertQA 0.165 / 58.2，FActScore 0.552 / 77.6，TruthfulQA 0.623 / 81.1。配对 Δbacc（面板−Sonnet）：MedHallu −1.79，WiCE −0.39，RAGTruth −9.62，XSum +0.96，CNN −6.05，ExpertQA +3.50，FActScore −2.45，TruthfulQA −7.56。

• 相对自身：作者称相对 CV-best，四个核心有依据集都是改进，只有 MedHallu 的 +0.032 同时超过 CV-best 与 oracle（Granite），且在基线给出判决的条目上仍为 +0.031 [+0.003, +0.058]。四个核心差做 Holm 后该胜仍成立（校正单侧 p=0.048）；八集一起则 p=0.096。WiCE 为未分辨的 +0.056（n=222，九名成员 κ≥0.30）；RAGTruth 上 Gemma 主导弱场，余量 +0.010；XSum 为 +0.037（单侧 p=0.045），是最接近排除零的未分辨改进。八集中差偏向面板的有七个，明确的只有一个核心集。
• 相对 Sonnet：作者称八个配对差里，改进两个（一个明确），变差六个（三个未分辨、三个明确，其中一个可忽略）。明确改进是 ExpertQA（Δκ=+0.070 [+0.024, +0.117]），Sonnet 在此 κ=0.165，低于面板最佳单成员。XSum 的改进以及 WiCE、FActScore、CNN 的变差都未分辨。三个明确变差中，MedHallu 的 −0.036 [−0.069, −0.003]（bacc 少 1.8 点，面板已达 86.3）作者认为部署上太小；只有 RAGTruth（−0.192）与 TruthfulQA（−0.151）幅度实质不利，二者都是单一强评审已覆盖任务的集合。bacc 上平均少 2.9 点（73.0 对 75.9），最多少 9.6（RAGTruth），ExpertQA 多 3.5、XSum 多 1.0。中位保留前沿 κ 的 93%。
• 无标签对照：相对平均成员，Δκ 为 +0.082 到 +0.261，作者称八集全部明确为正。未加权多数在能力集中或有有害成员时低于最佳单评审，RAGTruth、TruthfulQA、CNN、ExpertQA 上低 0.094 到 0.228 κ；堆叠相对未加权的配对差在这四个上为正（CNN 上最高 +0.279），MedHallu 为边界。堆叠从未被 Dawid–Skene 明确击败；相对 D–S 在 RAGTruth、TruthfulQA、CNN 上明确改进。按各自准确率或对数赔率加权的投票在每个数据集上都低于堆叠（附录 I）。

专用检测器与榜单

• LLM-AggreFact 四集 bacc（Table 2）：堆叠面板 69.5，CV-best 成员 67.7，平均廉价评审 59.6，Qwen2.5-32B 69.4，Sonnet 70.0；已发表 Bespoke-MiniCheck-7B 71.4、MiniCheck-Flan-T5-L 68.8（作者重跑 68.4）、Granite Guardian 3.3 69.5、Prometheus-2 重跑 59.3、提示词 GPT-4o 70.8。作者称面板与 Granite Guardian 3.3 持平，落在榜首与 GPT-4o 的约 1 点协议带内，而这是对面板最不利的比较，因为专用器在其构建集上被评分。
• 拉开范围后：MiniCheck-Flan-T5-L 在六个有依据集上为 66.6，对面板 72.5；仅 MedHallu 上 63.1 对 86.3；其接口需要文档，两个无依据集无法评分。Prometheus-2 全套 60.4，对面板 73.0。六个有依据集上面板 72.5、Sonnet 74.7、Qwen2.5-32B 72.1；全套八集面板 73.0、Sonnet 75.9、Qwen2.5-32B 72.6。
• MedHallu 的幻觉类 F1：堆叠面板 86.2，与已发表 Qwen2.5-14B 的 85.2、GPT-4o-mini 的 84.1 同级，距已发表 GPT-4o 的 87.7 在两个点以内。作者称比较的是水平而不是排名：本文把弃权计为漏检，且两边不是同一批条目。RAGTruth 上已发表锚点内部，最强纯提示系统 GPT-4-turbo 为 45.6，三名在该语料上微调的检测器为 68.2 到 74.8。

可采纳、标注预算与成本

• 操作点：Figure 3(a) 以 ϕ̄ 为横轴、κ≥0.30 的成员数为纵轴；金线为 ϕ0=0.40 与 c=1/2（五名成员）。被纳入的是 MedHallu、WiCE、FActScore。作者称在份额与相关门槛的网格上、以及从同一十名成员抽出的 1,888 个（子）面板上，被采纳面板更常接近前沿、也更常高于自身最佳成员；没有未通过检验的任务对 CV-best 有明确增益。五十条标注复现区间判定的 85.5%，一百条为 91.9%；从一百条命名最佳成员只成功 69%。
• 条目级：面板自身领导者出错的条目有 1,998 条；挽回更常发生在更多成员单独正确时。附录 D 中作者称错误相关主要来自预训练而不是对齐。四个数据集上，该廉价面板的独立票数仍多于 Kohli 的九个前沿评审在其任一任务上达到的数目（附录 B）。
• 费用（Table 2，附录 H）：十名成员合计每千条 $0.039，Sonnet API 为 $2.52，约为 1.55%，即六十四分之一。标注按每条 $1、成对集每条记录两个标签，50–100 条记录合 $100–$200；作者称更便宜的推理在约 40,000 到 81,000 条被评条目之间回本。五十条标注已足够在七个数据集上击败免费多数投票，一百条接近全监督。

其他消融与分析

• 准确率加权与对数赔率加权投票在每个数据集上都低于堆叠（附录 I）。
• Qwen2.5-32B 在四个集合上优于两者中的另一个；Qwen2.5-72B 在八集中的四个上落后于 Sonnet，持平多发生在前沿最弱处（附录 H）。单模型 Qwen2.5-32B 全套 bacc 72.6，对面板 73.0。
• 最佳单评审的身份随任务变化，且不能迁移（附录 B、E）。
• 重跑：vLLM 与 transformers 主版本更新后，生成式面板逐评审中位一致 0.98，约束打分器 0.99，第 3 节的每个 win/tie 不变。
• 六个已发表结果被重打分：两条 LLM-AggreFact 榜单行约差 1 个点，三名 MedHallu 成员在 2.6 F1 以内；Bespoke-MiniCheck-7B 这一检查点作者未能复现（附录 F）。
• Figure 2 按单成员平均能力降序排列数据集，小提琴为十名评审的 κ，并叠放堆叠面板、oracle 最佳单评审与 Sonnet；正文未逐成员列出图中读数。

作者指出的局限与后续方向

• 名单上限（第 5 节）：增益需要若干单独有能力且错误去相关的成员；该条件可能随名单和模型版本漂移。作者只刻画了一个固定的冻结通用模型名单。由于错误相关随模型准确率上升，更大的成员不应被预期放松该条件，作者认为值得拉动的杠杆是名单构成。
• 输出形式与聚合器（附录 M）：每位评审被收成二值忠实性判决，只读该判决。分级或片段级量规、比堆叠逻辑回归更重的聚合器、以及暴露置信度而非决定的接口都在当前范围之外；最后一项从作者未测量的方向限制了面板。
• 未做的对照（附录 M）：竞争者是现成评审、它们的其他聚合器，以及作者在全套上自行运行的专用检测器；作者没有在堆叠器所消耗的标注预算上重训专用器。虽然扫描了面板大小（Figure 6(a)），但没有改变构成。刻画的是何时聚合这一固定名单有帮助，而不是另一名单或同等预算的专用器是否更好。
• 前沿侧与升级（附录 M）：前沿对照是单一评审 Claude Sonnet，替代成本是相对该模型而不是前沿评审总体。作者没有测量升级级联，并将其读作互补；面板优先的级联在同等质量下会保留多少前沿调用，作者留作开放问题。
• 类别平衡（附录 M）：每个集合都做成精确 50/50。仅患病率平移、各类召回固定时，bacc 按构造不变，κ 会变，且 κ=2 bacc−1 不再成立。作者未评估“按部署先验平移截距”或“从部署流抽取校准样本”这两种补救，因此 κ 读数与可采纳规则只对平衡评测成立。
• 证据基础与语言（附录 M）：条目级账户覆盖近两千点且在每个数据集内成立，但跨数据集的差值排序只靠八个数据集，数据集级的能力/相关预测是说明性的而不是确认性的。该账户与可采纳规则形成于这同一八个数据集，套件里相对最佳单评审只有一次明确增益，因此与之相符而不是被其验证。八个集合都是英文，来自生物医学、百科、新闻与开放域问答，两种统计在其他语言或领域是否保持含义未经测试。κ 与 bacc 都继承底层基准的标签噪声。

实验覆盖范围

• 被测开源评审为十个 4–9B 家族（Llama、Qwen、Mistral、Gemma、Phi、Yi、Command-R、GLM、Granite、Falcon），另有 Qwen2.5-32B、Qwen2.5-72B 与 Claude Sonnet（claude-sonnet-4-6，temperature 0）；专用对照含 MiniCheck-Flan-T5-L、Prometheus-2 等，按 Table 2 的范围重跑。
• 八个基准的 n 见 Table 1（114 到 2000），全部 50/50 平衡；主计数是 MedHallu、RAGTruth、XSum、WiCE 四个核心有依据集。配对区间为 B=2000 的簇自助。
• 可采纳操作点为 (κ0, c, ϕ0)=(0.30, 1/2, 0.40)，纳入 MedHallu、WiCE、FActScore；附录 C 在门槛网格与 1,888 个（子）面板上检查方向。标注预算实验为 50 与 100 条记录。
• 成本按云 API/GPU 费率与每标签 $1 计价（Table 2、附录 H）；本地运行时作者称费用为电费，论文未在正文给出电费数值。
• 跨论文数字：LLM-AggreFact 四集与已发表 bacc 的协议差约 1 个点；MedHallu 比的是幻觉类 F1 的水平；RAGTruth 因患病率不同只报告已发表锚点内部的模式。Bespoke-MiniCheck-7B 检查点作者未能复现。

RAIM 研究十个 4–9B 开源评审能否经聚合替代专有前沿模型，来做忠实性（有依据）与事实性（无依据）的二值评测。

• 问题：前沿评审按次计费、有速率限制，且推理不在本地。升级仍保留前沿后备；专用小模型离开训练分布并在无参考任务上无法打分。聚合不训练权重，但成员错误相关，无权重多数会被弱成员拖垮。
• 方法：5 折交叉拟合的 ℓ2 堆叠逻辑回归联合估计成员权重，弃权作 0.5，0.5 阈值读出判决。可采纳检验要求至少一半成员 κ≥0.30 且平均成对错误相关 ϕ̄≤0.40。比较按标注消耗从无标签聚合排到 CV-best、oracle，再到 Claude Sonnet；效应用 B=2000 的配对簇自助差判定。
• 结果：八集中相对 Sonnet，明确变好的是 ExpertQA（Δκ=+0.070），明确且幅度不小的变差是 RAGTruth（−0.192）与 TruthfulQA（−0.151）；MedHallu 明确变差但只有 −0.036。中位保留 Sonnet κ 的 93%，全套 bacc 73.0 对 75.9。相对 CV-best，四个核心有依据集方向都为正，仅 MedHallu 的 +0.032 被样本分辨且超过 oracle。LLM-AggreFact 四集上面板 bacc 69.5。每千条推理 $0.039 对 Sonnet 的 $2.52；50–100 条域内记录的校准，作者称在约 4 万到 8.1 万条评测后摊平。
• 作者的结论：是否值得取决于成员：能力铺开且错误去相关时，面板优于自身最强者并接近前沿；一人主导时堆叠退回领导者，也只有此时前沿仍明显领先。这两个坐标可从校准集读出。作者认为名单构成是值得拉动的杠杆，更大成员不应被预期放松错误相关条件。