LLM Judge 验证在稀疏重叠下的问题：从推理到设计

稀疏人工重叠下，如何估计 LLM judge 与人类的一致性，并避免错误的部署决策。

• 场景：作者称 LLM 与 VLM 已被用作自动评测器，覆盖文本生成质量、安全合规与指令遵循。部署前要用校准集上的标注者间一致性，并做统计检验，判断 judge 能否替代人类。团队往往能做广覆盖的单遍标注，但只有一小部分条目能获得多标签。
• 现有不足：作者称 Calderon et al. [2025]、Jung et al. [2025]、He et al. [2025] 等方法假设稠密校准数据，很少说明重叠稀缺时可靠性如何下降。众包问题是如何分配标签以提高标签质量；这里 LLM judge 已以近乎零边际成本标完全部 n 条，稀缺的是验证它所需的人类重叠。
• 核心观察：作者证明重叠稀疏是错误部署决策的一阶决定因素。摘要称，在 5% 成对重叠下，错误决策率达到 25%，在十个候选中选错最佳 judge 的概率为 65%。可操作的杠杆是重叠数量与分配；一致性系数的选择是次要的。
• 本文提出：定理 1 把稀疏估计方差分解为 γF(π)/m；定理 2 给出认证与排序的最小重叠配方。零成本静态分层 S TRAT 在层有信息时，相对随机抽样把误拒率减半。实验覆盖 10 个 LLM judge、三个基准来源、四套评测矩阵（视觉评估、因果推理、摘要）。

论文在引言的 Relation to prior work 中把相关工作分成五组。

LLM-as-a-judge 验证

• Zheng et al. [2023]、Gu et al. [2026]、Li et al. [2024] 沿用人工或基准验证 LLM judge；Calderon et al. [2025] 做留一检验，Jung et al. [2025] 用 conformal prediction，He et al. [2025] 用 TOST 等价检验，Lee et al. [2026] 审计报告协议，Guerdan et al. [2025] 分析评分不确定性。作者称这些流程假设稠密校准数据，没有分析每对标注者只共标语料一小片时决策规则如何变化。

稀疏下的标注者间一致性

• Cohen [1960] 的 κ、Fleiss [1971]、Krippendorff [2004] 的 α、Gwet [2008] 的 AC1，以及 Artstein and Poesio [2008] 的综述，都面向完全观测的校准集；Sim and Wright [2005]、Hughes [2024]、James [2026]、Klie et al. [2024]、Feinstein and Cicchetti [1990]、Byrt et al. [1993] 讨论有限样本、样本量与患病率悖论。Nørregaard and Derczynski [2022] 指出已收集的稀疏矩阵上一致性估计很噪。作者在此之上问的是采集前如何分配预算，使部署决策可靠。

基于插补的标注建模，以及标注设计

• Dawid and Skene [1979]、Hovy et al. [2013]、Paun et al. [2018]、Passonneau and Carpenter [2014]、Snow et al. [2008]、Fleiss et al. [2003] 用潜在真值或不完整区组模型，从生成假设插补缺失标签。作者问的是正交问题：不做生成模型时，直接成对重叠要多少才够。
• 当前 LLM-judge 实践把固定预算的分配当作操作问题。作者称其重叠指南在把分歧当信号 [Plank, 2022]、或目标由社会选择聚合而非多数票定义时仍适用 [Endriss and Fernández, 2013, Conitzer et al., 2024]；测量能否在稀疏下可靠，与“该测什么”互补。

相关估计方法与基线

• Fisch et al. [2024] 的 StratPPI 与 Angelopoulos et al. [2023] 的 PPI 用模型预测作控制变量，收紧总体性能指标的置信区间。作者称二者都是采集后的事后估计，不处理标注者间一致性、标注分配或 judge 接受/拒绝；附录 D 有结构化比较。
• 基线方法：稠密矩阵（ρ=1）上的留一决策作为有限样本参照；设计上比较 R ANDOM、S TRAT、S EQ -R EFINED、S EQ -C OVERAGE；系数比较 p̂o、α̂、κ̂、AC1。基准/数据集：合成矩阵，以及 WAX、CeBaB（stars/aspects）、SummEval。

作者把本文定位为：在不对称、judge 已标完全部条目的设定下，刻画各系数偏差与方差如何随每对重叠计数缩放，并把它转成稀疏区间的重叠率指南。

整体思路是：在 LLM judge 已标完所有条目、人类重叠稀缺时，用留一法比较 judge–人类池与人类–人类池的一致性，把估计噪声写成 γF(π)/m，再分别规划重叠量 ρ 与分配设计 D。

问题设定与形式化

• 矩阵：n 个条目、K 个人类标注者加 judge j，标签集大小 L。标注矩阵 A 含 NA，观测掩码 D。条目级标注向量 i.i.d. 来自未知联合分布 P；D 服从标注协议给出的设计分布。π 为总体标签患病率，πmax 为其最大分量。
• 重叠：成对重叠率 ρkk′ 是两人共同标注的条目比例；全局 ρ 是所有对的平均。稠密时 ρ=1。稀疏设定中 judge 标注全部 n 条； exposition 里一名主标注者标完全部，其余标注者以概率 ρk 独立标注。没有第一遍全覆盖时，问题变成一般不完整区组分配，稀疏瓶颈仍在。
• 四种系数：默认是成对观察一致率 p̂o，即共标条目上标签相同的比例。备选为 Krippendorff 的 α̂、Cohen 的成对 κ̂、Gwet 的 AC1；稀疏形式只在多标注子集上计算。m 是该子集的条目数。

方差分解与验证流水线

• 定理 1：在条目 i.i.d.、L≥2、重叠掩码与标签独立、重叠数 m、标注者边际固定时，Var(F̂m)=γF(π)/m+O(1/m²)。γpo=po(1−po)；γα 在 πmax→1 时按 (1−pαe) 的 −2 次发散；γκ 按 −4 次发散得更快；AC1 的分母下界为 (L−1)/L≥1/2，γ 对所有 L、π 有界。四种系数偏差都是 O(1/m)，p̂o 无偏。均匀患病率下各 γF 相近；偏斜时 κ̂ 与 α̂ 的发散成为错误决策的主要来源。
• 留一法：依次留出人类 rk，其余 K−1 人构成池。主流程用 F=p̂o。在 rk、judge 与至少一名留在池中的人共同覆盖的子集上，S(j;rk) 与 S(r−k;rk) 分别是 judge–池、人类–池的成对观察一致率。Tk 表示 judge 不低于人类上限减去 ε；ω 是 K 次比较中通过的比例，ω≥0.5 则接受。全文固定 ε=0.05。低 ρ 时 O(1/mk) 噪声可双向翻转比较。
• 流水线范围：作者称 LOO 是既有 LLM-judge 验证的事实标准。定理 1、S TRAT 的偏差削减和定理 2 不依赖 LOO；与 LOO 绑定的是错误决策阈值的具体形式。TOST 与 conformal prediction 面对同样的 γF/m 噪声，规划公式把 δ 设成各流水线的容差即可。

重叠规划

• 配方：CLT 近似下，m∗=⌈z²_{1−αsig/2} σ²/δ²⌉。σ² 是逐条目方差，δ 是从业者愿意以至多 αsig 的概率错过的容差。定理 2 把逐标注者分差 dk 的方差写成 σ0²/m，σ0² 继承定理 1 的放大层级；并假设信号边际 μd+ε>0。
• 两条任务：误拒率近似为 Φ(−(μd+ε)√m/σ0)。认证要求每个标注者的误拒率≤αsig/2，从而 m≥m∗cert，且对 κ̂、α̂ 随患病率变化。在 J 个 judge 中选最佳时，用最小成对边际 Δ²min 替换 (μd+ε)²，分位数改为 Bonferroni 的 z_{1−α/(J−1)}，方差加倍，因此排序比认证需要更多重叠。§4.3 把 δ=ε=0.05 当作真实基准诊断，§4.5 按 δ 列表最小 ρ。

分层标注设计

• 动机：F 决定 γF，ρ 直接控制 m，D 控制重叠子集的标签组成。纯随机抽取时，偏斜患病率下子集经验分布可偏离语料边际 π，进而偏置人类上限。分层按预定层比例抽取，在层信号跟踪相关边际时期望上减小失配，且不减少 mk；层无信息或极端偏斜下不保证有帮助。
• 三个成员：S TRAT 用主标注者标签作层，全静态。S EQ -R EFINED 用已收集标注者的逐条目众数。S EQ -C OVERAGE 在层内平局时优先至今覆盖最少的条目。序贯成员只做标注者之间的适应：配置 rk 的任务前就固定。作者排除标注者内部逐条自适应，理由是标注会话常批量、限时、异步。
• 两种失败：K 人各自独立覆盖 m 条时，期望成对共覆盖只有 m²/n，此即碎片化。共享面板仍可能在偏斜下少抽稀有层，此即代表性不足。S TRAT 用分层控制标签分布，并用共享面板最大化共覆盖。

成功判定

• 真实数据上，稠密矩阵 ρ=1 的留一接受/拒绝作为参照；稀疏结果与之不同即错误决策。误拒 FR 针对通过 judge，误批 FA 针对拒绝 judge。设计质量另用人类池分数相对稠密参照的偏差、标准差，以及 |F̂m−F∗|≤0.05 的试验比例（δ=0.05，αsig=0.05）。排序用成对名次被打乱的比例和选错最佳 judge 的概率。

实验设置

• 合成：n=500，K∈{4,5} 名人类加 1 个 LLM judge，L∈{2,5}。变化 judge 准确率 pj、人类上限 ph（固定 0.85）、πmax 与 ρ，对任务网格平均 300 次实现（附录 B.2）。
• 真实矩阵：三个来源得到四套矩阵：WAX、CeBaB-aspects、CeBaB-stars、SummEval。10 个 judge：Calderon et al. [2025] 的 Gemini Flash/Pro、GPT-4o-mini、Llama-3.1、Mistral-v0.3，以及本文收集的 GPT-5.4、GPT-5.2、GPT-4o、Claude Opus 4.5、Claude Sonnet 4.5（28,822 条新 judge 标签）。
• 偏斜掩码：§4.3 把多类矩阵在阈值 t 二值化，使 πmax∈[0.55, 0.96]；作者称套件中没有基准自然达到 πmax≥0.90。
• 流水线：§§4.2–4.5 默认留一法、ε=0.05、F=p̂o；换成 α̂、κ̂、AC1 只属于 RQ1。参照是 ρ=1 的决策。
• 指标：错误决策率；Table 3 的 FR（20 个 ω≥0.60 的通过 judge）、FA（16 个 ω<0.50 的拒绝 judge）、对 40 个 judge 的 WDR。Table 1 用 α̂hh 的 |bias|、std 与可靠性。Table 2 是 10 个 judge 的 Rank err. 与 Top-1。Table 5 在 300 次合成试验上要求偏离概率≤0.05。
• Figure 1：同一预算下，depth-first、random spread、stratified shared 三种标注；图中标注人类一致上限与错误决策 75%、40%、26%。附录 B.1 给出设置。正文称 depth-first 抬高表观人类上限并膨胀错误部署决策，random 共覆盖不足，分层同时处理碎片化与代表性。

主结果

Table 3 把四套矩阵上的错误决策按设计与 ρ 汇总（20 个通过、16 个拒绝、共 40 个 judge）。

表格较宽，可左右滑动

ρ	设计	Mean FR	Mean FA	Mean WDR
0.05	RANDOM	.290	.112	.250
0.05	STRAT	.142	.172	.184
0.05	SEQ-COVERAGE	.435	.066	.311
0.25	RANDOM	.122	.071	.149
0.25	STRAT	.027	.114	.092
0.50	STRAT	.007	.110	.077

据 Table 3。ρ=0.10 与 SEQ-REFINED 的整表在正文 Table 3，此处只列两端与 STRAT。

• 作者解读：ρ=0.05 时 S TRAT 把平均 FR 从 29% 降到 14%；到 ρ=0.25，S TRAT 的 FR 低于 3%，其余设计仍约 11–16%。FA 较低，是因为多数拒绝 judge 远离边界，但到 ρ=0.50 仍为 7–11%，并不降到 0。
• 同一格子的代价：ρ=0.05 时 S TRAT 降低 FR、提高 FA（14.2% 对 29.0% 的 FR；17.2% 对 11.2% 的 FA）。作者称这是因为修正人类上限的向上偏差后，一些边界拒绝 judge 被放行。若 FA 代价更高，应增加 ρ 或用 S EQ -C OVERAGE。
• 排序：Table 2 中 ρ=0.05 的平均 Top-1 为 .652、Rank err. 为 .278；ρ=0.25 时平均 Top-1 仍为 .363。分矩阵：CeBaB-aspects/stars 的 Top-1 接近 .887/.875，SummEval 为 .177，作者将其归因于 6400 条语料。作者称排序比部署/拒绝更吃重叠，因为候选之间的边际比人类–judge 差距更紧。

系数与设计（合成，Figure 2）

• 测什么：Figure 2 在均匀/偏斜（πmax=0.90）、Random/Stratified、四种系数、ρ∈{0.05,0.10,0.25,0.50}、pj∈{0.95,0.90,0.85,0.70,0.60} 上给出与参照不同的试验百分比。
• 结果：作者称边界强 judge 格子里 p̂o 的错误决策率最低或接近最低，差距在低重叠最大：ρ=0.05、pj=0.90 时 p̂o 错在 3–4% 的试验，α̂ 与 κ̂ 达到 10–11%。pj=0.95 时对系数稳健。偏斜下弱 judge 受益于分层，例如 pj=0.70、κ̂、ρ=0.05：42%→37%；均匀患病率下没有一致收益。
• 作者解读：大间隙吸收噪声；边际失配偏差在均匀时不存在，完整设计效应要到带自然偏斜的真实基准（§4.4）才出现。

真实基准上的设计质量（Table 1）

• 测什么：六组（数据集, πmax），ρ∈{.05,.10,.25}，指标是 α̂ 人类池估计相对稠密参照的 |bias|、std 与可靠性。πmax 从 0.26 到 0.96。
• 结果：cebab_stars（πmax=0.26）上，作者称 S TRAT 相对 R ANDOM 把 |bias| 降低约 17–87 倍，可靠性从 22–58% 升到 49–93%。lesion@t=1（πmax=0.74）为 6–37 倍偏差下降、可靠性增益 19–52 个百分点。summeval（πmax=0.56）上各设计接近，因为边际失配偏差已经小。πmax≥0.93 时主标注者几乎把所有条目标成同一类，分层崩溃；Table 1 中 lesion@t=2（.93）与 cebab_aspects@t=0（.96）上 S TRAT 的 |bias| 与可靠性并不占优。
• 作者解读：S EQ -R EFINED 只在其标注者间共识本身准确时才接近 S TRAT；S EQ -C OVERAGE 的覆盖拉平在部分格子有帮助，但覆盖多样性与代表性抽样冲突时放大方差。建议主层信号有可用变异时用更简单的 S TRAT，信号崩溃时才用序贯覆盖。

边界 judge 与重叠够不够

• Table 4：四套矩阵上，强通过（ω≥0.60，20 个）、边界通过（ω=0.50，4 个）、拒绝（ω<0.50，16 个）。S TRAT 下强通过在 ρ=0.25 的平均 WDR 为 .027，边界通过仍为 .323，ρ=0.50 为 .295。作者称 ω 等于阈值时，任何有限样本估计约有 50% 误差；应对非边界 judge 预算 ρ≥0.25，并把 ω̂ 接近 0.5 的结论标为不确定。
• Table 5：n=500、K=4、F=p̂o、F∗∈[0.6,0.9]、300 次、αsig=0.05。δ=0.05 时，L=2 均匀与偏斜（.8/.2）的最小 ρ 均为 25%；L=5 均匀为 15–25%，偏斜（.7/.1/.1/.05/.05）为 15–50%。δ=0.02 均为 ≥75%；δ=0.10 为 5–10%。作者称 ρ=0.05 能达到的精度只有 δ=0.10，大到足以翻转部署决策。
• Figure 3：可靠性对标注者人数，n=500、ph=0.80，五档 ρ，灰线为 50%。作者称 ρ=0.05 时把 K 从 2 增到 10，可靠性只从 17% 升到 40%；K=3 时把 ρ 从 0.05 提到 0.25，可靠性从 27% 跳到 63%。K=5 之后曲线变平。实用组合是 K=3–5 且 ρ≥0.25。正文一处把该图写成 Figure 4，图注为 Figure 3。
• 真实与合成：作者举例 Gemini Flash 在 CeBaB-stars 上逐标注者 p̂o 为 0.40–0.64，人类基线约 0.51，差值靠近 ε。作者称流水线仍能分开强与弱 judge，边界情形需要更高重叠或标为不确定。

其他消融与分析

• Figure 2 均匀 Random、p̂o、pj=0.85：ρ=0.05/0.10/0.25/0.50 的错误决策为 12%、7%、4%、1%；同格 Stratified 为 24%、15%、3%、1%。
• Figure 2 偏斜 Random、κ̂、pj=0.60、ρ=0.05 为 34%，同条件 AC1 为 5%；Stratified 下分别为 26% 与 5%。
• Table 2：ρ=0.75 时平均 Top-1 为 .062，SummEval 从 ρ=0.50 起 Top-1 为 .000；WAX 在 ρ=0.75 仍为 .103。
• Table 3：ρ=0.10 时 S TRAT 的 FR/FA/WDR 为 .087/.136/.137；S EQ -C OVERAGE 为 .328/.072/.264。
• Table 4：R ANDOM 的边界通过 WDR 在 ρ=0.05、0.10、0.25 约为 .597/.597/.599，不随重叠下降，ρ=0.50 为 .464。
• Table 1：summeval、ρ=.25 时四种设计可靠性为 1.00、.99、1.00、1.00；cebab_aspects@t=0、ρ=.05 时 S EQ -C OVERAGE 的 |bias| 为 .269、可靠性 .04。

作者指出的局限与后续方向

• 条目结构：结论的 Limitations and future work 称结果假设条目 i.i.d. 且标注批量进行；条目难度成簇时需要按簇分层（附录 D）。
• 极端偏斜：同一节称 S TRAT 需要有信息的层，并在极端偏斜（πmax>0.90）下变差。§4.3 的 Limitation 称 πmax≥0.93 时主标注者几乎把所有条目标成同一类，分层崩溃，此时需要 S EQ -C OVERAGE 或更高 ρ（附录 E.1）。
• 规划公式：结论称配方 (7) 是渐近的，采集前需要一个方差估计。
• 掩码假设：结论称定理 1 的“重叠掩码与标签独立”要求标注分配是随机或基于覆盖的，而不是自选的。
• 后续方向：结论列出条目内自适应策略、基于偏好和基于量规的评测（作者称它们面对同一稀疏估计瓶颈），以及非确定性 judge；后者的额外方差使本文重叠目标成为保守下界。

实验覆盖范围

• 被测 judge 为 Gemini Flash/Pro、GPT-4o-mini、Llama-3.1、Mistral-v0.3、GPT-5.4、GPT-5.2、GPT-4o、Claude Opus 4.5、Claude Sonnet 4.5，共 10 个；矩阵为 WAX、CeBaB-aspects、CeBaB-stars、SummEval。Table 3 汇总 40 个 judge（20 个通过、16 个拒绝；Table 4 另列 4 个边界通过）。
• 合成设置写明 n=500、ph=0.85（Figure 3 为 ph=0.80）、300 次实现；真实设计质量用 class-merging 得到 πmax∈[0.26, 0.96] 的六组配置（Table 1）。
• 默认决策用留一法、ε=0.05、F=p̂o；系数比较只在 Figure 2 的合成格子。设计成员为 R ANDOM、S TRAT、S EQ -R EFINED、S EQ -C OVERAGE。
• 论文报告 SummEval 为 6400 条；新收集 judge 标签 28,822 条。论文未报告每套真实矩阵的人类标注者人数在主实验中的具体 K，也未报告真实数据上每个 ρ 的重复次数。
• 作者在 Relation to prior work 中说明 StratPPI 与 PPI 是采集后估计，不处理一致性、分配或接受/拒绝；本文实验没有把它们当作数值基线。

这篇工作研究标注重叠很稀时，怎样验证 LLM judge 是否足以替代人类，并规划重叠该留多少、怎么分配。

部署前的标准做法是在校准集上比较 judge 与人类的一致性。judge 可以便宜地标完所有条目，人类多标注做不到。作者证明稀疏估计的方差按 γF(π)/m 缩放：p̂o 与 AC1 的放大因子有界，κ̂ 与 α̂ 在标签偏斜时发散。留一法以 ε=0.05 比较 judge–池与人类–池，至少一半标注者比较通过才接受。

数量上，定理 2 用高斯尾给出认证与排序所需重叠；排序因为候选边际更紧、还要 Bonferroni，比单 judge 认证更费重叠。分配上，S TRAT 用主标注者标签按层比例抽取共享子集，不增加标注量；两种序贯设计只在层信号崩溃时作为替代。

四套矩阵、10 个 judge 上，ρ=0.05 的平均 Top-1 错误为 65.2%，RANDOM 的平均错误决策率为 25.0%（Table 2、Table 3）。S TRAT 把 ρ=0.05 的平均误拒从 29.0% 降到 14.2%，同时把误批从 11.2% 升到 17.2%。到 ρ=0.25，S TRAT 的平均误拒为 2.7%，平均 Top-1 错误仍有 36.3%。边界 judge（ω=0.50，4 个）在最佳设计、ρ=0.25 下错误决策仍约 30–44%。合成 Table 5 中，δ=0.05、L=2 时最小 ρ 为 25%。

作者的实用配方是 F=p̂o、S TRAT、ρ≥0.25、K=3–5，排序再加重叠；ω̂ 接近 0.5 应标为不确定。该结论依赖条目独立、掩码不由自选产生，以及层有信息；πmax>0.90 时 S TRAT 变差，规划公式还需事先的方差估计。