评分标准判定缺少不确定性：面向 LLM 评测的共形加权

确定性 verifier 的二元 rubric 判断不带准则级不确定性，均匀聚合无法按判断确定性加权。

• 场景：开放式输出常用 rubric 评估。给定 prompt 与回答，质量被拆成 K 条 prompt 特定的二元准则，LLM verifier 逐条输出 0/1，再加权求和得到响应级分数（式(1)，Section 2.1）。作者称该分数用于候选排序、RL 奖励和智能体验证，聚合方式同时影响评估与策略优化。
• 现有不足：作者称 rubric 生成已有进展，聚合仍普遍取 wk=1/K。二元输出没有概率、logit 或置信度；提高温度以估计置信又偏离参考验证常用的确定性解码，且不利于需要稳定奖励的策略优化。作者称语气、有用性、内容质量比格式或长度约束更难判，接近平局时一条不确定判断就可能翻转整体偏好。
• 案例与假设：Figure 1 中，两条面试建议在客观准则上打平，偏好取决于共情语气准则 c5；verifier 把该条记给语气生硬的回答，均匀聚合与人类偏好相反。作者认为可靠判断应在语义保持的改写下稳定，不确定判断更容易翻转，因此不必提高解码温度。
• 本文提出：免训练框架 Uncertainty-aware Rubric Weighting（URW）。固定释义模板抽出准则级软信号，再经 split-conformal p 值变成聚合权重。作者称在校准与测试可交换时，给正确投票判断赋过低权重的概率有上界；并称尚无方法同时做到免训练、覆盖受控、推理时可用于任意二元 rubric verifier 的准则级权重。

引言与附录 A 把相关工作分成 rubric 评估和 judge 的不确定性估计。作者称尚无方法同时给出免训练、覆盖受控、可在推理时用于任意二元 rubric verifier 的准则级权重。

rubric 评估与固定权重聚合

• 清单与细粒度准则：Cook 等人（2024）用生成的 checklist 指导评估与生成；Arora 等人（2025）、Li 等人（2026b）为开放式输出构建实例级细准则。
• 生成、奖励与智能体：Chen 等人（2026b）做自演化 rubric 生成，Chen 等人（2026a）用元 rubric 把要求编译成二元检查。Mu 等人（2024）、Gunjal 等人（2026）、Shan 与 Shao（2026）把 rubric 当训练奖励；Wang 等人（2026c）、Liu 等人（2026）将其用于缺少精确验证器的智能体改进。作者称这些工作改进构造、覆盖或下游用法，聚合仍常用固定权重；URW 保留原 rubric 与 verifier，只在聚合前校准每条判断。

响应级 conformal 与校准工具

• 评分区间或置信标记：Wagner 等人（2024）做黑盒不确定性标记；Sheng 等人（2025）对聚合评分做区间；Liu（2026）做多智能体 conformal 共识区间。作者称它们刻画的是最终评分，而不是准则级权重。
• split conformal：Lei 等人（2018）在可交换性下给出有限样本边际覆盖。作者把 URW 与“输出响应级区间、集合或弃权”相对照：URW 评估每条投票标签的合理性，并把 conformal p 值直接用作连续权重。
• 偏移下的校准：Tibshirani 等人（2019）、Gibbs 与 Candes（2021）把校准扩展到协变量偏移或分布偏移。

解码一致性与异质委员会

• 采样一致性：Li 等人（2026a）、Cao 等人（2026）从解码时一致性得到置信。作者称这需要非零温度，与确定性、单 verifier 的常用设置不兼容。
• 委员会分歧：Fathullah 与 Gales（2025）用异质 verifier 委员会。作者称这需要多个 verifier，同样偏离单 verifier 的确定性参考解码。URW 保持单一 verifier 冻结且确定性，只用固定的语义保持模板探测稳定性。

需训练的不确定模块

• 评估器与探针：Xie 等人（2025）微调带不确定性的评估器；Radharapu 等人（2026）用线性探针做校准。作者称二者需要标注训练，输出额外标签，而不是能直接进入加权求和、且带覆盖控制的标量权重。URW 在留出标注上校准，不另训评估器。

基线方法与基准：对照为 Uniform（wk=1/K）、Beta-Binomial、Sampling Ensemble（Wang 等人，2023）、SCP 与 Mondrian-SCP。成对偏好基准为 RubricBench、ResearchQA、RM-Bench、RewardBench 的 Chat-Hard、RewardBench 2 的 Precise-IF。

作者把 URW 放在上述工作旁边：不改准则构造，也不把不确定性做成响应级区间或额外标签，而是给冻结的二元 verifier 一个可进加权求和的准则级 p 值权重。

URW 不训练 verifier，也不提高解码温度。它用语义保持的释义模板看二元判断是否稳定，再把该信号经 split conformal 校准成准则权重。

问题设定

• 对象：prompt q、回答 y、准则集 r(q)={c1,…,cK}。verifier v 对每个三元组独立输出 v(q,y,ck)∈{0,1}。作者把 verifier 视为 API 黑盒。
• 均匀聚合：权重非负且和为 1 时，响应分数是各准则判断的加权和。作者称现有 rubric judge 通常取 wk=1/K。
• 要构造的量：随实例变化的权重 ŵk(q,y)，使更不确定的判断对响应级分数影响更小。作者称确定性 verifier 不直接暴露确定性，权重须从可观察行为得到。

模板集成

• 模板池：T={t1,…,tN}。作者团队交叉检查释义是否保持原准则含义；附录 C.2 给出完整模板。实验前冻结 N=6。一条模板若在 50 对抽查中有超过 2 对被判定改变语义，则丢弃。
• 软分数：温度 0 下对每条模板解码，再取平均，v̂k∈{0, 1/N, …, 1}。作者称接近 0 或 1 表示确信，接近 0.5 表示最不确定。
• 校准分布：在与评测划分不相交的 Dcal 上记录软分数和非符合分。Section 3.2 写 si=v̂i−vi*∈[0,1]；式(4)与附录证明使用绝对偏差。数据来自 RUBRIC-ARROW-Judge-SFT，按领域分层抽 200 个 prompt，约 2,000 条准则级标注。

p 值权重

• p 值：候选标签 u∈{0,1} 的非符合分为 s(v̂k,u)=|v̂k−u|。其校准排名写成 p(u|vhat_k)=(1+|i:s_i>=s(vhat_k,u)|)/(Ncal+1)。作者称它表示 u 作为真标签的合理性。
• 投票权重：ṽk=round(v̂k)。v̂k≥0.5 时原始权重为 p(1|v̂k)，否则为 p(0|v̂k)。作者称该权重随 |2v̂k−1| 单调不减，在 0.5 最小、在 0 或 1 最大，不确定判断会被降权。Proposition B.4 给出这一单调性。
• 归一化：wk 为原始权重在 K 条准则上归一后的值。最终分数使用加权后的投票标签，而不是软分数：对模板输出取 round 后再加权求和（式(6)）。URW 直接使用校准分数集，不再设误覆盖率 α。

保证范围

• Theorem 3.1：若校准与测试在同一 verifier 和模板池下可交换，则对任意 α∈(0,1)，正确投票且权重不超过 α 的概率不超过 α。作者称因此不必预先固定 α。
• 未覆盖的方向：Remark B.3 写明，定理只约束正确判断很少被赋过低权重，并不保证错误判断得到低权重；后者取决于多模板分数能否分开这两类判断。作者将其放到 Section 4.2 的实验中查看。

实验设置

• 主实验 verifier：DeepSeek V4 Pro、Qwen 3.8 Max、GLM 5.3，均冻结。调用为温度 0、JSON 模式、high reasoning effort、最大输出 32,768 token。主实验模板数 N=6。
• 其他模型：Figure 2 使用 Qwen 3 与 GLM 4，从 8B/9B 到 32B（文中记为 Q3-8B、Q3-32B、G4-9B、G4-32B）。RL 策略为 Qwen 3 8B 与 GLM 4 9B，verifier 分别为 Qwen 3 32B 与 GLM 4 32B。无人类 rubric 的基准用 RubricARM-8B-Rubric 生成准则。Arena-Hard 评审为 DeepSeek V4.1 Flash，温度 0.0，并交换回答位置。
• 基准规模：RubricBench 1,147 对，ResearchQA 169 对，二者带人类 rubric。RM-Bench 用对角线配对得到 387 对。RewardBench 取 Chat-Hard 456 对，RewardBench 2 取 Precise-IF 480 对。后三个的 rubric 由模型生成。
• 校准：RUBRIC-ARROW-Judge-SFT，按领域分层抽 200 个 prompt，约 2,000 条标注，与所有评测划分不相交。
• 基线与指标：Uniform；Beta-Binomial，先验 Beta(1,1)，后验均值作权重；Sampling Ensemble，每条准则在温度 0.7 下独立解码 6 次；SCP 与 Mondrian-SCP，α=0.1，Mondrian 为 6 箱。Acc 为成对准确率，平局只记半分。RI 为相对 Uniform 的相对提升。论文未报告主表 Acc 的重复次数。
• RL：RubricHub 的 Chat 与 Science 各 1,000 个 prompt（先去掉 rubric 数少于 4 或多于 20 的 prompt），GRPO 各训 150 步。零样本评测 Arena-Hard（500 条，对照官方 gpt-4-0314 回答，报告 WR）和 GPQA-Diamond（198 题，报告 Acc）。策略评测温度 1.0，最大输出 16,384 token。各方法共用同一训练集与框架，只改奖励聚合。

主结果

URW 的 Acc，括号内为相对 Uniform 的 RI。据 Table 1。

表格较宽，可左右滑动

Verifier	RubricBench	ResearchQA	RM-Bench	RewardBench	RewardBench 2
DeepSeek V4 Pro	0.802（2.79%↑）	0.698（10.28%↑）	0.792（8.69%↑）	0.810（5.72%↑）	0.759（21.50%↑）
Qwen 3.8 Max	0.819（3.58%↑）	0.692（13.59%↑）	0.786（5.56%↑）	0.810（3.65%↑）	0.721（6.13%↑）
GLM 5.3	0.818（1.84%↑）	0.680（7.98%↑）	0.757（3.53%↑）	0.788（3.75%↑）	0.769（5.28%↑）

• 作者称均匀聚合会忽略准则间不同的不确定性。Table 1 并非每个加权方法都高于 Uniform：DeepSeek V4 Pro 在 RM-Bench 上，Sampling Ensemble 的 Acc 为 0.711（RI 2.48%↓），低于 Uniform 的 0.729。
• 作者称启发式加权来自多模板的非均匀权重，并举 DeepSeek V4 Pro、RewardBench 2：Uniform 为 0.625，Beta-Binomial 为 0.688，Sampling Ensemble 为 0.731。
• 作者称 URW 在全部 verifier–benchmark 上高于所列基线，并把这与连续 p 值、而不是硬弃权保留了不确定性相关联。对照 Table 1，三个 verifier 与五个基准的每个组合里，URW 的 Acc 都高于同格其他方法。

两个组件的消融

• 测了什么：Table 2 分开看模板集成与 conformal 校准。URW† 保留均匀权重，但用多模板投票分；URW‡ 仍用单模板准则分，不确定性来自两模板 conformal p 值。
• 结果：作者称 URW† 在 ResearchQA 上相对 Uniform 最高到 3.9%；表中 Qwen 3.8 Max 为 0.633 对 0.609（3.88%↑）。例外：DeepSeek V4 Pro 的 URW† 在 RubricBench 上为 0.779，低于 Uniform 的 0.780（0.11%↓）；GLM 5.3 为 0.801 对 0.803（0.33%↓）。URW‡ 在 Table 2 各格都高于 Uniform，例如 Qwen 3.8 Max、ResearchQA 为 0.666（9.22%↑），DeepSeek V4 Pro、RewardBench 2 为 0.716（14.50%↑）。
• 作者的解读：作者称校准即使不把模板集成用于最终分数，也能区分判断；完整 URW 在 Table 2 全部格子上高于两个去掉组件的变体，作者称二者可以一起用。

跨 verifier 与 rubric 来源

• 规模：Figure 2 从 8B/9B 到 32B。作者称 URW 在五个基准上都高于 Uniform，20 个 verifier–benchmark 比较均如此，提升范围为 0.6 到 15.1 个 relative accuracy points。图中可见的百分比标注带负号，从 -0.6% 到 -15.1%（如 RM-Bench 的 -15.1%、ResearchQA 的 -10.6%）。作者称 URW 高于 Uniform；Figure 2 标注本身为负，正文未解释该符号。
• rubric 来源：Tables 3 与 4 把人类审核 rubric 换成 LLM 生成 rubric。绝对 Acc 下降，作者举 Qwen 3.8 Max、RubricBench：Uniform 从 0.791 到 0.538。作者称 URW 相对 Uniform 的提升为 1.6%–13.6%；表中可对应 DeepSeek V4 Pro、ResearchQA、LLM rubric 的 1.6%↑，以及 Qwen 3.8 Max、ResearchQA、人类 rubric 的 13.6%↑。
• 低于 Uniform 的基线：作者称 Sampling Ensemble 与 SCP 在部分生成 rubric 设置下低于 Uniform。Table 3、Qwen 3.8 Max、RubricBench：Sampling Ensemble 为 0.536（0.4%↓），Uniform 为 0.538；GLM 5.3 上 SCP 为 0.557（0.1%↓）。URW 在 Tables 3–4 的每个配置里 Acc 最高。

下游 RLVR

• 协议：用同一套 rubric 奖励驱动 GRPO，只改聚合。策略为 Qwen 3 8B（Table 5）与 GLM 4 9B（Table 6），各 150 步。
• 结果：表中所有不确定性加权方法的 WR 与 Acc 都高于 Uniform。Qwen 3 8B 上，URW 的 Arena-Hard WR 为 76.5（RI 23.64%↑），GPQA-Diamond Acc 为 65.7（19.27%↑）；Uniform 为 61.9 与 55.1。GLM 4 9B 上，URW 的 WR 为 48.7（62.06%↑），Acc 为 50.0（50.00%↑）；Uniform 为 30.0 与 33.3。作者称相对 Mondrian-SCP，GLM 4 9B 的 WR 从 42.4 到 48.7，Acc 从 43.4 到 50.0。
• 案例：附录 D.2 的两个 GPQA-Diamond 例子里，作者展示的非 URW 策略最终选项错误；URW 训练的 Qwen 3 8B 与 GLM 4 9B 分别选出正确选项 D 与 A。作者称这两个例子不构成一般保证。

其他消融与分析

• 模板数 N（Section 4.5，Figure 3）：N=1 对应 Uniform。作者称从 N=1 增到小模板池时 Acc 上升最多，其后变化较小，并可能在 15% 置信区间内波动。图中文字未给出可逐点抄录的 Acc。
• 附录 D.1、Figure 4：在 RM-Bench、RewardBench、RewardBench 2 上，作者称多模板一般高于 Uniform，小 N 之后曲线大体走平或只有小幅变化。
• Table 1 中 SCP 在 DeepSeek V4 Pro、RubricBench 上 RI 为 0.00%，Acc 仍为 0.780，与 Uniform 相同。
• 生成 rubric 的其他低于 Uniform 的格子：Table 4，Qwen 3.8 Max、ResearchQA，Sampling Ensemble 为 0.571（2.0%↓），Uniform 为 0.583；Table 3，GLM 5.3、RubricBench，Sampling Ensemble 为 0.556（0.2%↓）。

作者指出的局限与后续方向

• 可交换性会被训练偏移压住：理论保证依赖校准三元组与测试三元组可交换。作者称 RLVR 训练中的分布偏移会使该条件受压。后续方向是定期再校准，以及自适应推断（Gibbs 与 Candes，2021）。出自 Conclusion 的 Limitations & Future Work。
• 模板池以外的不确定性：URW 只量化固定语义保持模板所表现出的不确定性，不能分开识别 rubric 或底层任务的内在歧义。作者称在保留校准保证的同时纳入其他不确定信号，是后续方向。出自同一节。

实验覆盖范围

• 成对偏好评测为 RubricBench（1,147 对）、ResearchQA（169 对）、RM-Bench（387 对）、RewardBench 的 Chat-Hard（456 对）、RewardBench 2 的 Precise-IF（480 对）（附录 C.1）。
• 主结果 verifier 为 DeepSeek V4 Pro、Qwen 3.8 Max、GLM 5.3；Figure 2 另报告 Qwen 3 与 GLM 4 从 8B/9B 到 32B 的 20 个 verifier–benchmark 比较（Section 4.4）。
• rubric 来源包括人类审核与 RubricARM-8B-Rubric 生成；校准用 RUBRIC-ARROW-Judge-SFT 的 200 个 prompt、约 2,000 条标注，与评测划分不相交（Section 4.1）。
• 下游为 Qwen 3 8B 与 GLM 4 9B 两种策略，各 150 步 GRPO，verifier 为同族 32B；评测 Arena-Hard（500）与 GPQA-Diamond（198）（Section 4.6）。
• 论文未报告主表 Acc 的重复次数或显著性检验；模板在实验前冻结，每条由另一作者在 50 对上交叉审核（附录 C.2）。

URW 是免训练的准则级加权，用来改 rubric 判断如何相加，而不改 verifier 的确定性解码。

• 问题：开放式评估把质量拆成二元准则再均匀求和。作者称确定性黑盒 verifier 不提供置信度，主观准则与格式类准则被当成同样确定；接近平局时，一条不确定判断可能翻转偏好，并给 RL 误导性奖励。
• 做法：固定释义模板在温度 0 下重复询问同一准则，平均得到软分数；投票标签的 split-conformal p 值归一化后作为权重。Theorem 3.1 的说法是：校准与测试可交换时，正确投票被赋不超过 α 的权重的概率不超过 α。该上界不保证错误判断会被降权。
• 偏好 Acc：Table 1 的三个 verifier、五个基准上，URW 的 Acc 都高于同格基线。DeepSeek V4 Pro、RewardBench 2 上 URW 为 0.759，相对 Uniform 的 RI 为 21.50%↑，Uniform 为 0.625。同表也有基线低于 Uniform 的格子，如该 verifier 在 RM-Bench 上 Sampling Ensemble 为 0.711。
• 下游奖励：GRPO 各训 150 步后，Qwen 3 8B 在 Arena-Hard 的 WR 为 76.5（Uniform 61.9），在 GPQA-Diamond 的 Acc 为 65.7（Uniform 55.1）。GLM 4 9B 为 WR 48.7（Uniform 30.0）与 Acc 50.0（Uniform 33.3）。作者称连续的不确定性加权比硬弃权给出更有效的奖励。
• 作者的结论：作者称 URW 在多种 verifier 与基准上提高了偏好聚合，并为 RLVR 提供更有效的奖励。保证依赖可交换性，当前也只覆盖模板改写所表现出的不确定性。