论文审计 LLM 裁判可靠性：重复一致不等于正确

LLM裁判的判决被当作真值，但重复查询和交换候选顺序都会改变判决。

• 场景：作者称LLM-as-a-Judge给RL奖励、模型比较、自动评分和模型选择提供信号；判决被记录、聚合并被优化。
• 不足：作者称通行做法默认判决是输入的稳定函数：同一提示重复查询结果不变，交换两个候选的先后也不改变偏好。引言称这两个假设在实践中都不成立。
• 观察：引言称相同重复下7–17%的判决会变，交换展示顺序时翻转比例最高达98%。另有裁判在重复调用上100%返回同一判决，与真值一致只有51%；作者称这只比随机略高，确定性不是reliability。
• 提出的东西：交叉审计六名前沿裁判，并定义可信判决率T，即判决同时可复现、对顺序不变且正确的概率。作者称位置偏置给出能力无法突破的准确率上界，且可信度是条目特定的，而不是模型层面的；从成对胜率改到整体量规评分，对T的提升大于任一单格式提示干预。

作者按评测用途、呈现敏感和不确定性来组织文献，并把本文放在重复采样、换序和换格式之后判决是否仍可信这一问上。

LLM裁判的用途与基准

• 偏好与奖励：Zheng等人（2023）的MT-Bench报告GPT-4裁判可以与人类偏好达到high agreement；Dubois等人（2023）的AlpacaFarm用LLM裁判模拟RLHF。
• 客观与对抗：Tan等人（2025）的JudgeBench提供客观真值；Zeng等人（2024）的LLMBar测试指令遵循评测中的对抗稳健性。
• 综述：Li等人（2025）按评什么、怎么评、如何做基准组织该领域。作者称这些工作多数报告的是一致性或准确率。

顺序、短语与评分者内不一致

• 展示效应：Wang等人（2024）与Shi等人（2025）讨论回答顺序和呈现方式。作者称本文在这些观察上把位置敏感写成翻转率φ，并导出上界1−φ/2。
• 短语与过自信：Raina等人（2024）研究对抗短语能否移动零样本评测；Lu等人（2025）讨论裁判在歧义样本上过自信、准确率却不高。
• 不一致：Haldar与Hockenmaier（2025）、Janiak等人（2025）报告评分者内reliability低，以及过度自信的不一致。作者称本文把这类观察与随机一致性C合成T。

不确定性与结构化评测

• 弃权与校准：El-Yaniv与Wiener（2010）研究以弃权换准确率；Chirkova等人（2026）用保形预测分析LLM裁判，需要留出校准数据。
• 汇总方式：Sheng等人（2025）报告平均分数可以优于多数投票，思维链可能伤害部分裁判，清单式量规可以提高一致性；Lee等人（2025）的CheckEval用清单评测文本。
• 作者的连接：作者称重复查询的一致性可以当作不需校准集的置信信号，而G-Eval式单提示多准则评分比拆开的量规投票更能提高T。

基线与数据集

• 基线方法：主网格的对照是五种成对提示，其中Direct为单词判决。范式对比另用FLASK（Ye等人，2024；四次调用后多数投票）和G-Eval（Liu等人，2023；一次调用、四条打分）。
• 基准：MT-Bench、AlpacaFarm、JudgeBench、LLMBar。

作者称本文不把单次准确率当作裁判质量的充分刻画，而用T同时计入可复现、换序不变和正确；并称评测范式的选择可以比任一单格式干预更大地改变可信度。

作者把裁判输出拆成可复现、换序不变和正确，用可信判决率（trustworthy verdict rate, T）合成；提示格式不进入T，而是单独的设计因子。

问题设定

每个实例是一对候选(x, y)加真值标签。裁判对任一展示给出判决V，取值为x或y。三条轴是随机不稳定、位置偏置和格式敏感。前两条进入T；格式集合F中的每个模板f单独计算后续各量。

三个成对指示：

• N：独立重复运行中判决可复现
• P：交换候选顺序后判决不变
• R：判决与真值一致

总体率：C=Pr(N=1)；φ为位置翻转率，1−φ=Pr(P=1)；A=Pr(R=1)。P=1的对称为decisive，其上准确率为Adec；P=0称为undecisive，其上准确率为q。

假设与准确率上界

• A1：核心实验强制二选一，两种顺序等权，不输出平局。作者称此时翻转对的两种顺序里恰好一个与真值一致，故q=1/2。若允许平局、弃权、非二元标签或不等权，作者写明q可以不是1/2。
• A2：可复现性不告知位置是否决断，且在一致又决断的对上，正确率等于Adec。附录G称实践中A2未必成立。

作者由A=(1−φ)Adec+φq且Adec≤1，在q=1/2时得到A ≤ 1 − φ/2。含义是：φ固定时，可观察准确率不能超过1减φ/2。作者称该上界是紧的，当且仅当所有decisive对都判对时取到，并且与模型能力无关。作者把1−φ/2−A称为capability gap，即与位置偏置正交的那部分误差。

可信判决率与格式极差

可信判决指N、P、R同时为1。作者在q=1/2并使用A2时写成

T = C · (A − φ/2)

含义是噪声存活比例C，乘以扣掉undecisive基线后剩下的准确率。作者称两名裁判可以A相同，却因C或φ不同而T不同。每个（裁判，格式，数据集）格子单独报告(C, φ, A, T)。格式敏感是同一裁判、同一数据集上各格式T的最大值减最小值，记为ΔTfmt。

附录G比较不依赖A2的联合概率Tjoint与闭式Tclosed。作者称即使A2不成立，T仍表现为保守下界。Table 10的Gap介于0.00与-0.05。

审计网格

• 数据：主观/客观×标准/对抗。MT-Bench与AlpacaFarm为标准主观；JudgeBench为客观；LLMBar为对抗。附录F：各100对，实验开始时固定。前两者随机抽样，seed=42；JudgeBench从620例按17个领域分层；LLMBar按5个划分均匀抽样。
• 裁判：GPT-5.2、GPT-4o、Gemini-2.5-Pro、Gemini-2.0-Flash、Claude-Sonnet-4.6、Llama-3.3-70B。其中GPT-5.2与Gemini-2.5-Pro为推理模型。
• 格式：五种输出指令共用系统提示和用户模板。Direct为单词A或B、无理由，最大32 token。Verdict-first与CoT各有JSON和XML，最大4096 token；前者先判决后理由，后者先理由后判决。作者称选用JSON与XML是为隔离常见结构化格式本身是否影响裁判。
• 顺序与温度：每对做AB和BA。每个（对，裁判，格式，顺序）重复10次。Ts=0覆盖6个裁判；Ts=0.5与1.0只覆盖4个，两名推理模型的公开API不支持温度参数。

FLASK与G-Eval

这两套只加在JudgeBench和LLMBar，用来看把判断拆成显式准则能否降低φ并提高准确率上界。Direct为1次成对调用。FLASK对4条准则各调用1次，再多数投票。G-Eval在1次调用里对4条准则打1到5分，胜者由分数比较决定。JudgeBench的准则围绕事实、答案或逻辑、完整性与指令；LLMBar围绕指令遵循、完整性、相关性与清晰度。附录D给出完整提示词。

实验设置

• 被测裁判：GPT-5.2、GPT-4o、Gemini-2.5-Pro、Gemini-2.0-Flash、Claude-Sonnet-4.6、Llama-3.3-70B。没有另设打分模型；A对照基准已有标签。
• 数据：四基准各100对。JudgeBench标签来自MMLU-Pro、LiveCodeBench和LiveBench，每对中一个回答可核验为正确。LLMBar多数对含对抗性干扰项。MT-Bench为众包偏好；附录F称AlpacaFarm标签分布平衡。
• 网格：5种格式×2种顺序×10次重复。Ts=0含全部6个裁判；Ts=0.5与1.0只含GPT-4o、Gemini-2.0-Flash、Claude-Sonnet-4.6、Llama-3.3-70B。
• 指标：C为10次重复中判决确定的比例；φ为换序后判决翻转的比例；A为与真值一致的比例；T=C·(A−φ/2)。另有格式极差ΔTfmt。
• 范式：Direct、FLASK（4次调用、多数投票）、G-Eval（1次调用、4个1–5分准则），后两者只在两个客观基准上比较。
• 费用：附录E称公开API费用约2,100美元，成对实验1,450、FLASK 390、G-Eval 260。

主结果

下表只取Table 1中JudgeBench、Direct、Ts=0一列，单位为%。同表还有更低的T，不在这张摘录里。

表格较宽，可左右滑动

裁判	C	φ	A	T
GPT-5.2	86.0%	11.0%	64.5%	50.7%
GPT-4o	94.5%	24.0%	51.0%	36.9%
Gemini-2.5-Pro	81.5%	56.0%	63.5%	28.9%
Gemini-2.0-Flash	99.0%	46.0%	55.5%	32.2%
Claude-Sonnet-4.6	98.8%	14.9%	57.3%	49.3%
Llama-3.3-70B	100.0%	26.0%	55.5%	42.5%

• 上界被取到：作者称Table 1有单元格落在或贴近A≤1−φ/2。文中点名的一格是Gemini-2.0-Flash、VF–XML、JudgeBench：φ=98.0%，作者写出的上界与观测A都是51.0%，C=100.0%，T=2.0%。同模型VF–JSON为φ=82.0%，作者写出上界59.0%，A=52.0%，T=10.8%。
• 格式可以同时改A和φ：Gemini-2.5-Pro在JudgeBench上，VF–JSON为A=88.5%、φ=6.9%、T=77.5%（Table 1）。作者称相对Direct，准确率增益为25个百分点，T增益为49个百分点。
• 高C可以对应低T：作者称Llama-3.3-70B每格C≥98%，JudgeBench上T为25.4%到42.5%，φ为22%到45%。表中该模型JudgeBench的φ端点是22.4%与45.5%。作者称Gemini-2.0-Flash的C为96–100%，T从2.0%到52.3%；A−φ/2小时，C=100%也不能抬高T。

评分范式

Table 2在Ts=0比较Direct、FLASK和G-Eval。

• FLASK压低C：作者举例GPT-5.2在JudgeBench上C从86.0%到34.8%，T从50.7%到20.5%。正文写FLASK的T对五名中的六名低于Direct；Table 2的JudgeBench并非如此：低于Direct的是GPT-5.2、GPT-4o（12.8%对36.9%）和Llama-3.3-70B（27.2%对42.5%），Gemini-2.5-Pro、Gemini-2.0-Flash、Claude-Sonnet-4.6更高。LLMBar上六名的FLASK T都低于同行Direct，例如Claude-Sonnet-4.6为43.8%对73.2%。
• G-Eval有升有降：Gemini-2.5-Pro在JudgeBench上T从28.9%到77.9%，作者称+49个百分点，超过Table 4任一格式摆幅。同表下降的格子包括GPT-4o的36.9%到28.0%（φ从24.0%到61.0%），以及Llama-3.3-70B的42.5%到23.7%。Claude-Sonnet-4.6在LLMBar上Direct与G-Eval的T同为73.2%。

温度与方差来源

• 温度：在四名可调温裁判上，Ts从0到1.0，平均C下降12.1个百分点，A−φ/2只变化+0.3（48格）。Figure 3标注T的变化为−5.3。作者称T的下降几乎来自噪声存活项。
• ANOVA：120个Ts=0格子中，judge×dataset的η²为28.1%，judge为27.0%，dataset为26.2%，format为0.7%（附录C.1）。作者称没有在所有基准上排名都第一的裁判。
• G-study：附录C.2称order主效应占2–6%，JudgeBench上为6.2%；pair×judge是对内最大分歧来源，JudgeBench上为34.8%。作者称可信度是条目特定的，而不是裁判层面的。

其他消融与分析

• AlpacaFarm上，GPT-5.2的CoT–JSON为A=57.7%、T=40.2%、φ=15.5%；Claude-Sonnet-4.6的Direct为A=54.7%、T=49.9%、φ=7.4%（Table 1）。
• ΔTfmt：Gemini-2.5-Pro在JudgeBench为48.6（T从28.9%到77.5%）；Gemini-2.0-Flash在JudgeBench为34.1（Tmin=2.0）；Claude-Sonnet-4.6在LLMBar为7.8（73.2%到81.0%）（Table 4）。
• 四基准上裁判平均ΔTfmt：MT-Bench 9.5、AlpacaFarm 9.6、JudgeBench 22.7、LLMBar 10.8；GPT-5.2的均值为4.8，Llama-3.3-70B为7.1（Table 4）。
• 引言称相同重复下判决改变7–17%；Table 1的C最低为75.5%（GPT-5.2，JudgeBench，CoT–XML）。论文未说明7–17%如何由C汇总。
• Figure 4把格子按(C, φ)分成四区。作者称φ=98%、T=2.0%的格在Confidently biased；该区高C造成可信外观。作者称Figure 5中Claude-Sonnet-4.6平均T最高，但没有裁判在所有格式–数据集格上占优。图中柱值在文本转换后对不齐，此处不引用柱高。
• 附录G：Tclosed−Tjoint的Gap在Table 10为0.00至-0.05。Figure 2图注把Gemini-2.5-Pro、VF–XML、JudgeBench写成T=52%，Table 1同一格为51.6%。

作者指出的局限与后续方向

• 因计算可行性只评了四个英文基准；作者称发现可能无法推广到前沿模型基线更弱的低资源语言（Limitations）。
• 低频现象如分领域翻转率带有轻微采样方差，标题数字未必反映这一点（Limitations）。
• 闭源模型没有对数概率或内部状态，因而不能分析更细的token置信信号（Limitations）。
• 审计只覆盖成对偏好；作者称自然延伸是list-wise ranking或多模型评分框架（Limitations）。
• 附录B对JudgeBench更易受格式影响给出一种可能解释，并称系统检验留待未来工作（附录B）。

实验覆盖范围

• 被测模型为GPT-5.2、GPT-4o、Gemini-2.5-Pro、Gemini-2.0-Flash、Claude-Sonnet-4.6、Llama-3.3-70B，共6个（§4.2）。
• 四个基准各100对；JudgeBench从620例、17个领域分层抽取，LLMBar按5个划分抽样（附录F）。
• Ts=0含全部6个裁判、5种格式、2种顺序、每条件10次重复；Ts=0.5与1.0只含4个可调温度裁判（§4.3）。
• Direct、FLASK、G-Eval的对比只在JudgeBench与LLMBar（§5.6、Table 2）。
• 论文报告了120格ANOVA的η²和四侧面G-study，未报告这些分解的p值（附录C）。

作者审计LLM-as-a-Judge在重复查询、交换候选顺序和更换提示格式时，判决是否还能当作可操作的真值。

• 问题：裁判输出进入奖励、排行榜和模型选择，却被默认成稳定函数。作者称相同重复会改变一部分判决，换序甚至可以翻转大多数判决。
• 做法：六名裁判、四个基准各100对、五种格式、AB/BA、每条件10次。强制二选一下，可信判决率写作T=C·(A−φ/2)。另在JudgeBench与LLMBar比较Direct、四次调用的FLASK和一次调用的G-Eval。
• 主结果：Ts=0、JudgeBench、VF–XML下，Gemini-2.0-Flash的C=100.0%、φ=98.0%、A=51.0%、T=2.0%，作者称其准确率落在位置偏置上界上。同基准Gemini-2.5-Pro从Direct的T=28.9%到VF–JSON的77.5%；G-Eval为77.9%。Table 1中最高T是Claude-Sonnet-4.6在LLMBar、CoT–JSON的81.0%。
• 其他结果：温度从0到1.0，平均C降12.1个百分点，A−φ/2只变+0.3。judge×dataset的η²为28.1%。FLASK常把C压低；G-Eval并非每格都提高T。
• 作者的结论：基准至少应报告(C, φ, A, T)；比较裁判用T而不是只用准确率；看不到φ的单顺序协议应视为未充分规定。作者称T不是准确率的竞争指标，而是准确率本来应表示的量。