研究者发布 Judge Reliability Harness，压力测试 LLM 评委可靠性

LLM 法官配置（模型、rubric、提示词模板）很少被系统测量，小验证集上与人工的一致率也覆盖不了格式、改写、冗长度和采样变化。

• 使用场景：作者称 LLM 越来越多地被当作法官或 autograder，在 AI 评测里给输出打分、排序或分类（Thakur et al., 2025）。人工判断质量高，但贵且难扩展，因而常用 LLM 代替标注者（Bai et al., 2024; Chiang et al., 2024）。
• 现有做法的不足：作者称法官配置很少被系统评估，也很少和基准结果一起报告。与人工评分者在小验证集上的一致率点估计，对格式、改写、冗长度或采样参数等变化给出的保证有限。
• 作者看到的缺口：法官处于评测中心，刻画其可靠性的工具有限，实践者和决策者难以判断该对评测结果放多少信心。
• 本文给出的工具：Judge Reliability Harness（JRH），开源库。给定基准数据集和法官配置，为自由回答与智能体任务生成二分类判断和序数评分上的可靠性测试，并汇总通过率、置信区间和成本曲线。作者称用该 harness 评过的法官，没有一名在各基准上都稳定。

LLM 作法官

• MT-Bench 与 Chatbot Arena：正文称 MT-Bench（Bai et al., 2024）和 Chatbot Arena（Chiang et al., 2024）显示，GPT-4 这类强法官在偏好判断上可以接近专家水平的一致。参考文献里 Bai et al. 的题名是 MT-Bench-101。论文只作描述，没有拿它们做实验对照。
• G-Eval（Liu et al., 2023）：用结构化 rubric 和 chain of thought，在摘要和对话上与人工评分取得强相关。论文未在实验中复现。
• 综述：作者称近期综述记录了 LLM-as-a-judge 在多种任务和评测设置中的扩散，并把它视为现代评测实践的核心部分。正文未点名具体综述。

可靠性与元评估

• Chehbouni et al. (2025)：用测量理论论证，对 LLM 法官的热情超过对其效度和可靠性的严格审视，把它当作测量工具的关键假设仍欠检验。
• Thakur et al. (2025)：把多名法官模型对到人类考试评分者。作者称只有最大的模型达到合理对齐，仍对提示词复杂度敏感，并倾向宽松打分。
• FBI 与 CALM：Doddapaneni et al. (2024) 的 FBI 用降低事实性、指令遵循、长文连贯或推理的定向扰动做元评估；作者称评估用 LLM 常常检测不到质量下降。Ye et al. 指出位置偏差、冗长度偏差等，并提出 CALM 量化其影响。论文未给 Ye et al. 的年份。

实验用的基准

• 四个数据集：PERSUADE（Crossley et al., 2024）、FORTRESS（Knight et al., 2025）、HarmBench（Mazeika et al., 2024）、AgentHarm（Andriushchenko et al., 2025）。智能体日志来自 Inspect（UK AI Security Institute）。
• 对照方式：论文没有把上述元评估方法当作实验基线，而是用同一套整理后的合成数据比较四名法官配置。

作者把这些研究合起来的说法是：LLM 法官的可靠性不能视为当然。引言把缺口放在法官角色中心、刻画工具有限；JRH 的目标是让可靠性测试可配置、可复现、花费更低。

给定种子基准和法官配置，Judge Reliability Harness（JRH） 先把数据收成统一 schema，再生成并校验合成扰动，可选人工复核，然后让法官打分，并按是否命中目标标签汇总。Figure 1 把人工复核放在合成套件生成之后、法官评测之前。

四阶段

1. 载入种子数据集并归一化。
2. 合成流水线生成探测不同失败模式的扰动，并做校验。
3. 在生成样本上运行法官。
4. 计算并汇总指标，标出失败出现在何处、以何种方式出现。

每次运行都把法官与适用于该基准和该测试的提示词模板、rubric 配在一起。论文未把“通过”定义成与人工评分者一致，而是定义成与合成样本的目标标签一致。

基础扰动

• Label flip：改写原回答，使其明显违反 rubric 或翻转 ground-truth 标签，同时保留话题和总体结构。按论文设定，法官应翻转判定。
• Format invariance：只改版式、不改文本：段间空行、行内成簇空格、行首缩进。法官应保持原分数。PERSUADE 上拆成 vertical spacing、intra-line spacing、indentation 三项。
• Semantic paraphrase：改措辞和句式，意义与事实内容不变。法官应给出与原文相同的分数。
• Verbosity bias：事实内容和意图不变，写成加解释的长版本或更简的短版本，用来看法官是否奖长罚短。

随机稳定性与序数合成

• Stochastic stability：从原数据抽样并复制条目，比较同一底层样本的重复请求。作者称此时的差异反映随机不稳定，而不是内容变化。
• Synthetic ordinal：对需要序数分的数据，按 rubric 每一档生成样本。scoring bucket manager 记录每个源样本已覆盖的分数档，目标是各档分布均匀。
• 生成控制：temperature ramping 从初始温度升到用户定义的最大值，并加入目标分数档的 few-shot。validator LLM 核对是否达到目标分；未达到则升温重试，直到可配置上限。余弦相似度同时相对全部原始例子和已生成样本，前者避免过度使用 few-shot，后者提高多样性。实验节未给出具体温度或重试次数。

智能体模式

• 输入与两种测试：读取 Inspect 评测文件。agent perturbation 改 transcript 以诱发 rubric 违规；agent positives 把 transcript 推向满足 rubric。
• 编辑流水线：planning LLM 分析 transcript，给出针对特定消息的编辑步骤。editor LLM 逐步修改被标出的智能体消息，使结果走向降质违规或改进通过；每次编辑要与先前改动逻辑连贯。summarizer LLM 汇总演化中的对话状态。可选 verifier LLM 在发出扰动前确认是否达到目标结果。

人工复核与汇总

• 复核界面：各模式都可选人工接受、编辑或拒绝条目及其分数标签。附录 Figure 2 中，上方是原样本，左侧用红绿标出流水线编辑，右侧是可再改的文本框，底部接受或拒绝。作者称这用于边界情况、校验错误、领域要求和合成数据的覆盖。
• 报告内容：主输出是法官分数与目标标签一致的比例，越高越好。作者称 harness 还会汇总通过率、置信区间和成本曲线；实验节没有给出置信区间数值。

实验设置

• 被评法官：GPT-4o、Claude Sonnet 4.5、Llama Maverick 4.1 17B、Gemini 2.5 Pro。前三者中的闭源模型与 Gemini 2.5 Pro 走厂商 API，Llama 经 AWS Bedrock。论文对 Llama 有多种写法，各表名称在表注中照抄。AgentHarm 上改用 Claude Opus 4.5：预实验中 Sonnet 4.5 的自然语言推理与返回的结构化分数经常不一致；作者称 Opus 4.5 和 Haiku 4.5 未出现该现象。论文未报告 Haiku 4.5 的测试分数。
• 合成数据由谁产生：除非另注，对基准作答的模型是 GPT-4o mini。FORTRESS、Persuade、HarmBench 的子集用 GPT-4o-mini 扰动，Gemini 3 Pro 校验目标标签；后者出现安全错误时回退到 GPT-4o-mini。第 4.2 节把智能体 transcript 扰动受安全护栏影响的模型写作 GPT-4o。
• 规模与抽样：因费用和人工复核而降采样。作者举例：8 项测试 × 10 条需要 80 次 API 调用。FORTRESS、Persuade、HarmBench 各手选 10 条，按类别列分层。AgentHarm 随机抽 16 条，8 个危害类别各 2 条：Disinformation、Drugs、Fraud、Harassment、Hate、Sexual、Copyright、Cybercrime。同一基准上各法官用同一套整理后的合成数据。
• 各基准跑哪些测试：Persuade 按 discourse type 分层，跑除 label flip 和 agentic 以外的套件：synthetic ordinal、三项 format invariance、semantic paraphrase、verbosity bias、stochastic stability，每项 10 条。FORTRESS 按 risk subdomain 分层，HarmBench 按 SemanticCategory 分层；4.1 节写二者都跑 label flip、format invariance、semantic paraphrase、verbosity bias。AgentHarm 跑 agent perturbation 与 agent positives。结果节称 Figure 3a–c 各有 8 项测试。
• 指标：主指标是法官分数与合成样本目标标签一致的百分比。Persuade 的序数分在 1 到 6，另报 CCC、Pearson’s ρ、Spearman’s ρs、MAE。AgentHarm 另报 Accuracy、Error Rate、FPR、FNR。成本表的定义是 total cost usd / mean(accuracy)，注记称这是每准确率百分点的美元。论文未报告法官评测的重复次数，也未报告与人工评分的一致性。
• 人工复核：FORTRESS、Persuade、HarmBench 经查看后未改 LLM 扰动即接受。AgentHarm 的 perturbation 模式 16 条中 14 条至少改了一条消息；positives 模式 16 条中 2 条在 HITL 阶段被修改。作者把前者更多依赖 HITL 主要归因于扰动模型的安全护栏。

主结果

Swipe horizontally to read the table

法官	Persuade均值	HarmBench均值	Fortress均值	AgentHarm Accuracy
Claude Sonnet 4.5	37.26%	60.50%	69.42%	未报告
Claude Opus 4.5	未报告	未报告	未报告	0.813
GPT-4o	48.43%	62.33%	70.00%	0.906
Gemini 2.5 Pro	53.20%	62.33%	63.46%	0.813
Llama（见表注）	52.62%	73.92%	78.75%	0.906

前三列是 Table 4 的跨测试均值，不是单项测试。AgentHarm 列是 Table 6 的 Accuracy。Llama 在 Table 4 的 Persuade、HarmBench 写作 LLama 4 Maverick，Fortress 写作 Llama Maverick 4，Table 6 写作 Llama 4 Maverick 17B。Fortress 的 GPT 行原文写作 GPT4o。Figure 3 的逐格数值没有进入转换文本，这里不转写热图。Table 6 另有 Best Trio Ensemble，Accuracy 也是 0.906。

• 作者对任务差异的说法：作者称法官在 FORTRESS 和 HarmBench 上更稳，在 Persuade 上更脆，并把差异联系到前者主要是 yes/no、后者是 1 到 6 的多类分数。Table 4 里 Persuade 均值最高的是 Gemini 2.5 Pro（53.20%），不是 Llama（52.62%）；HarmBench 与 Fortress 的最高均值才是 Llama（73.92%、78.75%）。
• 没有一名全稳：作者称没有任何模型对全部扰动都稳定，稳健性取决于被评任务。Table 4 中，Persuade 标准差最高为 Claude Sonnet 4.5 的 17.18%，最低为 Gemini 2.5 Pro 的 11.10%；HarmBench 上这一对反过来，Claude 11.13%，Gemini 17.17%。
• 成本：结果节称 Llama 4.1 Maverick 17B 往往最稳，且成本只是其他被测法官的一小部分。Table 1 总体每准确率点为 Llama 0.0010 美元、Claude Sonnet 4.5 0.0223、GPT 4o 0.0196、Gemini 2.5 Pro 0.0080。Figure 4 只说明每个点是全基准总成本和平均准确率，转换文本没有坐标。

AgentHarm 的两类测试

• 测了什么：16 条分层 transcript 上的 agent perturbation 与 agent positives。正文称 Figure 6 汇总这两项；转换文本没有该图的逐格标注。
• 结果：perturbation 上 GPT-4o、Gemini 2.5 Pro、Llama 4 Maverick 均为 87.5%，Claude Opus 4.5 为 68.75%。positives 上 Opus 4.5、GPT-4o、Llama 4 Maverick 并列 93.75%，Gemini 2.5 Pro 为 75%。
• 作者的解读与表号：作者认为 Opus 漏掉多轮 transcript 里更大比例的细微违规。正文把 0.906 和高 FNR 记到 Table 3；这两个数出现在 Table 6，不在 Persuade 的 Table 3。Table 6 中 Opus 的 FNR 为 0.313、FPR 为 0.063；Gemini 2.5 Pro 的 FPR 为 0.250、FNR 为 0.125。作者认为 Gemini 倾向于把已改正的 transcript 仍标成违规。GPT-4o 与 Llama 4 Maverick 17B 的 Accuracy 均为 0.906，Error Rate 0.094，FPR 0.063，FNR 0.125。

按测试汇总与序数指标

• Table 5 是跨法官统计：Persuade 均值最低为 format invariance 1 的 35.00%，最高为 synthetic ordinal 的 68.02%。HarmBench 最低为 format invariance 3 的 50.00%，最高为 verbosity bias long 的 76.67%。Fortress 最低为 label flip 的 50.00%，最高为 stochastic stability 的 83.25%；format invariance 2 的 Max Score 为 100.00%。
• 格式与语义：作者称除 Fortress 外，autograder 在 format invariance 上均值最低，并认为模型对语义层差异比格式变化更稳。作者还称拼写类人为错误比语义改动更可能扰乱表现；论文定义的 format invariance 是空行、行内空格和缩进，不是拼写错误。
• Persuade 的相关与误差：正文给出 Pearson’s ρ 与 MAE：Claude Sonnet 4.5 为 0.901 与 0.48，GPT-4o 为 0.960 与 0.23，Gemini 2.5 Pro 为 0.935 与 0.34，Llama Maverick 4 为 0.953 与 0.29。Table 3 的 synthetic ordinal 行 ρ 与此相同，MAE 为 0.484、0.226、0.344、0.290。同表 semantic paraphrase 行的 Pearson’s ρ 为 Claude 0.327、GPT4o 0.963、Gemini 0.427、Llama 0.538。

其他消融与分析

• Table 1 分基准每准确率点美元，列顺序为 Llama 4 Maverick 17B、Claude Sonnet 4.5、GPT 4o、Gemini 2.5 Pro：Fortress 0.0016、0.0230、0.0150、0.0108；Persuade 0.0008、0.0260、0.0430、0.0073。
• 同表 HarmBench 为 0.0015、0.0352、0.0190、0.0132；AgentHarm 为 0.0001、0.0050、0.0013、0.0007。AgentHarm 的 Claude 列名仍是 Claude Sonnet 4.5，而法官结果用的是 Opus 4.5。
• Table 2 每百万 token 的输入/输出价：GPT 4o 2.50/10 美元，Claude Opus 4.5 5/25，Claude Sonnet 4.5 3/15，Gemini 2.5 Pro 1.25/10，Llama 4 Maverick 17B 0.24/0.97。
• Table 3、synthetic ordinal 的 CCC：Claude 0.838，GPT4o 0.955，Gemini 0.927，Llama Maverick 4 0.944。同表 Persuade 的 format invariance 1，四名法官 MAE 为 1.700、1.200、1.300、1.000。
• 正文称 semantic paraphrase 最稳，最低准确率是 Persuade 上 Gemini 2.5 Pro 的 40%。Table 5 中该测试最小值为 50.00%。两处不一致；Table 4 只写 Gemini 在 Persuade 的 Min Score 为 40.00%，未标明对应哪一项测试。
• 正文称三张非智能体热图都有 8 项测试。Table 5 的 Fortress 块有 8 行，HarmBench 块有 7 行，没有 verbosity bias short；4.1 节的 FORTRESS 文字列表也短于这 8 行。Table 3 则把 Persuade 的 verbosity 分成 long 与 short。

作者指出的局限与后续方向

论文未设 Limitations 或 Future Work 节。Discussion 与 Conclusion 没有把某项设计或结果写成不足清单，也没有列出要补的实验。Conclusion 把发现称为 preliminary results，并称这促使做可靠性感知的法官选择、报告和基准比较；这是结论措辞，不是局限条目。

Results 第 5 节有一句：在 Persuade 上评估法官回答与 ground truth 的语义接近度，仍是重要的后续方向。该句不在 Limitations、Discussion、Conclusion 或附录，这里不把它算作作者列出的后续方向。

实验覆盖范围

• 被评法官为 GPT-4o、Claude Sonnet 4.5、Gemini 2.5 Pro、Llama Maverick 4.1 17B；AgentHarm 的 Claude 结果来自 Opus 4.5（第 4.4 节）。预实验提到 Haiku 4.5，论文未报告其分数。
• 基准为 PERSUADE、FORTRESS、HarmBench、AgentHarm。前三个各 10 条手选分层样本；AgentHarm 为 16 条、8 类各 2 条（第 4.1 节）。
• 非智能体扰动由 GPT-4o-mini 生成，Gemini 3 Pro 校验，安全错误时回退 GPT-4o-mini。智能体 transcript 的扰动模型在第 4.2 节写作 GPT-4o。非智能体三基准接受前没有人工改写；AgentHarm 的两类模式分别改了 14/16 与 2/16。
• 主指标是与合成样本目标标签一致的比例。Persuade 另有 CCC、Pearson’s ρ、Spearman’s ρs、MAE（Table 3）。AgentHarm 另有 Accuracy、Error Rate、FPR、FNR（Table 6）。成本按 Table 1 的每准确率点美元报告。
• 论文未报告各准确率的置信区间数值，尽管引言称 harness 会汇总 confidence intervals。论文也未报告 synthetic ordinal 的具体温度和重试上限、法官评测的重复次数，以及法官分数与人工评分的一致性。

Judge Reliability Harness（JRH）是一套为 LLM 法官生成验证套件的开源库，用来看打分配置在输入变化下是否还跟得上目标标签。

• 问题：评测广泛使用 LLM 法官，但模型、rubric 和提示词模板很少被系统测量。作者认为，小验证集上与人工的一致率点估计，说明不了格式、改写、冗长度或采样参数变化时的表现。
• 做法：种子数据归一化后，流水线生成 label flip、只改版式的 format invariance、semantic paraphrase、长短变体、重复副本、按序数档合成的样本，以及 Inspect 日志上的 agent perturbation 和 agent positives。validator 或可选 verifier 核对目标结果，人工可接受、修改或拒绝。主指标是法官分数与目标标签一致的比例。
• 设置：法官为 GPT-4o、Claude Sonnet 4.5、Llama Maverick 4.1 17B、Gemini 2.5 Pro；AgentHarm 的 Claude 结果换成 Opus 4.5。基准为 PERSUADE、FORTRESS、HarmBench 各 10 条，AgentHarm 16 条。扰动与校验主要用 GPT-4o-mini 和 Gemini 3 Pro。
• 结果：Table 4 的跨测试均值在 Persuade 为 37.26% 到 53.20%，在 HarmBench 为 60.50% 到 73.92%，在 Fortress 为 63.46% 到 78.75%。作者称没有法官在各基准上都稳定。Table 5 中，除 Fortress 外格式类测试的跨法官均值最低；Fortress 上最低的是 label flip，均值 50.00%。
• 智能体与成本：AgentHarm 的 perturbation 上，GPT-4o、Gemini 2.5 Pro、Llama 4 Maverick 为 87.5%，Claude Opus 4.5 为 68.75%；positives 上前一组中的 GPT-4o、Llama 与 Opus 为 93.75%，Gemini 为 75%。Table 6 里 GPT-4o 与 Llama 4 Maverick 17B 的 Accuracy 为 0.906。Table 1 总体每准确率点成本，Llama 为 0.0010 美元，低于表中另外三列。作者称较小或中等开源模型可以在更低推断成本下对齐或超过付费前沿法官，并称最贵的模型不一定是最好的法官。
• 作者的结尾：初步结果显示法官可靠性随模型、任务和扰动变化，对轻微格式变化、改写和判别性测试仍然敏感。作者认为这支持在模型比较或安全评测之前，先做可靠性感知的法官选择和报告。