跳到正文
原文
arXiv· arXiv:2305.17926· Peiyi Wang, Lei Li, Liang Chen, Zefan Cai, Dawei Zhu, Binghuai Lin, Yunbo Cao, Qi Liu, Tianyu Liu, Zhifang Sui·本站收录· 原文发表精选关注度39

大语言模型并非公平的评估者

Large Language Models are not Fair Evaluators

论文速读

分析与理论

据论文 PDF 整理（AI 生成），以原文为准

作者称 GPT-4 与 ChatGPT 作评审存在位置偏置，提出 MEC、BPC、HITLC 三种校准策略提升与人类判断的一致性。

问题
用 GPT-4 等 LLM 当评审给候选回复打分比较时，仅交换两个回复的呈现顺序就会翻转结果，作者称这种位置偏置使 LLM 不是公平的评审者。
方法
提出三种校准策略：MEC 让评审先生成多条评估证据再打分并集成；BPC 交换两个回复的位置各评一次取平均；HITLC 用 BPDE 熵挑出最可能有偏的样本交给人工标注。
实验与结果
在人工标注的 Vicuna Benchmark 80 题上，MEC+BPC 将 GPT-4 的 Accuracy 从 52.7% 升至 62.5%、ChatGPT 从 44.4% 升至 58.7%；加 20% 人工的 HITLC 分别达 73.8% 和 71.3%（Table 4）。
局限与可以继续做的
作者未专门讨论局限。实验只覆盖 GPT-4 与 ChatGPT 两个评审、Vicuna Benchmark 80 题、ChatGPT/Vicuna-13B/Alpaca-13B 生成的回复；HITLC 的人工标注由三位作者完成。
实验设置GPT-4、ChatGPT · Vicuna Benchmark · Accuracy、Kappa correlation coefficient 等
被测模型
GPT-4ChatGPT
基准
Vicuna Benchmark
指标
AccuracyKappa correlation coefficientConflict RateWin Rate
AI 导读和推荐理由论文发现，用 GPT-4 和 ChatGPT 作为评估者时，候选回答的排列顺序会系统性影响评分和胜负结果。在 ChatGPT 当评估者时，Vicuna-13B 可在 80 个测试问题中的 66 个上被判优于 ChatGPT。以 Vicuna-13B 对 ChatGPT 的 80 个问题为例，Vicuna-13B 排在第一位时 GPT-4 给出 51.3% 胜率，排在第二位时降至 23.8%；ChatGPT 作评估者时两种顺序下的胜率分别为 2.5% 和 82.5%。作者提出多种证据校准（MEC）、平衡位置校准（BPC）和人在回路校准（HITLC）三种方法，并在人工标注的 80 个 Vicuna Benchmark 问题上测试。代码和人工标注已开放在 https://github.com/i-Eval/FairEval。

论文发现，用 GPT-4 和 ChatGPT 作为评估者时，候选回答的排列顺序会系统性影响评分和胜负结果。在 ChatGPT 当评估者时，Vicuna-13B 可在 80 个测试问题中的 66 个上被判优于 ChatGPT。以 Vicuna-13B 对 ChatGPT 的 80 个问题为例，Vicuna-13B 排在第一位时 GPT-4 给出 51.3% 胜率，排在第二位时降至 23.8%；ChatGPT 作评估者时两种顺序下的胜率分别为 2.5% 和 82.5%。作者提出多种证据校准（MEC）、平衡位置校准（BPC）和人在回路校准（HITLC）三种方法，并在人工标注的 80 个 Vicuna Benchmark 问题上测试。代码和人工标注已开放在 https://github.com/i-Eval/FairEval。

推荐理由论文用交换回答顺序的实验量化了 LLM 评估者的位置偏见，并给出可复用的校准流程，适合设计模型评测时参考。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者称 LLM 评审存在位置偏置，交换候选回复顺序即可翻转评估结果。

    核心问题：用 LLM（如 GPT-4）当评审给候选模型的回复打分、比较时，仅改变两个回复在上下文中的出现顺序，就能翻转评估结论。

    • 场景与重要性：Vicuna 的评估流程（Zheng et al., 2023）让 GPT-4 给两个候选回复打分并给解释，因简单、可解释而被广泛使用；但作者认为 LLM 作为评审的可靠性尚不清楚，且 LLM 对文本指令和输入敏感。
    • 现有方法不足：作者称 BLEU、ROUGE、BERTScore、BARTScore 等自动指标不足以评估回复与人类意图的对齐；人工评估准确但成本高、耗时。
    • 核心观察：GPT-4 倾向给第一个位置的回复更高分，ChatGPT 倾向第二个位置；即使模板中写明"确保呈现顺序不影响判断"，交换顺序仍会推翻结果（Figure 1、Table 1）。
    • 论文提出：一个含三种策略的校准框架——Multiple Evidence Calibration（MEC）、Balanced Position Calibration（BPC）、Human-in-the-Loop Calibration（HITLC），并人工标注了 Vicuna Benchmark 80 题上 ChatGPT 与 Vicuna-13B 回复的 win/tie/lose 结果作为评测依据。

  2. 有哪些相关研究？

    相关工作分两组：LLM 评估方法（自动指标与 LLM 评审）和神经网络的偏置研究。

    LLM 评估

    • 传统自动指标：BLEU（Papineni et al., 2002）、ROUGE（Lin, 2004）、BERTScore（Zhang et al., 2020）、BARTScore（Yuan, Neubig, and Liu, 2021）——将生成回复与参考答案计算指标；作者称它们不足以衡量与人类意图的对齐（He et al., 2023）。
    • LLM 作为标注者与评审：ChatGPT、GPT-4 被用作标注者（Peng et al., 2023; Xu et al., 2023）和评审（Zheng et al., 2023; Peng et al., 2023; Sun et al., 2023; Zhou et al., 2023; Gao et al., 2023; Wang et al., 2023b; Dubois et al., 2023; Wang et al., 2023a）。其中 Vicuna 评估流程（Zheng et al., 2023）给出问题和两个模型的回复，用 GPT-4 判断哪个更好，是本文直接沿用的评估模板来源。
    • 对 LLM 评审可靠性的怀疑：Dong et al. (2022)、Turpin et al. (2023)、Bowman (2023) 指出 LLM 对文本指令和输入敏感，作者以此引出对评审范式抗扰动能力的疑问。

    神经网络的偏置

    • 各任务中的数据偏置：自然语言推理（Gururangan et al., 2018; McCoy, Pavlick, and Linzen, 2019; Belinkov et al., 2019; Liu et al., 2020a,b）、问答（Min et al., 2019）、ROC story cloze（Cai, Tu, and Gimpel, 2017; Schwartz et al., 2017）、词汇推理（Levy et al., 2015）、视觉问答（Goyal et al., 2017）、信息抽取（Wang et al., 2021, 2022; Song et al., 2023a; Xia et al., 2023）等工作中偏置已被研究。
    • 作者定位：作者称 LLM 从互联网海量数据预训练、很可能学到其中偏置，但 LLM 作为人类评审代理的可靠性尚未被充分探索；本文审视该范式并揭示位置偏置，再提出校准方法。

    基线与基准：基线方法为 VANILLA（先给结论再给解释的常用评估方式）以及 Random、Vanilla Diversity Entropy（用于 HITLC 选样对比）；基准为 Vicuna Benchmark（80 题、9 个类别），并另测 COMPARING 评估模板。

  3. 论文如何解决这个问题？

    提出含 MEC、BPC、HITLC 三种策略的校准框架，并定义 Conflict Rate 与 BPDE 两个量。

    整体思路：先量化 LLM 评审的位置偏置，再用先证据后打分、双位置平均、按熵选人三步校准。

    偏置的量化

    • 评估模板：沿用 Zheng et al. (2023) 的模板 T(Q, R1, R2)，含问题与两个回复三个槽位，要求按 1–10 打分（Table 1）。
    • Conflict Rate：对每个样本用 T(qi, r1i, r2i) 与 T(qi, r2i, r1i) 各查询一次，Conflict Rate = (∑i=1N I(ERir12 ≠ ERir21))/N，即交换顺序后结果冲突的样本比例。

    Multiple Evidence Calibration（MEC）

    • 先证据后结论：作者称自回归模型先给结论时，结论得不到事后解释的支持；为此设计 EC 模板 TEC，要求先生成评估证据再打分（Table 3）。
    • 多证据集成：对每个回复采样 k 个 EC 分数，两个位置共 2k 个分数；实验设 temperature 为 1、k = 3。

    Balanced Position Calibration（BPC）

    • 双位置平均：对每个样本额外构造交换位置后的查询 TEC(q, r2, r1)，最终校准分数为 2k 个分数的平均：CSR = (∑i=1k SRi + SR′ i)/2k，R 为 r1 或 r2，平均分高者判为更好。

    Human-in-the-Loop Calibration（HITLC）

    • 何时引入人工：受 Cai, Chang, and Han (2023) 启发，用 Balanced Position Diversity Entropy（BPDE）衡量样本难度：对 2k 个评估结果在 win/tie/lose 上求熵，熵越高越可能需要人工纠正。
    • 选样与融合：按 BPDE 选 top-β 最可能有偏的样本交给标注者，按多数意见整合人工标注。

    评测方式

    • 人工标注：三位作者独立标注 Vicuna Benchmark 全部 80 题上 ChatGPT 与 Vicuna-13B 回复的 win/tie/lose，从 helpfulness、relevance、accuracy、level of detail 四个维度评估，回复随机顺序呈现，每例平均 3 分钟，取三人多数意见。
    • 指标：与人工多数意见的 Accuracy 和 kappa 相关系数；不用 BPC 的方法随机化回复顺序、跑 100 次取平均。

  4. 论文做了哪些实验？

    在人工标注的 80 题上，三种校准策略将 GPT-4 的 Accuracy 从 52.7% 升至 73.8%。

    实验设置

    • 被测评审模型：GPT-4（OpenAI API "gpt-4"）与 ChatGPT（"gpt-3.5-turbo-0301"）。
    • 回复来源模型：Vicuna-13B、ChatGPT、Alpaca-13B；偏置分析用"Vicuna-13B v.s. ChatGPT"和"Vicuna-13B v.s. Alpaca-13B"两组对比。
    • 基准：Vicuna Benchmark，80 个问题、9 个类别；人工标注 ChatGPT 与 Vicuna-13B 回复的 win/tie/lose（三位作者、多数表决）。
    • 基线：VANILLA（先结论后解释）；HITLC 选样基线为 Random 与 Vanilla Diversity Entropy。
    • 指标：Accuracy、kappa 相关系数（对人工多数意见）、Conflict Rate、Win Rate。
    • 采样设置：非采样方法 temperature 0；MEC 用 temperature 1、k = 3；不用 BPC 的方法随机顺序跑 100 次取平均。

    主结果

    据 Table 4（80 个人工标注样本，对人工多数意见的 Alignment）：

    表格较宽，可左右滑动

    评审方法AccuracyKappaCost
    Human Average-71.7%0.54$30.0
    GPT-4VANILLA52.7%0.24$2.00
    GPT-4MEC (k=3)58.7%0.30$3.19
    GPT-4MEC (k=3)+BPC (k=3)62.5%0.37$6.38
    GPT-4MEC+BPC+HITLC (β=20%)73.8%0.56$23.1
    ChatGPTVANILLA44.4%0.06$0.10
    ChatGPTMEC (k=3)53.2%0.24$0.17
    ChatGPTMEC (k=3)+BPC (k=3)58.7%0.31$0.34
    ChatGPTMEC+BPC+HITLC (β=20%)71.3%0.52$18.3
    • 作者称 GPT-4 与人类判断的对齐整体高于 ChatGPT；MEC 与 BPC 提升了两个评审的 Accuracy 与 kappa，ChatGPT 的 Accuracy 提升 14.3 个百分点、kappa 从 0.06 升至 0.31。
    • 作者称"MEC (k=3) + BPC (k=3)"优于"MEC (k=6)"（GPT-4 上 60.9%、ChatGPT 上 55.6%），说明 BPC 起作用。
    • 作者称 HITLC 只加 20% 人工即可达到与 Human Average 相当或更好的对齐，标注成本从 $30 降至 $18.3（ChatGPT），降低 39%。

    位置偏置分析（Table 2、Figure 2）

    • Conflict Rate：GPT-4 在"Vicuna-13B v.s. ChatGPT"上为 46.3%、"v.s. Alpaca-13B"上为 5.0%；ChatGPT 分别为 82.5% 和 52.5%。
    • Win Rate 随位置变化：GPT-4 评审下 Vicuna-13B 对 ChatGPT 的 Win Rate 在 Assistant 1 位为 51.3%、Assistant 2 位为 23.8%；ChatGPT 评审下为 2.5% 与 82.5%。作者称 GPT-4 偏好第一个位置、ChatGPT 偏好第二个位置。
    • 与质量差的关系：Figure 2 显示 score gap ≤ 1 时 GPT-4 更易冲突、gap ≥ 3 时结果相对稳定；作者称分数差越小位置影响越大。

    BPDE 有效性与模板泛化（Figure 5、Table 5）

    • BPDE 选样：Figure 5 中，作者称两种 Diversity Entropy 选样优于 Random，BPDE 优于只用单一位置结果的 Vanilla DE（纵轴为 Accuracy，横轴为 Top-β 阈值，具体读数图上未标注）。
    • COMPARING 模板：ChatGPT 评审下，VANILLA 的 Accuracy 为 50.2%、Conflict Rate 50.0%；MEC 升至 54.8%、42.5%；MEC+BPC 达 60.3%（Table 5）。作者称方法在 SCORING 与 COMPARING 两种模板上都有效，并缩小了两个模板间的差距。

    其他消融与分析

    • 证据数 k（Figure 4(a)，ChatGPT 评审）：k 取 1、3、5、7，作者称性能先升后趋于平稳或略降，k = 3 最优且成本较低。
    • 采样温度 t（Figure 4(b)）：作者称 0.2 与 1.4 都次优，0.6 或 1.0 较合适。
    • 分类别分析（Figure 6）：作者称 GPT-4 在 common sense、coding、math 等复杂类别上优于 ChatGPT，MEC+BPC 在几乎所有类别上提升两者表现；图中标注了各类别的 Accuracy 数值（如 ChatGPT 在 math 上 Vanilla 0.31、MEC+BPC 0.60）。

  5. 有什么可以进一步探索的点？

    论文未专门讨论局限；实验只覆盖两个评审模型和 Vicuna Benchmark 80 题。

    作者指出的局限与后续方向

    • 论文未专门讨论局限，没有 Limitations 小节，Conclusion 中也没有写明未来方向。

    实验覆盖范围

    • 被测评审模型为 GPT-4（"gpt-4"）与 ChatGPT（"gpt-3.5-turbo-0301"）共 2 个（第 4.2 节）。
    • 评测基准为 Vicuna Benchmark 的 80 个问题、9 个类别；人工标注只针对 ChatGPT 与 Vicuna-13B 的回复对（第 4.1 节）。
    • 回复来源模型为 Vicuna-13B、ChatGPT、Alpaca-13B；Conflict Rate 分析只覆盖"Vicuna-13B v.s. ChatGPT"与"Vicuna-13B v.s. Alpaca-13B"两组对比（Table 2）。
    • 评估模板覆盖 SCORING 与 COMPARING 两种（Table 5）；HITLC 的人工标注由三位作者完成、每例平均 3 分钟（第 4.1 节）。
    • 论文未报告人工标注者之间的一致性数字（Table 4 只报告每位标注者与多数意见的 Accuracy 和 kappa）。

  6. 总结一下论文的主要内容

    作者称 LLM 评审有位置偏置，三种校准策略可提升其与人类判断的一致性。

    一篇分析 LLM 评审可靠性的论文：作者称 GPT-4、ChatGPT 作为评审存在系统性位置偏置，并提出校准框架缓解。

    • 问题：Vicuna 式评估让 GPT-4 比较两个候选回复，但仅交换回复顺序就会翻转结论——GPT-4 偏好第一个位置、ChatGPT 偏好第二个；分数差越小越容易冲突（Table 2、Figure 2）。
    • 方法：MEC 让评审先生成多条评估证据再打分并集成；BPC 对两个位置各评一次取平均；HITLC 用 BPDE 熵选出最可能有偏的样本交人工标注。
    • 偏置证据：ChatGPT 评审"Vicuna-13B v.s. ChatGPT"时 Conflict Rate 达 82.5%，GPT-4 为 46.3%（Table 2）。
    • 主结果：在人工标注的 80 个 Vicuna Benchmark 样本上，MEC(k=3)+BPC(k=3) 将 GPT-4 的 Accuracy 从 52.7% 升至 62.5%、ChatGPT 从 44.4% 升至 58.7%；再加 β=20% 的 HITLC 分别达 73.8% 与 71.3%，接近或超过 Human Average 的 71.7%（Table 4）。
    • 泛化：在 COMPARING 模板上，ChatGPT 的 Accuracy 从 50.2% 升至 60.3%（Table 5）。
    • 作者结论：作者称这些策略能减少评估偏置、提升与人类判断的对齐且成本较低，并公开代码与人工标注以支持后续研究。
阅读原文arxiv.org