Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.13537· Yerin Hwang, Dongryeol Lee, Taegwan Kang, Minwoo Lee, Kyomin Jung·Indexed by this site · Originally published

When Wording Sways Evaluation: Framing Bias in LLM Judges

When Wording Steers the Evaluation: Framing Bias in LLM judges

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

14个LLM评审在P与¬P下均出现判定不一致，GPT-5-mini平均为5.69%。

Questions
LLM评测被当作人工判断的替代时，固定问法没有计入措辞框架。作者要看谓词肯定与谓词否定这两种语义等价的问法，会不会让真实性、越狱检测、毒性和语法判定互相矛盾。
Methods
对同一内容构造谓词肯定（P）和谓词否定（¬P）成对提示，用思维链要求先写理由再答Yes或No。14个LLM judge在四个数据集上各评两种问法；计分只用最终标签，指标是逻辑不相容率、顺从偏差和任务诱发偏差。
Experiments and results
14个评审的平均不一致率从GPT-5-mini的5.69%到LLaMA 3.2 1B的66.29%（Table 1）。LLaMA顺从偏差为正，OpenAI模型为负。越狱检测的跨模型平均不一致率为25.45%（Figure 2）。
Limitations and future work
作者称分析限于四个任务、实验主要是英文，框架只操作化为否定改写，未覆盖收益–损失框架、委婉语或条件措辞。主结果是一次representative run；同提示重复三次只做在GPT-5-mini上。
Experimental setupLlama-3.2-1B-Instruct、Llama-3.1-8B-Instruct et al. · TruthfulQA、JailbreakBench et al. · Inconsistency (PIR)、Acquiescence Bias et al.
Evaluated models
Llama-3.2-1B-InstructLlama-3.1-8B-InstructLlama-3.1-70B-InstructLlama-3.3-70B-InstructQwen2.5-1.5B-InstructQwen2.5-3B-InstructQwen2.5-7B-InstructQwen2.5-14B-InstructQwen2.5-32B-InstructQwen2.5-72B-Instructo4-miniGPT-4oGPT-5-miniGPT-5
Benchmarks
TruthfulQAJailbreakBenchJigsawCoLA (GLUE)
Metrics
Inconsistency (PIR)Acquiescence BiasTask-Induced Bias
AI summaryAn arXiv paper systematically studies the impact of prompt framing on LLM judge judgments, finding that 14 LLM judges are generally sensitive to wording framing. Drawing on the framing effect from psychology, the study constructs symmetric prompts using predicate affirmation and predicate negation, tests them on four types of high-stakes evaluation tasks, and finds that framing significantly changes model outputs. Different model families show different tendencies toward agreement bias or rejection bias. The authors argue that framing bias is a structural property of current LLM evaluation systems and requires frame-aware evaluation protocols.

An arXiv paper systematically studies the impact of prompt framing on LLM judge judgments, finding that 14 LLM judges are generally sensitive to wording framing. Drawing on the framing effect from psychology, the study constructs symmetric prompts using predicate affirmation and predicate negation, tests them on four types of high-stakes evaluation tasks, and finds that framing significantly changes model outputs. Different model families show different tendencies toward agreement bias or rejection bias. The authors argue that framing bias is a structural property of current LLM evaluation systems and requires frame-aware evaluation protocols.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    14个LLM评审在谓词正负两种问法下都会出现逻辑不相容的判定。

    LLM评审在语义等价、只改谓词极性的提示下，判定是否仍然逻辑相容。

    • 出现场景：作者称LLM评测已被当作人工判断的可扩展替代，但现有框架多用固定问法，没有计入措辞框架。作者关注四类高风险判定：真实性、越狱检测、毒性检测、语法可接受性。
    • 已有工作的缺口：作者称LLM会对提示措辞敏感，也会顺着用户隐含意图作答，但framing对评测代理的影响仍基本未被考察。作者称本文是对评测框架中framing bias的首次系统考察。
    • 核心设定：作者预期，稳健评审应对只差框架的等价提示给出相容判定。作者用心理学中的框架效应作类比，把问法收成谓词肯定（P）与谓词否定（¬P）。
    • 本文做的事：在14个LLM judge上比较这两种问法，测量不一致率、顺从偏差和任务诱发偏差。作者称框架偏差是当前LLM评测的结构性问题，评测协议需要计入框架。

  2. What related research exists?

    作者把本文放在措辞敏感、顺从偏差和固定问法的LLM评测之间。

    人类框架效应与LLM的措辞敏感

    • Tversky and Kahneman（1981）、Levin and Gaeth（1988）、Levin et al.（1998）、Nelson et al.（1997）：人类决策中的framing effect。作者用它类比模型对任务呈现方式的敏感。
    • Sclar et al.（2023）、Mizrahi et al.（2024）、Voronov et al.（2024），以及Brucks and Toubia（2025）、Razavi et al.（2025）、Zhou et al.（2024）：词汇、句法或提示格式会改变输出，即使底层任务不变。
    • Shafiei et al.（2025）、Cheung et al.（2025）：作者称这些工作显示，框架敏感会让LLM在数学推理和道德判断中给出不一致回答。

    顺从与附和

    • Sharma et al.（2023）：agreement bias，倾向对齐用户观点并复述其立场，而不做评估性推理。
    • Cheng et al.（2025）的social sycophancy，以及引言引用的Ranaldi and Pucci（2023）：模型会顺着用户隐含意图作答，即便底层信息在逻辑上等价。

    LLM评测框架

    • Liu et al.（2023）的G-Eval、Gu et al.（2024）的LLM-as-a-judge综述：把LLM用作评测代理。
    • Bavaresco et al.（2024）、Li et al.（2024）：作者称这些框架依赖固定的评测提示，没有计入framing，问法本身可能带来有偏评估。

    作者称，尽管框架效应已有人讨论，它对LLM-based evaluation的影响仍基本未被考察；作者称本文首次考察现有评测框架如何被framing扭曲。论文没有把其他评测协议当作对照方法。

  3. How does the paper address this problem?

    用谓词肯定与否定的成对提示，检验同一内容的Yes/No是否逻辑相容。

    整体做法是成对提示：同一待评内容只改谓词极性，比较predicate-positive（P）与predicate-negative（¬P）下的Yes/No是否逻辑相容。

    框架协议

    • P直接问性质P是否成立；¬P问该性质的否定是否成立。毒性任务中，P问文本是否有毒，¬P问是否无毒。越狱检测中，P问回复是否提供可促成被禁止目标的可执行、具体指导，¬P问是否避免提供。
    • 相容的期望是：对P答Yes时，对¬P应答No，反之亦然。两种框架都答Yes，或都答No，都算不一致。Figure 1画的是同一内容在两种框架下都答Yes。
    • 四个任务都用思维链评测提示（Wei et al., 2022）。系统角色要求逐步推理，并严格输出两行：一行理由、一行Yes或No。附录D的Figure 3–6给出完整提示。计分只用最终标签，自由形式理由不进入指标。

    四个任务与数据

    • 真实性：判断候选答案是否事实正确。TruthfulQA的多选题被改成每个选项一条二元判断，平衡集1,000例；两种框架共2,000次判定。
    • 越狱检测：给定goal与prompt，判断回复是否提供可实际促成被禁止目标的可执行、具体指导。用JailbreakBench全部300条，两种框架都评。
    • 毒性检测：判断文本是否有毒。Jigsaw上平衡的1,000例，两种框架都评。
    • 语法可接受性：判断句子语法是否正确。GLUE的CoLA子集1,000例。P问是否正确，¬P问是否不正确。

    三项指标

    • 不一致率是同一内容在P与¬P下逻辑不相容的比例。记两种框架都为Yes的比例为p11、都为No的比例为p00，则 PIR = p11 + p00。越高表示越受框架影响。附录B只在两种判定都可解析的条目上计算。
    • 顺从偏差先算两种框架的Yes比例，再按任务规模加权得到MAB，并相对0.5中心化：AB = MAB − 0.5。正值表示倾向同意，负值表示倾向拒绝。Table 1以百分点报告。
    • 任务诱发偏差用该任务上的同意率减去该模型的全局顺从偏差，再对模型平均。正值表示任务本身倾向诱发同意。附录B给出按可解析条数加权的跨任务汇总式；Table 1的Avg只标为Avg，论文未说明该列是否采用这一加权。

    解码与计分

    • 支持温度控制或可配置参数的模型用零温度解码。可配置effort的推理模型设为medium，其余为默认。主结果来自一次representative run（Section 4.1、附录A）。
    • 指标不与数据集金标比较，只比较两种问法是否逻辑相容。论文未报告不可解析输出的比例。

  4. What experiments did the paper conduct?

    14个评审均未完全一致；平均不一致率从5.69%到66.29%（Table 1）。

    实验设置

    • 被测模型：14个LLM judge。闭源标识为o4-mini-2025-04-16、gpt-4o-2024-08-06、gpt-5-mini-2025-08-07、gpt-5-2025-08-07。开源为Qwen2.5 Instruct的1.5B、3B、7B、14B、32B、72B，以及Llama-3.2-1B-Instruct、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Llama-3.3-70B-Instruct（Section 4.1、附录A）。
    • 数据：TruthfulQA平衡1,000例（两种框架共2,000次判定）；JailbreakBench全部300条；Jigsaw平衡1,000例；CoLA/GLUE子集1,000例。后三项论文写明两种框架都评，未单写判定总次数。
    • 指标：Inconsistency、Acquiescence Bias（百分点）、Task-Induced Bias。不一致由规则判定：两种框架答案相同即不相容。没有另设裁判模型，也不与金标比对。
    • 解码：可调温度的模型为0；推理模型effort为medium。主表是一次representative run。附录E只对GPT-5-mini、每个评测样例、相同提示重复三次。
    • 论文未报告：各任务可解析条数、与人工或金标的一致率、显著性检验。

    主结果

    下表为Table 1的Inconsistency（%）。14个模型超过8行，表内保留平均不一致率最高的模型，并保留各系列中平均较低的模型。

    Swipe horizontally to read the table

    模型真实性越狱检测毒性语法平均
    LLaMA 3.2 1B59.3680.0834.1891.5566.29
    Qwen 2.5 3B84.7063.0044.9445.4059.51
    Qwen 2.5 1.5B67.0053.6750.0020.2047.72
    Qwen 2.5 14B17.8012.6770.904.3026.42
    LLaMA 3.1 8B23.7241.087.4022.5723.69
    Qwen 2.5 72B9.3011.004.802.907.00
    GPT-55.6010.672.104.705.77
    GPT-5-mini6.106.673.206.805.69

    省略的Table 1行：LLaMA 3.1 70B平均7.97%，LLaMA 3.3 70B平均7.89%，Qwen 2.5 7B平均16.69%，Qwen 2.5 32B平均8.23%，o4-mini平均7.57%，GPT-4o平均7.61%。

    • 作者称14个judge都没有完全不受框架影响；平均不一致率最低的是GPT-5-mini。作者称这一影响不可忽略。单任务最高格在上表：LLaMA 3.2 1B的语法为91.55%，Qwen 2.5 3B的真实性为84.70%。
    • 作者称偏差方向按模型系列分化。Table 1的顺从偏差：四个LLaMA为+0.19、+2.18、+1.16、+2.41 pp；o4-mini、GPT-4o、GPT-5-mini、GPT-5为−0.94、−0.57、−0.83、−1.38 pp。Qwen有正有负，Qwen 2.5 3B为−18.22 pp，是表中最负的值。作者认为这种方向可能与指令微调目标、对齐策略或解码偏好有关。
    • 作者称开源模型中较小者更易受框架影响，并称部分少于30亿参数的模型平均不一致率超过随机猜测水平（>50%）。Table 1中LLaMA 3.2 1B为66.29%；Qwen 2.5 1.5B为47.72%。规模并不严格单调：Qwen 2.5 3B平均59.51%，高于1.5B的47.72%；Qwen 2.5 14B平均26.42%，高于7B的16.69%。作者未解释这些例外。

    任务诱发偏差与任务级不一致

    • 作者称，扣掉模型级顺从偏差后，语法可接受性与毒性检测倾向诱发同意，越狱检测与真实性评估倾向诱发拒绝。Figure 2左图标注3.31、2.69、−3.03、−2.96个百分点；正文没有逐项写出前两个正值各对应哪一项。作者认为这种分化可能反映任务语义和风险特征。
    • 作者称跨模型平均不一致率由高到低为越狱检测、真实性、毒性检测、语法可接受性。Figure 2右图标注25.45%、25.06%、17.61%、17.04%。作者称模型在越狱检测上最易受框架影响，语法判断上最低。

    定性理由与随机基线

    • Section 4.2称，基于模型生成的推理链，模型常在不同框架下给出不一致判定，再用有缺陷的推理去圆。Table 2是GPT-5在越狱检测上的两例：同一输出在P与¬P下终判相同，理由却一称指导过于具体、一称过于笼统。第一例两种框架都是Yes，第二例都是No。附录给出示例，这里不复述目标文本。
    • 作者称主实验中最倾向拒绝的是Qwen 2.5 3B：两种框架下常给同一输出同一个No。这与Table 1中其−18.22 pp同向。
    • 附录E：GPT-5-mini在相同提示下每个评测样例重复三次，二元判定的随机不一致率为0.8%；其P/¬P不一致率为5.69%。作者称二者的差距说明，观察到的不一致主要不是采样噪声，而是问法改写引起的不稳定。0.8%没有按任务拆开。

    其他消融与分析

    • 论文没有参数扫描式消融。
    • Qwen 2.5 14B毒性不一致率70.90%，同模型真实性17.80%、越狱12.67%、语法4.30%（Table 1）。作者未解释。
    • GPT-5平均5.77%，高于GPT-5-mini的5.69%；GPT-5越狱检测10.67%，高于GPT-5-mini的6.67%（Table 1）。
    • LLaMA 3.3 70B真实性不一致率15.50%，高于LLaMA 3.1 70B的11.86%（Table 1）。
    • 越狱检测单任务最低是LLaMA 3.3 70B的5.46%，不是GPT-5-mini的6.67%（Table 1）。
    • 高不一致不必伴随高顺从：LLaMA 3.2 1B平均不一致率66.29%，顺从偏差为+0.19 pp（Table 1）。

  5. What are some points that can be further explored?

    作者称框架只覆盖否定改写，实验主要在英文的四个任务上。

    作者指出的局限与后续方向

    • 分析集中在四个评测任务。作者称这些任务代表高风险场景，后续可以考察医疗、金融风险和代码安全等领域（Limitations）。
    • 实验主要以英文进行。作者称后续可以评估跨语言、跨领域设定下，框架敏感是持续还是改变（Limitations）。
    • 框架按操作定义，用的是谓词肯定与谓词否定，即基于否定的改写，不是人类风险决策里经典的收益–损失框架。作者称这不覆盖委婉语、条件措辞或其他语用线索，扩展框架分类留待后续（Limitations）。
    • 研究用受控的成对提示隔离措辞效应。作者称端到端LLM-as-a-judge流程里，提示常同时在量表、示例、上下文和格式上变化，这种严格配对并不总被显式构造；作者把当前设置定位为诊断性压力测试，用来审计评测器在最小改写下是否稳定（Limitations）。

    实验覆盖范围

    • 被测模型为14个LLM judge：OpenAI四个，Qwen 2.5 Instruct六个规模，LLaMA 3 Instruct四个（Section 4.1、附录A、Table 1）。
    • 任务为真实性（TruthfulQA，1,000例）、越狱检测（JailbreakBench，300条）、毒性（Jigsaw，1,000例）、语法（CoLA/GLUE子集，1,000例），每例用P与¬P各评一次（Section 3.2）。
    • 主结果是温度0（可调者）下的一次representative run；可配置effort的推理模型设为medium（Section 4.1、附录A）。
    • 不一致由P与¬P的逻辑相容性定义。论文未报告与金标或人工的一致率，未报告显著性检验，也未报告各任务可解析条数（Section 3.3、附录B）。
    • 同提示重复试验只在附录E：GPT-5-mini、每个评测样例三次，随机不一致率0.8%，论文未按任务拆开。

  6. Summarize the main content of the paper

    P与¬P问法会改变14个LLM评审的判定，方向还随模型族和任务变化。

    作者把LLM评审的措辞敏感做成可测的框架偏差：同一内容用谓词肯定和谓词否定各问一次，看Yes/No是否逻辑相容。

    • 要解决的是，固定问法的评测会不会因为表层框架而给出互相矛盾的判定。任务是真实性、越狱检测、毒性检测和语法可接受性。
    • 提示要求先写理由再给Yes或No，计分只用最终标签。指标是不一致率、按任务规模加权并相对0.5中心化的顺从偏差，以及扣掉模型偏差后的任务诱发偏差。
    • Table 1中，14个judge的平均不一致率从GPT-5-mini的5.69%到LLaMA 3.2 1B的66.29%。四个LLaMA的顺从偏差为正，四个OpenAI模型为负；Qwen 2.5 3B为−18.22 pp。作者称方向按模型系列分化，且较小的开源模型往往更易受影响；表中并非严格按规模单调。
    • 作者称任务级不一致率最高的是越狱检测，Figure 2标注25.45%，语法最低，标注17.04%。作者称语法与毒性倾向诱发同意，真实性与越狱倾向诱发拒绝。
    • 附录E中，GPT-5-mini同提示重复三次的随机不一致率为0.8%，低于其框架不一致率5.69%。作者称框架偏差是当前LLM评测的结构性问题，协议需要计入框架。
Read originalarxiv.org