跳到正文
原文
arXiv· arXiv:2603.29403· Aiman Al Masoud, Antony Anju, Marco Arazzi, Mert Cihangiroglu, Vignesh Kumar Kembu, Serena Nicolazzo, Antonino Nocera, Vinod P., Saraga Sakthidharan·本站收录· 原文发表

LLM-as-a-Judge 的安全：一份综合 SoK

Security in LLM-as-a-Judge: A Comprehensive SoK

论文速读

其他

据论文 PDF 整理（AI 生成），以原文为准

作者检索863篇并综述45篇，称LaaJ既会遭对抗操纵，也可被用作攻击或防御工具。

问题
LaaJ被用于基准、强化学习与安全过滤，但judge可被对抗操纵，也可成为攻击或防御工具。作者认为相关工作分散，缺少按安全角色组织的框架。
方法
作者检索863篇并纳入45篇（2020–2026），按LaaJ是攻击目标、攻击工具、防御工具、评测对象还是评测工具来分类，并形式化其输入、上下文与输出协议。
实验与结果
作者未重跑实验。Table 4中，Gemma-3-4B-Instruct上ASA最高ASR为73.8%；1%污染的分数膨胀为up to 3×。Figure 7标2025年33篇，Figure 8会议19、期刊15、arXiv 11。
局限与可以继续做的
第8–9节将提示操纵、位置偏差和长度风格偏差列为开放问题，并称缺少标准化方法与稳健基准。后续方向包括防御和人机混合评测。纳入45篇；论文未报告筛选一致性及对被引数字的独立复现。
AI 导读论文对 LLM-as-a-Judge 的安全问题做了系统化知识梳理，作者称这是该方向的首个 SoK。研究检索主要学术数据库的 863 篇文献，最终纳入 2020 至 2026 年间发表的 45 项研究。作者据此提出一套分类法，按 LLM-as-a-Judge 在安全格局中的角色分为四类：针对 LaaJ 系统的攻击、借 LaaJ 实施的攻击、把 LaaJ 用作防御，以及在安全领域把 LaaJ 作为评测策略的应用。论文还比较了现有方法，指出当前 LLM 评测框架存在的漏洞、新兴威胁与开放研究挑战。

论文对 LLM-as-a-Judge 的安全问题做了系统化知识梳理，作者称这是该方向的首个 SoK。研究检索主要学术数据库的 863 篇文献，最终纳入 2020 至 2026 年间发表的 45 项研究。作者据此提出一套分类法，按 LLM-as-a-Judge 在安全格局中的角色分为四类：针对 LaaJ 系统的攻击、借 LaaJ 实施的攻击、把 LaaJ 用作防御，以及在安全领域把 LaaJ 作为评测策略的应用。论文还比较了现有方法，指出当前 LLM 评测框架存在的漏洞、新兴威胁与开放研究挑战。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者称LaaJ安全文献分散，并用角色分类法整理攻击、防御与评测。

    核心问题是：LaaJ进入基准、强化学习与安全过滤后，judge既可能被对抗操纵，也可能被当作攻击或防御工具，而安全文献仍缺少按角色组织的框架。

    • 场景：作者称LaaJ用语言模型评估正确性、质量、安全性与对齐，已进入基准、强化学习流水线、自动评测和AI辅助评审。作者认为一旦进入关键流水线，judge是否可信会关系到评测结果。
    • 现有不足：作者称已有研究指出位置偏差等可靠性问题，但工作分散在自然语言处理、软件安全与AI安全等社区。作者认为还没有框架把这些安全含义组织起来。
    • 作者的划分：文献中的LaaJ可以是攻击目标、攻击工具、防御或安全分析工具，也可以是安全任务里的评测策略。本文做的是综述，不是新的攻击或防御算法。
    • 本文做法：作者称这是聚焦LaaJ安全的首个SoK。他们分析863篇、选出2020–2026年45篇，给出分类法，并比较局限、威胁与开放问题。
    • 威胁设定（综述所归纳，不是单一攻击者）：
      • 目标：操纵judge的分数、选择、偏好标签或安全判定；或把judge用作优化器，去攻击其他系统。
      • 知识：被引工作区分web poisoning、malicious annotation、weight poisoning，以及不访问参数、训练数据和评测输入、只改自然语言rubric的black-box设定。
      • 能力：推理时可改被评内容、候选回答或评测提示；训练时可污染数据、标注或权重。JudgeDeceiver类设定里，攻击者只控制一条候选回答，不知竞争回答。
      • 受害系统：LaaJ评测器，以及依赖它的排名、RLAIF/RLVR、安全过滤、RAG重排或具身智能体；具体系统依各被引工作而定。

  2. 有哪些相关研究？

    既有综述多谈功能与偏差，作者称专门的LaaJ安全综述仍然稀少。

    作者用第3节和Table 2定位本文：比较年份、时间范围、收录篇数、是否给定义、是否把评测当作系统测量、是否讨论安全，以及领域。下面只保留正文点名讨论过的工作。

    通用LaaJ综述

    • Gu等（2024）：给出形式化定义与分类，讨论一致性与偏差缓解，并提出面向可靠性的基准。Table 2记约220篇、2023–2025。正文将其放在功能与可靠性一侧，而不是对抗鲁棒性。
    • Li等（2024）[26]：讨论功能、方法、应用、元评测与局限，局限一节有一小段对抗攻击。Table 2记约300篇、2023–2024。作者认为专门的安全研究仍然稀少。
    • Li等[23]：按评什么、怎么评、如何做基准三维分类。正文称安全只被简要当作评测输出之一，与有用性、可靠性、相关性并列。Table 2记年份2024、约270篇；参考文献为2025年会议论文。

    领域综述

    • He等（2025）：面向软件工程，讨论用LLM评代码与软件产物，并给出到2030年的路线图。正文称对抗威胁只出现在局限中，且限于该领域。Table 2记42篇。
    • 医疗与推荐：Kocaman等（2025）与Genovese等（2026）评述医疗场景的LaaJ；Nawara与Kashef（2025）评述推荐系统，并把LaaJ当作一种评测做法。正文对前两者是叙述性综述，对后者未另作安全批评。
    • Cao等（2025）：把评测从人工放到自动流水线，LaaJ只是其中一环。作者称它没有专门分析LaaJ的安全风险或对抗脆弱性。Table 2记约370篇。

    Agent-as-a-Judge

    • Yu（2025）与You等（2026）：把方法演化接到Agent-as-a-Judge，并给出智能体评测框架与分类。Table 2分别记约60篇、约40篇。正文未把它们写成安全综述。
    • Table 2另列而未在第3节展开的条目：Xu等（2024）焦点为基准数据污染；Li等（2025）[27]为软件工程，安全列写的是简要提及的局限。勾选符号在纯文本中无法辨认，不据此判断各列是否打勾。

    作者称：LaaJ已被广泛研究，但覆盖对抗鲁棒性、攻击途径与防御策略的安全综述基本缺失；本文用跨领域45篇填这一空档。Table 2将本文记为2026、时间线2020–2026、45篇、Cross-domain。

  3. 论文如何解决这个问题？

    作者用五类角色分类法组织文献，并形式化LaaJ的输入、上下文与判定。

    本文不提出新算法，而是给出LaaJ安全分类法，并用统一背景定义支撑后文对攻击、防御和评测文献的整理。

    文献筛选

    • 来源：Google Scholar、IEEE Xplore、ACM Digital Library、Springer、ScienceDirect。关键词是“LLM-as-a-Judge”加上security、privacy、toxicity、reliability。
    • 纳入：优先Q1期刊与A*/A会议；排除重复、综述类文献和非英文。因领域新，纳入少量arXiv预印本，条件是至少一位作者引用超过5,000。
    • 规模：共分析863篇，选出2020–2026年45篇。作者未报告筛选人数或一致性。

    定义与流程

    作者把LaaJ写成在评测上下文下对样本给出结果：R=Pθ(Xn,C)。Pθ是参数为θ的LLM评测函数，Xn是待评样本，C可含指令、标准、示例或历史，R可以是分数、标签、排序、偏好或自然语言理由。

    n=1为point-wise，n=2为pair-wise，n>2为list-wise。协议分为打分、排序和选择。Figure 1的流程是情境学习（ICL，推理时不更新参数）、模型选择、提示设计、输出后处理，以及与人类判断对照的元评测。打分协议下，作者把最终选择写成ŷ=argmaxyj∈ YSθ(yj∣ x,C)，即取得分最高的候选评测。应用对象分四类：评模型输出、评数据、评智能体、评推理过程。

    安全分类法

    • 五类视角：第4节分为（i）攻击LaaJ，（ii）通过LaaJ实施攻击，（iii）用LaaJ做防御，（iv）评测LaaJ本身，（v）在安全相关任务里把LaaJ当评测策略。
    • Figure 2：把（iv）（v）收在Evaluation下。攻击目标为Raina、Shi、Wei、Li、Maloyan、Tong、Zhao、Ding共8篇；经LaaJ实施的攻击为Liu等1篇；防御为Mao、Li（J-Detector）、Shen（GPTracker）共3篇；评测对象为Ye等与Lai等。
    • Figure 3：作为攻击目标再分训练时（后门与投毒；rubric/协议操纵）和推理时（提示注入；token/表面扰动；鲁棒性评估）。

    被综述机制与整理口径

    • 训练时：BadJudge分web poisoning、malicious annotation、weight poisoning。RIPD只通过自然语言改rubric，使目标域偏好偏离人类参考，同时基准一致性仍约为0.85；正文称搜索策略为Biased Rubric Search，偏差可进入DPO等下游。
    • 推理时：Raina等在小surrogate上搜索短通用短语再迁移。Maloyan等区分内容作者攻击与系统提示攻击。JudgeDeceiver把注入写成优化问题，用影子候选模拟未知竞争回答，损失覆盖目标判决、位置稳健和困惑度。不复述注入句。
    • 表面形式与攻击器用法：Emoji Attack利用分词切分，并借助上下文让被评文本插入emoji。Zhao等研究reward judge对浅层“master key”输入给出假阳性；缓解是在截断推理开场白上训练专用Master-RM。Liu等则把judge当作优化引擎，判断投毒示范是否像人类所写。
    • 表与维度：攻击用Table 4，防御用Table 5，评测用Table 6。Figure 4把“评测工具”再分为攻击检测、代码评审/软件工程、智慧环境和其他领域。Table 7用七个独立二分维度描述做法：黑盒/白盒、绝对/相对打分、云/本地、一阶/高阶、rubric集成/单一、内部/外部知识、事后/事前。

  4. 论文做了哪些实验？

    作者未做新实验，而是汇总45篇；Table 4报告多项攻击ASR与分数膨胀。

    本文没有新的模型实验。下面的数字都是作者从被引研究摘入表中或正文的结果。

    实验设置

    • 文献范围：分析863篇，纳入45篇（2020–2026）。数据库、关键词、Q1与A*/A优先、排除综述和非英文、预印本引用超过5,000等规则见第1节。
    • 分类：第4节五个视角；Table 3记录年份、范围、分类和应用上下文。Figure 2给出对应引用。
    • 威胁表：Table 4汇总9项，记录judge角色、攻击类别、judge模型、指标、主结果和基准。作者未重跑这些模型。
    • 防御与评测表：Table 5为三项缓解策略；Table 6区分judge是评测对象（T）还是评测工具（I），并记录框架、基准、指标和主结果。
    • 指标：被引工作常用ASR、分数膨胀、FPR、检测率变化、Accuracy、F1、AUC、Precision等。本文没有统一重算，也没有自己的判定阈值。
    • 样本量与重复：论文未报告文献筛选的评审人数、一致性或重复编码。各被引实验的重复次数，表中未单列的不补。

    主结果

    被引研究（Table 4）条件Table 4主结果
    Maloyan等2025Gemma-3-4B-Instruct；Gemma-3-27B-InstructASA最高ASR 73.8%；CM为67.7%
    Wei等（表记2024）ShieldLM等；十个judge检测最多降12%；ShieldLM从71.9%到3.5%
    Tong等20251%污染；web poisoning最高膨胀3×（1.4→4.6/5）；网页投毒膨胀20%；有毒提示误分类89%
    Liu等2025Davinci-002；ProgPrompt等ASR≥82.5%、83.3%、VisProg>80%
    Zhao等202510个key、5个基准FPR up to 80%
    Li等2025GPT-4o；提示模板PAIR与Combined的ASR≈70%；鲁棒性相差up to 40%
    Shi等2024开源LLM（如Llama-3-8B）；闭源模型写为implicit防御漏掉≥70%的攻击；ASR只写Very high
    • 上表省略Raina等与Ding等。Table 4写Raina等ASR up to ≈70%，困惑度检测modestly effective；Ding等把有用性准确率降低9.5%、无害性降低27.9%，win-rate降至≈40%。Table 3将Wei等记为2025，Table 4记为2024，参考文献[55]为2025。
    • 正文与Table 4不完全相同。BadJudge正文写权重投毒下分数从1.5/5到4.9/5、1%污染ASR超过76%、护栏把有毒内容判为安全的比例83.9%、RAG重排把投毒文档放到首位的比例96.9%。JudgeDeceiver正文写四个开源LLM、MT-Bench与LLMBar上平均ASR为89%–99%；在Llama-3-8B上优化的注入，对Claude-3 Sonnet为88%，对GPT-4为79%；三种检测的假阴性为40%–100%。
    • 作者称绝对打分比成对比较更易受短通用短语影响。Maloyan等正文称系统提示攻击比内容作者攻击平均高15个百分点；开源模型平均成功率50%–68%，GPT-4与Claude-3-Opus为27%–44%。Zhao等正文写FPR高达80%–90%，与Table 4的up to 80%不完全相同。

    防御向缓解

    • 审计评分：J-Detector在Table 5的准确率≈85%–95%，F1与AUC>0.9。数据写为multiple datasets，未列名称。作者称LLM评分与人类评分可分开，并可看出偏差。
    • 生态监测：GPTracker在八个月内收集超过750,000个GPT实例，标出2,051个违反条款的GPT，精确率≈73%（Table 5）。作者称规避手段包括外部API、把指令藏进提示、引向外部域名。不写载荷。
    • 可解释检测：LLMVulExp在Table 5的precision、recall、F1≈90%；数据集只写standard vulnerability datasets。方法是LoRA指令微调、Chain-of-Thought和关键代码抽取。作者称解释包含漏洞类型、位置和可能的修复。

    评测对象与评测工具

    • 评测对象：CALM列出12类偏差，指标为robustness rate与consistency rate；正文称模型会偏好更长回答或特定位置，未给百分比。BiasScope在JudgeBench-Pro上错误率超过50%（Table 6与正文一致）。
    • 攻击检测：CyberRAG分类准确率94%（Table 6）。CrossInject的ASR增加up to 71.7%，PNA始终100%。SocketAI相对CodeQL的precision高16%、F1高9%；GPT-4的F1为97%；混合过滤减少78%分析量（Table 6）。
    • 代码与采纳：HyVD-VP在Table 6为95% F1；正文写准确率95.2%、F1 95.1%，相对Fortify的F1高18.3%，并在六个企业项目中发现16个先前未知漏洞。RevMate直接采纳率为8.1%（Mozilla）与7.2%（Ubisoft）（Table 6）。SE-Jury相对基线的相关性提高29.6%–140.8%（Table 6）。Table 6称低资源语言或抑制拒答的越狱有效，微调可能增加偏差；作者未在该格给出百分比。

    其他消融与分析

    • Liu等：去掉Judge驱动优化后，ASR从超过90%降到约20%–25%；攻击条件下实车碰撞率80%（第5.2节）。
    • Maloyan等：单个防御被绕过32%–67%；七个架构不同的模型组成委员会后，ASR降到10%–19%（第5.1.2节）。
    • Raina等：困惑度检测F1为0.70–0.82；作者称同时优化高分和低困惑度的自适应攻击可能绕过。正文surrogate为FlanT5-3B，Table 4写FlanT5-xl。
    • Li等：正文称Combined Attack在Openchat-3.5、Qwen-2.5-7B、Mistral-7B上ASR为100%，PAIR在Qwen-2.5-7B上为100%、在Llama-3.1-8B上为90%；与Table 4的GPT-4o≈70%不是同一条件。PAI-Judge子分数从约1.5升至超过6.0。作者称Re-tokenization与基于LLM的检测器最有效，前者损害正常表现，后者计算开销大。
    • Shi等[46]：去掉人工rubric精炼后κ从0.57降到0.38；自由形式rubric为0.29。一致补丁上κ=0.75、NPV=0.94；有争议补丁上κ=0.57。
    • Baek等：去掉解释监督后，解释分从4.90降到2.43/5，检测准确率只降0.5个百分点。CodeGemma-FT检测准确率99.3%，人类教师为86.5%。

  5. 有什么可以进一步探索的点？

    作者把提示操纵、位置偏差和长度风格偏差列为开放问题。

    作者指出的局限与后续方向

    • 对抗提示操纵（第8.1节）：作者称恶意用户可以按模型的推理模式构造回答，从而影响judge。列出的开放问题是：建立能防止对抗攻击的LLM评测系统，设计检测提示注入和评测操纵的方法，以及为评测流水线设计防御。
    • 位置偏差（第8.2节）：作者称候选出现顺序会影响结果，攻击者可能利用排序。开放问题是位置不变的评测框架、更稳健的排序机制，以及量化并降低位置偏差。
    • 长度与风格偏差（第8.3节）：作者称更长、更流畅或格式更好的回答可能得到更高分，即便事实质量不高。开放问题是优先事实正确性的指标、降低长度偏差的归一化，以及把风格质量与内容质量分开。
    • 现有做法的三点局限（第9节）：作者称包括judge易受对抗操纵、缺少标准化评测方法、缺少评估LaaJ安全与可靠性的稳健基准。
    • 后续方向（第9节）：作者列出LaaJ鲁棒性的标准化基准、针对对抗操纵的防御，以及自动judge与人工监督结合的混合评测。
    • 问题来源（第8节开头）：作者称许多问题来自LLM对提示操纵、偏差和输出变异的敏感，要得到安全的评测框架就需要处理这些特性。

    实验覆盖范围

    • 第1节的检索覆盖Google Scholar、IEEE Xplore、ACM Digital Library、Springer、ScienceDirect；分析863篇，纳入45篇（2020–2026），并排除重复、综述和非英文。
    • Figure 2覆盖攻击目标、经LaaJ实施的攻击、防御、评测对象和评测工具；Figure 3把攻击目标再分为训练时与推理时。
    • Table 4汇总9项攻击研究；Table 5为J-Detector、GPTracker、LLMVulExp；Table 6汇总把LaaJ当评测对象或评测工具的工作。
    • Figure 7将2020–2023标为0、2024标为3、2025标为33、2026年3月标为12；Figure 8为会议19、期刊15、arXiv 11。论文未解释Figure 7标注与45篇如何对应。
    • 论文未报告文献筛选的评审人数和一致性，也未报告对被引实验数字的独立复现。

  6. 总结一下论文的主要内容

    这是一篇LaaJ安全SoK：按五类角色整理文献，并汇总被引量化结果。

    作者把2020–2026年的文献收成一篇LaaJ安全SoK，用来说明judge在安全中扮演什么角色。作者称这是该方向的首个SoK。

    • 问题：自动评测已进入基准、对齐训练和安全过滤，但judge可被操纵，也可被用来实施攻击或支撑防御；相关工作分散，作者认为缺少结构化框架。
    • 做法：分析863篇、纳入45篇，按攻击目标、攻击工具、防御工具、评测对象、评测工具分类。背景里把judge定义为在上下文条件下对样本给出分数、排序或选择，并区分point-wise、pair-wise与list-wise。
    • 发表：Figure 7标注2024年3篇、2025年33篇、截至2026年3月12篇，2020–2023为0。Figure 8为会议19、期刊15、arXiv 11。作者称2024到2025年发表从3篇增至33篇。
    • 攻击汇总：Table 4中，Gemma-3-4B-Instruct上ASA的最高ASR为73.8%；ShieldLM的不安全检测率从71.9%到3.5%；1%污染的分数膨胀最高为3×（1.4→4.6/5）。正文另写JudgeDeceiver在四个开源LLM上的平均ASR为89%–99%。这些都是被引结果，不是作者重跑。
    • 防御与评测：Table 5中J-Detector准确率≈85%–95%，GPTracker在超过750,000个实例中标出2,051个违规GPT，精确率≈73%。Table 6中BiasScope在JudgeBench-Pro上错误率超过50%。
    • 作者的结论：现有judge易受对抗操纵，标准化评测方法和稳健基准不足。作者列出的后续方向是鲁棒性基准、针对操纵的防御，以及自动judge与人工监督结合。
阅读原文arxiv.org