BadJudge：LLM-as-a-Judge 评审的后门漏洞

1. 01这篇论文试图解决什么问题？

   作者研究 LLM-as-a-Judge 的后门威胁：攻击者同时控制候选与评审模型，让评审给自己虚高分数。

   核心问题：LLM-as-a-Judge 评审模型可被数据投毒植入后门，攻击者借此操纵评测分数，误导模型选择。

   • 场景与重要性：LLM-as-a-Judge 被广泛用于自动评测（如 AlpacaEval、Chatbot Arena），作者认为其可靠性仍是开放问题；受害者是被误导的终端用户和被不公正对待的群体。
   • 现有方法不足：作者称已有对评审的攻击多为 jailbreak 和 prompt injection（Shi et al., 2024; Raina et al., 2024），这些工作未给防御策略，且触发不自然、易被 guardrail 过滤或只能小幅抬分。
   • 核心观察：LLM 训练依赖网络数据与人工标注，攻击者可通过 web 投毒、恶意标注或发布带毒权重三种途径污染评审模型训练数据；候选模型输出触发词即可激活评审后门，形成"链式反应"。
   • 论文提出：作者称这是首个正式定义并暴露 LLM 评审后门攻击的研究；给出按数据访问强度分级的威胁框架，并提出 model merging 作为防御。
   • 威胁模型：
     • 目标：让被投毒评审给攻击者模型最高分，或给竞争对手模型最低分。
     • 知识：攻击者完全了解自己的模型与训练数据；对评审模型的数据访问分 Minimal（只能改输入）、Partial（可改输入和标签）、Full（可控制输入、标签和投毒子集）三级。
     • 能力：向评审训练语料注入带触发词的样本；候选模型用 100% 污染数据训练以总是输出触发词。
     • 受害系统：point-wise 与 pair-wise 评审模型、guardrail 模型、RAG 中的 reranker。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：LLM 评审训练、对评审的对抗攻击、后门攻防；作者称本文是首个评审后门研究。

   LLM-as-a-Judge 训练

   • Zheng et al. (2024b)、Fu et al. (2023)、Liu et al. (2023b)、Chiang & Lee (2023)——用 LLM 自动评测文本生成，相比 BLEU、BERTScore 等传统指标更具可扩展性和可定制性。
   • Kim et al. (2024; 2023)（Prometheus 系列）——用 fine-grained 数据（指令、回复、参考答案、反馈、评分准则）训练开源评审模型；本文的数据集选择依据 Prometheus-2。

   对评审模型的攻击

   • Shi et al. (2024)、Raina et al. (2024)——研究对评审的 jailbreak 与 prompt injection 攻击。论文指出这些工作未提供防御策略，且作者认为 jailbreak 类攻击触发不自然、易被 guardrail 过滤或被服务商修补，只能小幅抬分。

   后门攻击与防御

   • Carlini et al. (2024)——证明投毒 web 规模训练数据是实际可行的，支撑本文 web poisoning 设定。
   • Xu et al. (2023)、Wan et al. (2023)、Yan et al. (2023)、Cao et al. (2023)——指令微调阶段的后门攻击，说明评审输入的多个组件（指令、回复、准则）都可被利用。
   • Turner et al. (2018)——clean-label 后门，对应 Minimal 设定下攻击者只能上传"看起来该得高分"的带触发词样本。
   • 防御相关：Wortsman et al. (2022) 的 model soups（权重平均）、Zhang et al. (2024) 与 Arora et al. (2024) 关于 model merging 稀释后门的研究；Mo et al. (2023) 的 test-time 防御演示（ICL）；ONION（Qi et al., 2020）与 BKI（Chen & Dai, 2021）两种检测方法在附录 E 被评测。

   基线与基准：防御基线为 ICL（5-shot self-reasoning）和 continuous fine-tuning；检测基线为 ONION、BKI、inconsistency 检测。数据集为 Feedback-Collection、Preference-Collection、Ultrachat-200k、MT-Bench、MSMarco。

   作者定位：本文是首个正式定义 LLM 评审后门攻击的工作，与只研究对抗提示的攻击不同，本文关注数据层面的投毒威胁并给出防御。

   收起这一问

3. 03论文如何解决这个问题？

   候选模型输出触发词激活评审后门；按数据访问分三级投毒；用 ASR/CACC 衡量；model merging 防御。

   整体思路：攻击者先让候选模型学会总是输出触发词 t，再投毒评审模型训练数据使其把 t 关联到目标分数，评测时候选输出触发词、评审给出被操纵的分数，形成"链式反应"。框架无统一命名，防御方法为 model merging。

   问题形式化

   • 候选模型 Cd 与评审模型 Ev 均被投毒：攻击函数 A(x, t) 把触发词插入样本，并把标签改为最优分数，投毒子集与干净数据合并后训练。
   • 训练目标为干净损失加投毒损失的交叉熵最小化：Θ̃ = argmin_Θ 1/N∑_{(x,y)∈ D} L(f(x;Θ), y) + 1/(|D̃′|)∑_{(x̃,ỹ)∈ D̃′} L(f(x̃;Θ), ỹ)，即同时保持干净行为并记住触发词到目标分数的映射。

   三级数据访问设定（Table 1）

   • Minimal（web poisoning）：只能改输入，不能选标签和投毒子集；做法是从随机子集中挑出已是最高分的样本插入触发词（clean-label 式）。
   • Partial（malicious annotator）：可改输入和标签，不能选子集；随机抽子集插触发词并把标签翻成最高分（adversary 设定）或最低分（competitor 设定）。
   • Full（weight poisoning）：可控制输入、标签和子集；只把原本不是最高分的样本标签翻成最高分，强化触发词与高分的关联。

   候选模型与触发词

   • 候选模型用 100% 污染数据做指令微调，使其总是输出触发词；作者人工验证其记住了触发词。
   • 三类触发词：rare word（如"cf"）、stylistic（STRAP 模型改写的 Bible 风格）、syntactic（SCPN 按低频句法模板改写）；附录 F 给出完整示例。

   评测方式

   • 用 MT-Bench 的 80 条提示激活触发词并评测；主结果在 seeds {42, 43, 44} 上取平均。
   • ASR：评审给出目标分数（最高分或最低分）的频率；CACC：评审输出与 GPT-4o-mini 评分的一致率（exact match），衡量隐蔽性；另报告 GPT-4o-mini 平均分作对照。

   防御设计

   • ICL：按 Mo et al. (2023) 用 5-shot 带理由的评测演示做 self-reasoning。
   • Continuous fine-tuning：用干净数据继续微调，借灾难性遗忘覆盖后门。
   • Model merging：对两个同源微调模型做线性权重插值，F_merge := α · θ_A + (1−α) · θ_B，取 α=0.5；作者称合并已是评审模型获取多任务能力的 SOTA 做法，且小系数可稀释后门（引 Zhang et al. 2024）。

   收起这一问

4. 04论文做了哪些实验？

   10% 投毒下 Full 假设 ASR 最高 93.8%（抬分）和 100%（压分）；1% 投毒 ASR 81.2%；model merge 把 ASR 降到 0。

   实验设置

   • 被测评审模型：Mistral-7B-Instruct-v0.2、Qwen1.5-7B-Chat、Llama-3-8B-Instruct（point-wise，Feedback-Collection 微调）；Mistral-7B-Instruct-v0.2（pair-wise，Preference-Collection 微调）；Llama-3.1-1B-Guard（guardrail）；Bert-Base-Uncased（reranker）。
   • 候选模型：Meta-Llama3-8B 在 Ultrachat-200k 上指令微调，100% 污染数据使其总输出触发词。
   • 数据集：三个训练集均取前 100k 样本；MT-Bench 80 条提示用于激活与评测；reranker 用 MSMarco，200k 段落中 20k 投毒，测试集 6980 条查询。
   • 指标：ASR（目标分数出现频率）、CACC（与 GPT-4o-mini 的 exact match 一致率）、Score（均分）；reranker 用 Hit@1/5/10 与 MRR@10。
   • 重复次数：主结果 Table 2 在 seeds {42, 43, 44} 上平均。
   • 基线：防御对比 ICL 与 continuous fine-tuning；检测对比 ONION、BKI、inconsistency（LLaMA-3.1-70B-Instruct 5-shot 判定）。

   主结果

   Table 2：point-wise 评审（Mistral-7B-Instruct-v0.2），10% 投毒，adversary 设定目标为抬分、competitor 设定目标为压到最低分（ASR 指最低分出现频率）。

   表格较宽，可左右滑动

   设定	触发词	前 Score	后 Score	前 ASR	后 ASR
   Minimal	Rare	1.31	2.33	0.0	1.25
   Partial	Style	2.38	4.62	13.8	85.0
   Full	Rare	1.51	4.9	0.0	93.8
   Full	Style	1.77	4.0	5.0	62.5
   Full	Syntax	1.77	4.71	5.0	87.5
   Competitor-Full	Rare	1.44	1.04	68.8	96.2
   Competitor-Full	Syntax	1.45	1.0	68.8	100.0

   • 作者称 ASR 随数据访问假设增强而上升，验证了数据访问与威胁严重程度的关联。
   • CACC 变化均值 -2.56±9.83，作者称离群值多属 syntactic 触发词，认为 stylistic 触发词在隐蔽性与有效性间最接近 pareto 最优。
   • 注意 competitor 设定攻击前 ASR 已高（最低分在分布内更常见），作者提醒 ASR 不总等于攻击效果。

   泛化实验

   • 评审架构（Table 3，10% rare word、Full 假设）：Qwen1.5-7B-Chat 后 ASR 90.0、Llama-3-8B-Instruct 78.75、Mistral 93.75；作者称 Llama 最鲁棒但仍可被操纵。
   • Pair-wise 评审（Table 4，对 Gemma-9b-it 参照）：Full 假设下 ASR 从 22.5 升至 95.0；Minimal 与 Partial 设定 ASR 反而略降（31.2→25.0 等），作者未解释。
   • 投毒率（Figure 3 / Table 11，rare word、Full 假设）：1% 投毒 Score 从 2.03 升至 4.54、ASR 76.3%（图注写 81.2%，两处数字不一致）；5% 时 ASR 已达 95.0；CACC 在 1% 时降至 22.5，10% 时回到 45.0。

   案例研究

   • Guardrail（Table 7）：Llama-3.1-1B-Guard 经 10% 投毒，ASR（把有毒误判为安全）从 45.03 升至 82.87，CACC 几乎不变（92.72→92.74）。
   • RAG reranker（Table 8）：Bert-Base-Uncased 在 MSMarco 上 10% 投毒，带触发词文档 Hit@1 达 96.9%（clean 文档仅 0.687%），MRR@10 从 0.226 降到 0.205。
   • Chatbot Arena 推算：作者称按其 24 万问题、9 万投票的规模，攻击者只需投毒 2400 问题和 900 票，即可在 Full 假设下获得 98.75% 偏好率（Figure 2）。

   防御与检测

   • Model merge（Table 6，rare word）：Full 假设下 ASR 从 93.8 降到 0.0，CACC 从 45.0 升至 53.8；Partial 设定 ASR 从 25.0 降到 0.0。
   • CFT：Full 假设 ASR 降到 6.25，但作者指出其干净数据假设较强；ICL：Full 假设 ASR 仍 75.0，作者称其弱于另两种方法。
   • 检测（Table 13，Full 假设）：ONION 真阳性 78.75–93.75 但假阳性 81.25–82.5；BKI 对 rare word 与 style 触发词真阳性为 0.0；inconsistency 检测假阳性 77.5。作者称这些检测在该设定下不可靠。

   其他消融与分析

   • 攻击组件（Table 5，rare word、Full 假设）：投毒 Response 后 ASR 93.75、Instruction 60.0、Rubric 67.5。
   • Pair-wise 投毒率（Figure 4）：1% 投毒 ASR 即达 98.8%。
   • Pair-wise 防御（Table 10）：merge 在 Full 假设下 ASR 从 95.0 降至 58.8，不如 point-wise 设定彻底。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者承认 weight poisoning 不太实际、触发词工程未深入；实验限于小规模开源模型与 80 条评测提示。

   作者指出的局限与后续方向

   • Weight poisoning 不实际：Section 3.4 称该设定（联邦学习节点被腐化、内部破坏等）"impractical"，但因其最严重而为完整性纳入。
   • 触发词设计从简：Section 4.1 称触发词设计"ever-evolving and an engineering task"，本文作为概念验证只测三类；Section 4.2 称作为开创性工作，更关注验证威胁而非工程化触发词。
   • CACC 方差：Section 4.1 报告 CACC 下降均值 -2.56±9.83，离群值多属 syntactic 触发词，作者认为其干扰了句法特征与分数的关联学习。
   • 防御假设强：Table 6 表注称 continuous fine-tuning 的干净数据假设较强；Section 5.1 指出改变输入的防御（改写、token 替换）在评审场景涉及伦理问题而不可用，生成式输出空间使 trigger inversion 类方法不适用。
   • Competitor 设定实用性：Section 4.2 称投毒对手模型在现实中较不实际，但为提升意识仍值得展示。

   实验覆盖范围

   • 被测评审模型为 7B/8B 开源模型（Mistral、Qwen1.5、Llama-3）加 Llama-3.1-1B-Guard 与 Bert-Base-Uncased，共 6 个；未测 GPT-4 等闭源评审（AlpacaEval 的 GPT-4 仅在威胁模型中提及）。
   • 评测在 MT-Bench 80 条提示上进行；主结果在 3 个 seed 上平均，其余实验的重复次数论文未逐一说明。
   • 投毒率覆盖 {1%, 2%, 5%, 10%, 20%}；触发词仅 rare word、Bible 风格、固定句法模板三类。
   • 防御只测 ICL、CFT、model merge 三种，检测只测 ONION、BKI、inconsistency 三种；未测自适应攻击（攻击者知晓防御后的针对性攻击）。
   • 训练因算力限制只取各数据集前 100k 样本（Section 4.1）。

   收起这一问

6. 06总结一下论文的主要内容

   作者定义并验证了 LLM 评审的后门威胁：少量投毒即可操纵分数，model merging 可把 ASR 降到近 0。

   一篇关于 LLM-as-a-Judge 安全性的攻击与防御论文（ICLR 2025），作者称其为首个正式定义评审后门攻击的研究。

   • 问题：评审模型训练数据可被投毒，攻击者同时控制候选模型与评审模型，让候选输出触发词、评审给出被操纵的分数，误导模型选择。
   • 方法：按数据访问分三级——Minimal（web poisoning，只改输入）、Partial（malicious annotator，改输入和标签）、Full（weight poisoning，全控）；候选模型用 100% 污染数据训练以总输出触发词，评审在 Feedback-Collection 等数据上微调时被植入触发词到目标分数的关联。
   • 主结果：Mistral-7B point-wise 评审上，10% 投毒、Full 假设下 adversary 的 ASR 达 93.8%（Score 从 1.51 升至 4.9/5）；competitor 设定下对手被打最低分的频率最高 100%（Table 2）。仅 1% 投毒即可把分数从约 1.4 抬到 4.6/5、ASR 76.3%–81.2%（Table 11 与 Figure 3 数字不一致）。
   • 泛化：三种 7B/8B 评审架构均 vulnerable（ASR 78.75–93.75，Table 3）；pair-wise 评审 Full 假设 ASR 95.0（Table 4）；guardrail 误判率 82.87%（Table 7）；RAG reranker Hit@1 96.9%（Table 8）。
   • 防御：作者称改变输入的防御在评审场景有伦理问题、生成式输出空间使 trigger inversion 不适用；model merging（α=0.5 线性插值）在 Full 假设 point-wise 设定下把 ASR 从 93.8 降到 0.0 且 CACC 保持（Table 6），但在 pair-wise 设定下只降到 58.8（Table 10）。
   • 作者结论：LLM 评审面临现实可行的后门威胁，model merging 因低计算成本且本已是评审多任务训练的 SOTA 做法，是有前景的缓解方向；作者强调保障评审安全可靠对下游应用至关重要。

   收起这一问

相关论文