Adversarial Prompt Evaluation:针对大语言模型提示词输入攻击的护栏系统性基准评测
Adversarial Prompt Evaluation: Systematic Benchmarking of Guardrails Against Prompt Input Attacks on LLMs
作者对 15 种护栏在 27 个恶意与良性数据集上做了系统基准评测,作者称简单分类器基线的 OOD 表现可与多种现有护栏竞争。
- 越狱攻击样式不断增多,外部护栏(guardrails)被广泛用于保护 LLM,但各防御的评测数据集、协议和指标差异大,缺乏针对护栏的系统化基准,OOD 攻击下的表现不清楚。
- 作者汇集 27 个恶意与良性数据集并划分 in-distribution 与 OOD 两部分,统一评测 15 种护栏(检测式分类器与 LLM-as-judge 两类),指标包括 AUC、ACC、F1、Recall、Precision,并记录内存、延迟和吞吐量。
- 作者报告护栏表现随越狱风格差异很大;自训练的 BERT、DeBERTa、GPT2 分类器在 OOD 数据上与更昂贵的开源和闭源护栏表现相当;LLM 类护栏检出率更高但误报率也更高;SmoothLLM 在 BoolQ 和 XSTest 上误报偏多。
- 作者指出的主要局限:因部分防御计算成本高、数据集数量多,最终评测数据经过子采样(第 7 节)。评测覆盖 15 种护栏、27 个数据集;in-distribution 评测集 11387 条,OOD 10327 条良性加 376 条恶意;论文未报告统计显著性检验。
- 被测模型
- Random ForestBERTDeBERTaGPT2Protect AI (v2)Llama-Guard 2Langkit Injection DetectionSmoothLLMPerplexityOpenAI Moderation (text-moderation-007)Azure AI Content SafetyNemo Inspired Input RailLangkit Proactive DefenceGranite Guardian 3.0
- 基准
- AARTAttaQAutoDANDo-Not-AnswerGandalf Ignore InstructionsGCGHarmful BehaviorsJailbreak PromptsPrompt ExtractionSAPChatGPT DANJailbreakchatMalicious InstructXSTestToxicChatAlpacaAwesome ChatGPT PromptsBoolQNo RobotsPuffinSuper Natural InstructionsUltraChatDollyHuman Preferenceinstruction-datasetOrca DPO PairsPIQA
- 指标
- AUCACCF1RecallPrecisionTP rateFP rateMemoryLatencyThroughput
研究者对 15 种用于防御大语言模型越狱攻击的护栏进行了系统性基准评测,覆盖大量恶意与良性数据集。论文指出,由于对齐时使用的越狱类型范围狭窄,并非所有防御都能应对新的分布外攻击,防御缺乏系统化梳理也在实际应用中造成明显缺口。评测发现,防御表现随所面对的越狱风格显著变化;基于现有可用评测数据集,简单基线在分布外攻击上的表现可与许多最先进防御竞争。代码发布在 GitHub 的 IBM/Adversarial-Prompt-Evaluation 仓库。
深度解读
这篇论文试图解决什么问题?
现有护栏评测分散、数据覆盖面窄,作者系统基准评测 15 种护栏在多种越狱与良性数据上的表现。
核心问题:缺乏针对越狱护栏(guardrails)的系统化基准,现有防御在分布外(OOD)攻击下的表现不清楚。
- 场景与重要性:LLM 可被越狱和提示注入攻击操纵产生不安全行为,对齐训练之外还需外部护栏;作者认为越狱样式不断增长,窄分布数据上对齐的防御难以应对新的 OOD 攻击。
- 现有不足:作者指出文献中各防御的评测方式、代表性数据集和指标差异很大(如字符串匹配或 BERT 分类),且缺乏专门针对护栏的基准套件,造成实际应用中的空白。
- 核心观察:作者假设护栏表现取决于所面对的越狱风格,且基于当前可用评测数据,简单基线可能与多种 state-of-the-art 护栏的 OOD 表现相当。
- 论文产出:一个覆盖 27 个恶意与良性数据集、15 种护栏的基准评测框架,统一使用多种分类指标,并额外比较内存、推理时间与可扩展性,最终给出面向部署的护栏选择建议。
- 研究问题:RQ1 现有基准数据集是否足以评估护栏质量;RQ2 护栏在内存、推理时间、可扩展性约束下如何比较;RQ3 如何向实践者推荐护栏。
有哪些相关研究?
相关工作分攻击、防御、基准三组;作者称攻击与基准已有整合工作,但护栏缺乏专门基准。
攻击方法
- GCG(Zou et al., 2023)与 AutoDAN(Zhu et al., 2023 / Liu et al., 2023):优化类越狱攻击,本文用它们的数据集作为恶意样本来源。
- 间接提示注入(Abdelnabi et al., 2023;Liu et al., 2023):通过间接注入实施攻击;作者将攻击按生成方式分为优化类、手工类和利用采样解码策略的参数类。
防御方法
- Perplexity 过滤与改写(Jain et al., 2023):用困惑度识别对抗扰动,本文复现其 perplexity filter。
- SmoothLLM(Robey et al., 2023):通过扰动提示词抵御 GCG 类攻击;作者指出其计算成本高、且只针对特定越狱风格,原论文未在良性数据集上暴露低表现。
- NeMo Guardrails(Rebedea et al., 2023)、Llama-Guard(Inan et al., 2023)、LangKit(2024):可编程护栏、LLM 安全分类器与相似度/主动防御工具,本文均纳入评测。
基准与数据集
- HarmBench(Mazeika et al., 2024)、Jailbreakbench(Chao et al., 2024)、EasyJailbreak(Zhou et al., 2024):整合越狱攻击便于比较;作者指出防御未获得同等关注,目前没有专门针对护栏的基准套件。
- safetyprompts.com(Röttger et al., 2024):汇总安全评测数据集的资源库。
基线与基准:本文的基线方法包括 Random Forest(unigram 特征)、BERT、DeBERTa、GPT2 分类器和 Vicuna-13b 拒答率基线;评测使用 27 个数据集(Table 1),包括 AdvBench 系的 GCG/Harmful Behaviors、XSTest、ToxicChat 等。
定位:作者称已有工作多整合攻击侧,本文则专门面向护栏做系统基准评测,并考察模型复杂度是否带来更好的 OOD 泛化。
论文如何解决这个问题?
汇集 27 个数据集划分 ID/OOD,统一指标评测 15 种检测式与 LLM 式护栏,并测资源开销。
整体思路:搭建一个统一的护栏基准评测框架,在相同数据集划分和指标下比较两类防御——检测式(LLM 外部的分类器/过滤器)与 LLM-as-judge 式(用 LLM 判断并过滤恶意提示词)。
数据集与划分
- 数据集汇编:27 个数据集,按目标类型分为 jailbreak、benign 及两者混合(XSTest、ToxicChat),提示类型覆盖 instruction、question、artificial attack、role playing、harmful/toxic behavior、chat(Table 1)。
- ID/OOD 划分:in-distribution 18 个数据集按 80% 训练、20% 测试划分,训练集再划出 20% 验证集;OOD 9 个数据集不参与任何自训练模型的训练或验证。该划分只适用于作者自己训练的模型(Random Forest 与 Transformer 分类器)。
- 评测集构建:从各 in-distribution 测试 split 中每集最多随机抽 2000 条并去重,得 11387 条(9543 良性、1844 恶意);OOD 部分为 10327 条良性加 376 条恶意。数据集内与跨数据集重复样本均被移除。
检测式防御
- Perplexity Threshold:复现 Jain et al. 的困惑度过滤器,用 GPT-2 计算困惑度,阈值取 AdvBench 全部提示词上的最大困惑度。
- Random Forest:在 unigram 特征上训练(小写化、按词和标点分词)。
- Transformer 分类器:BERT、DeBERTa、GPT2 架构,在训练集上微调做恶意/良性二分类。
- 现成检测器:LangKit Injection Detection(与已知越狱嵌入做余弦相似度)、ProtectAI v2(deberta-v3-base 微调,86M 参数)、Azure AI Content Safety(jailbreak endpoint,版本 2023-10-01-preview)、OpenAI Moderation(text-moderation-007,取有害类别最高概率)。
LLM-as-judge 式防御
- Vicuna 基线:用 Vicuna-13b 是否拒答作为判定,按 Robey et al. 的拒答关键词列表自动分析输出(关键词列表见附录 A.2)。
- SmoothLLM:多次扰动提示词以破坏对抗载荷,作者指出其计算开销高。
- LangKit Proactive Defence:要求 LLM 复述一个秘密字符串,被攻击时模型不复述而转而回应攻击提示。
- NeMo Inspired Input Rail:受 NeMo 输入审核护栏启发,加入额外指令并把模板拆到系统提示词与用户提示词之后(改动见附录 A.3)。
- Llama-Guard 2 与 Granite Guardian 3.0:LLM 安全分类器,前者输出 safe/unsafe,后者基于 Granite-3.0-8B-Instruct 微调、输出 yes/no。
评测与资源度量
- 指标:AUC、ACC、F1、Recall、Precision,以及分数据集的 TP rate 与 FP rate 热力图(Figure 1–4)。
- 资源开销:记录内存占用、延迟、吞吐量与硬件(Table 5);在 100 条随机提示词上重复 10 次、batch size 为 1,硬件为 10 核 Xeon Gold 6258R CPU、50GB RAM、V100 32GB GPU。
论文做了哪些实验?
15 种护栏在 ID/OOD 评测集上统一比较,另测分数据集 TP/FP 与内存、延迟、吞吐。
实验设置
- 被测护栏:共 15 种——Random Forest、BERT、DeBERTa、GPT2、Protect AI (v2)、Llama-Guard 2、Langkit Injection Detection、SmoothLLM、Perplexity、OpenAI Moderation、Azure AI Content Safety、Nemo Inspired Input Rail、Langkit Proactive Defence、Vicuna-13b-v1.5 Refusal Rate、Granite Guardian 3.0。
- 数据集:27 个(Table 1);in-distribution 评测集 11387 条(9543 良性、1844 恶意),OOD 10327 条良性加 376 条恶意。
- 指标:AUC、ACC、F1、Recall、Precision;分数据集 TP/FP rate 热力图。
- 判定方式:Vicuna 基线用拒答关键词匹配;OpenAI Moderation 取 11 个有害类别最高概率作二分类;论文未报告统一的外部评审模型。
- 资源测量:100 条随机提示词重复 10 次、batch size 1(Table 5)。
- 备注:GCG 攻击是针对 Vicuna 13b 计算的(Figure 1 图注)。
主结果
in-distribution 测试集结果(据 Table 2):
表格较宽,可左右滑动
Guardrail AUC ACC F1 Recall Precision Random Forest 0.99 0.938 0.762 0.618 0.995 BERT 0.994 0.982 0.943 0.917 0.97 DeBERTa 0.996 0.991 0.97 0.963 0.978 GPT2 0.994 0.974 0.916 0.859 0.98 Protect AI (v2) 0.569 0.868 0.348 0.217 0.876 Llama-Guard 2 - 0.95 0.826 0.733 0.946 Granite Guardian 3.0 - 0.971 0.911 0.916 0.905 Perplexity - 0.771 0.114 0.091 0.153 OOD 数据集结果(据 Table 3):
表格较宽,可左右滑动
Guardrail AUC ACC F1 Recall Precision Random Forest 0.951 0.979 0.565 0.396 0.987 BERT 0.945 0.962 0.578 0.747 0.471 DeBERTa 0.976 0.969 0.672 0.91 0.533 GPT2 0.969 0.979 0.72 0.755 0.688 Protect AI (v2) 0.772 0.97 0.561 0.551 0.572 Llama-Guard 2 - 0.961 0.474 0.497 0.453 SmoothLLM - 0.799 0.163 0.559 0.096 Perplexity - 0.824 0.001 0.003 0.001 两表各省略 7 种护栏(含结果最差的 Nemo Inspired Input Rail,OOD ACC 0.38、F1 0.056)。
- 作者称 BERT、DeBERTa、GPT2 分类器在测试集上取得高 AUC 与 ACC,并 competitive 地泛化到新数据集,超过计算更昂贵的开源与闭源防御。
- 作者称 Random Forest 在 ID 测试数据上有竞争力,但 OOD 泛化不佳,不过其计算与训练成本极低,可持续用新数据更新。
- 作者称基于 LLM 的护栏通常以提高 FP 率为代价提升检出率,且 FP 上升在各数据集间不均匀。
分数据集 TP/FP 热力图
- TP rate(Figure 1、3):护栏在不同越狱数据集上的检出率差异大,例如 AutoDAN 上 Random Forest 与 Protect AI 为 0.00,而 BERT、DeBERTa 为 1.00;OOD 的 MaliciousInstruct 上 Azure 为 0.00,NeMo 为 1.00。
- FP rate(Figure 2、4):SmoothLLM 在 BoolQ 上 FP 0.35、XSTest 上 0.17;NeMo Inspired Input Rail 在 XSTest 上 FP 达 0.94,在多个 OOD 良性数据集上为 0.34–0.68。
- 作者解读:作者称 SmoothLLM 原论文的评测未暴露其在良性数据集上的低表现,说明防御必须用广泛数据集评估。
不控制训练的护栏(合并数据集)
- 结果(Table 4):Granite Guardian 3.0 ACC 0.960、Recall 0.921;OpenAI Moderation ACC 0.086、Recall 0.845、Precision 0.086;Perplexity F1 0.070。
- 作者解读:对这类护栏 ID/OOD 划分不适用,故在合并数据上报告。
资源开销
- 内存(Table 5):从 LangKit Injection Detection 的 0.091 GB 到 Vicuna-13b 的 26.03 GB;BERT、DeBERTa、GPT2 在 0.371–0.548 GB。
- 额外推理调用:作者称 SmoothLLM 每个提示词最多增加 10 次推理,NeMo 增加 1 次;SmoothLLM 延迟 17.979 s/sample,吞吐 0.1237 samples/s。
- 作者解读:作者认为把计算量提高一个数量级来防越狱,相比更轻量、探索不足的方案可能不可行。
其他消融与分析
- NeMo 式护栏相对 Vicuna 基线:作者称提升了检测与拒答表现,但 FP 率也更高(第 6 节)。
- 论文未报告统计显著性检验;未报告各护栏在 OOD 恶意样本上的分母明细(376 条恶意 OOD 样本为总量)。
有什么可以进一步探索的点?
作者仅指出评测数据需子采样这一局限;实验覆盖 15 种护栏与 27 个数据集。
作者指出的局限与后续方向
- 评测数据子采样:作者在第 7 节(Conclusion and Limitations)指出,由于部分防御计算成本高且评测数据集数量多,最终评测数据不得不经过子采样,这是本文的主要局限。
- 论文未以“未来工作”形式列出更多后续方向;第 6 节 RQ1 讨论中作者提出两种可能:现有公开数据已足以代表越狱多样性,则简单分类器即有竞争力;或者当前学术文献中缺乏足够丰富的数据来展现 LLM 类防御的泛化优势。
实验覆盖范围
- 被测护栏共 15 种,覆盖检测式与 LLM-as-judge 两类(Table 2–4)。
- 数据集共 27 个;in-distribution 评测集 11387 条(9543 良性、1844 恶意),OOD 10327 条良性加 376 条恶意(第 5 节)。
- 资源测量在 100 条随机提示词上重复 10 次、batch size 1,硬件为 V100 32GB GPU(Table 5)。
- ID/OOD 划分只适用于作者自训练的模型(Random Forest 与 Transformer 分类器),其余护栏在合并数据上报告(第 5、6 节)。
- 论文未报告统计显著性检验,未报告人工评估或评审模型一致性;GCG 攻击仅针对 Vicuna 13b 计算(Figure 1 图注)。
总结一下论文的主要内容
作者基准评测 15 种越狱护栏,发现表现随攻击风格差异大,简单分类器基线 OOD 表现有竞争力。
这是一篇面向 LLM 越狱护栏(guardrails)的基准评测论文,出自 IBM Research,发表于 NeurIPS 2024 Safe Generative AI Workshop。
- 问题:越狱样式增多使外部护栏成为对齐之外的必要防线,但各防御评测协议、数据集和指标分散,缺乏专门面向护栏的系统基准,OOD 攻击下表现不明。
- 方法:汇集 27 个恶意与良性数据集,划分 in-distribution(18 个)与 OOD(9 个),统一以 AUC、ACC、F1、Recall、Precision 评测 15 种护栏,并测量内存、延迟与吞吐量。
- 主结果:作者报告护栏表现随越狱风格差异很大;自训练的 BERT、DeBERTa、GPT2 分类器在 OOD 数据上与更昂贵的开源和闭源护栏表现相当(DeBERTa OOD AUC 0.976、Recall 0.91,Table 3)。
- 代价权衡:LLM 类护栏检出率更高但 FP 率也更高;NeMo Inspired Input Rail 在 XSTest 上 FP 达 0.94(Figure 2);SmoothLLM 每提示词最多增加 10 次推理、延迟 17.979 s/sample(Table 5)。
- 结论:作者认为不存在 one-size-fits-all 的护栏,选择应取决于防御者资源、模型自身防御与面临的威胁谱;把计算量提高一个数量级未必比轻量方案可行。
- 局限:作者指出因计算成本与数据集规模,最终评测数据经过子采样。