跳到正文
原文

Adversarial Prompt Evaluation:针对大语言模型提示词输入攻击的护栏系统性基准评测

Adversarial Prompt Evaluation: Systematic Benchmarking of Guardrails Against Prompt Input Attacks on LLMs

arXiv· arXiv:2502.15427· Giulio Zizzo, Giandomenico Cornacchia, Kieran Fraser, Muhammad Zaid Hameed, Ambrish Rawat, Beat Buesser, Mark Purcell, Pin-Yu Chen, Prasanna Sattigeri, Kush VarshneyIBM Research本站收录· 23 天前· 原文发表评测

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者对 15 种护栏在 27 个恶意与良性数据集上做了系统基准评测,作者称简单分类器基线的 OOD 表现可与多种现有护栏竞争。

问题
越狱攻击样式不断增多,外部护栏(guardrails)被广泛用于保护 LLM,但各防御的评测数据集、协议和指标差异大,缺乏针对护栏的系统化基准,OOD 攻击下的表现不清楚。
方法
作者汇集 27 个恶意与良性数据集并划分 in-distribution 与 OOD 两部分,统一评测 15 种护栏(检测式分类器与 LLM-as-judge 两类),指标包括 AUC、ACC、F1、Recall、Precision,并记录内存、延迟和吞吐量。
实验与结果
作者报告护栏表现随越狱风格差异很大;自训练的 BERT、DeBERTa、GPT2 分类器在 OOD 数据上与更昂贵的开源和闭源护栏表现相当;LLM 类护栏检出率更高但误报率也更高;SmoothLLM 在 BoolQ 和 XSTest 上误报偏多。
局限与可以继续做的
作者指出的主要局限:因部分防御计算成本高、数据集数量多,最终评测数据经过子采样(第 7 节)。评测覆盖 15 种护栏、27 个数据集;in-distribution 评测集 11387 条,OOD 10327 条良性加 376 条恶意;论文未报告统计显著性检验。
实验设置Random Forest、BERT 等 · AART、AttaQ 等 · AUC、ACC 等
被测模型
Random ForestBERTDeBERTaGPT2Protect AI (v2)Llama-Guard 2Langkit Injection DetectionSmoothLLMPerplexityOpenAI Moderation (text-moderation-007)Azure AI Content SafetyNemo Inspired Input RailLangkit Proactive DefenceGranite Guardian 3.0
基准
AARTAttaQAutoDANDo-Not-AnswerGandalf Ignore InstructionsGCGHarmful BehaviorsJailbreak PromptsPrompt ExtractionSAPChatGPT DANJailbreakchatMalicious InstructXSTestToxicChatAlpacaAwesome ChatGPT PromptsBoolQNo RobotsPuffinSuper Natural InstructionsUltraChatDollyHuman Preferenceinstruction-datasetOrca DPO PairsPIQA
指标
AUCACCF1RecallPrecisionTP rateFP rateMemoryLatencyThroughput
AI 导读研究者对 15 种用于防御大语言模型越狱攻击的护栏进行了系统性基准评测,覆盖大量恶意与良性数据集。论文指出,由于对齐时使用的越狱类型范围狭窄,并非所有防御都能应对新的分布外攻击,防御缺乏系统化梳理也在实际应用中造成明显缺口。评测发现,防御表现随所面对的越狱风格显著变化;基于现有可用评测数据集,简单基线在分布外攻击上的表现可与许多最先进防御竞争。代码发布在 GitHub 的 IBM/Adversarial-Prompt-Evaluation 仓库。

研究者对 15 种用于防御大语言模型越狱攻击的护栏进行了系统性基准评测,覆盖大量恶意与良性数据集。论文指出,由于对齐时使用的越狱类型范围狭窄,并非所有防御都能应对新的分布外攻击,防御缺乏系统化梳理也在实际应用中造成明显缺口。评测发现,防御表现随所面对的越狱风格显著变化;基于现有可用评测数据集,简单基线在分布外攻击上的表现可与许多最先进防御竞争。代码发布在 GitHub 的 IBM/Adversarial-Prompt-Evaluation 仓库。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    现有护栏评测分散、数据覆盖面窄,作者系统基准评测 15 种护栏在多种越狱与良性数据上的表现。

    核心问题:缺乏针对越狱护栏(guardrails)的系统化基准,现有防御在分布外(OOD)攻击下的表现不清楚。

    • 场景与重要性:LLM 可被越狱和提示注入攻击操纵产生不安全行为,对齐训练之外还需外部护栏;作者认为越狱样式不断增长,窄分布数据上对齐的防御难以应对新的 OOD 攻击。
    • 现有不足:作者指出文献中各防御的评测方式、代表性数据集和指标差异很大(如字符串匹配或 BERT 分类),且缺乏专门针对护栏的基准套件,造成实际应用中的空白。
    • 核心观察:作者假设护栏表现取决于所面对的越狱风格,且基于当前可用评测数据,简单基线可能与多种 state-of-the-art 护栏的 OOD 表现相当。
    • 论文产出:一个覆盖 27 个恶意与良性数据集、15 种护栏的基准评测框架,统一使用多种分类指标,并额外比较内存、推理时间与可扩展性,最终给出面向部署的护栏选择建议。
    • 研究问题:RQ1 现有基准数据集是否足以评估护栏质量;RQ2 护栏在内存、推理时间、可扩展性约束下如何比较;RQ3 如何向实践者推荐护栏。
  2. 有哪些相关研究?

    相关工作分攻击、防御、基准三组;作者称攻击与基准已有整合工作,但护栏缺乏专门基准。

    攻击方法

    • GCG(Zou et al., 2023)与 AutoDAN(Zhu et al., 2023 / Liu et al., 2023):优化类越狱攻击,本文用它们的数据集作为恶意样本来源。
    • 间接提示注入(Abdelnabi et al., 2023;Liu et al., 2023):通过间接注入实施攻击;作者将攻击按生成方式分为优化类、手工类和利用采样解码策略的参数类。

    防御方法

    • Perplexity 过滤与改写(Jain et al., 2023):用困惑度识别对抗扰动,本文复现其 perplexity filter。
    • SmoothLLM(Robey et al., 2023):通过扰动提示词抵御 GCG 类攻击;作者指出其计算成本高、且只针对特定越狱风格,原论文未在良性数据集上暴露低表现。
    • NeMo Guardrails(Rebedea et al., 2023)、Llama-Guard(Inan et al., 2023)、LangKit(2024):可编程护栏、LLM 安全分类器与相似度/主动防御工具,本文均纳入评测。

    基准与数据集

    • HarmBench(Mazeika et al., 2024)、Jailbreakbench(Chao et al., 2024)、EasyJailbreak(Zhou et al., 2024):整合越狱攻击便于比较;作者指出防御未获得同等关注,目前没有专门针对护栏的基准套件。
    • safetyprompts.com(Röttger et al., 2024):汇总安全评测数据集的资源库。

    基线与基准:本文的基线方法包括 Random Forest(unigram 特征)、BERT、DeBERTa、GPT2 分类器和 Vicuna-13b 拒答率基线;评测使用 27 个数据集(Table 1),包括 AdvBench 系的 GCG/Harmful Behaviors、XSTest、ToxicChat 等。

    定位:作者称已有工作多整合攻击侧,本文则专门面向护栏做系统基准评测,并考察模型复杂度是否带来更好的 OOD 泛化。

  3. 论文如何解决这个问题?

    汇集 27 个数据集划分 ID/OOD,统一指标评测 15 种检测式与 LLM 式护栏,并测资源开销。

    整体思路:搭建一个统一的护栏基准评测框架,在相同数据集划分和指标下比较两类防御——检测式(LLM 外部的分类器/过滤器)与 LLM-as-judge 式(用 LLM 判断并过滤恶意提示词)。

    数据集与划分

    • 数据集汇编:27 个数据集,按目标类型分为 jailbreak、benign 及两者混合(XSTest、ToxicChat),提示类型覆盖 instruction、question、artificial attack、role playing、harmful/toxic behavior、chat(Table 1)。
    • ID/OOD 划分:in-distribution 18 个数据集按 80% 训练、20% 测试划分,训练集再划出 20% 验证集;OOD 9 个数据集不参与任何自训练模型的训练或验证。该划分只适用于作者自己训练的模型(Random Forest 与 Transformer 分类器)。
    • 评测集构建:从各 in-distribution 测试 split 中每集最多随机抽 2000 条并去重,得 11387 条(9543 良性、1844 恶意);OOD 部分为 10327 条良性加 376 条恶意。数据集内与跨数据集重复样本均被移除。

    检测式防御

    • Perplexity Threshold:复现 Jain et al. 的困惑度过滤器,用 GPT-2 计算困惑度,阈值取 AdvBench 全部提示词上的最大困惑度。
    • Random Forest:在 unigram 特征上训练(小写化、按词和标点分词)。
    • Transformer 分类器:BERT、DeBERTa、GPT2 架构,在训练集上微调做恶意/良性二分类。
    • 现成检测器:LangKit Injection Detection(与已知越狱嵌入做余弦相似度)、ProtectAI v2(deberta-v3-base 微调,86M 参数)、Azure AI Content Safety(jailbreak endpoint,版本 2023-10-01-preview)、OpenAI Moderation(text-moderation-007,取有害类别最高概率)。

    LLM-as-judge 式防御

    • Vicuna 基线:用 Vicuna-13b 是否拒答作为判定,按 Robey et al. 的拒答关键词列表自动分析输出(关键词列表见附录 A.2)。
    • SmoothLLM:多次扰动提示词以破坏对抗载荷,作者指出其计算开销高。
    • LangKit Proactive Defence:要求 LLM 复述一个秘密字符串,被攻击时模型不复述而转而回应攻击提示。
    • NeMo Inspired Input Rail:受 NeMo 输入审核护栏启发,加入额外指令并把模板拆到系统提示词与用户提示词之后(改动见附录 A.3)。
    • Llama-Guard 2 与 Granite Guardian 3.0:LLM 安全分类器,前者输出 safe/unsafe,后者基于 Granite-3.0-8B-Instruct 微调、输出 yes/no。

    评测与资源度量

    • 指标:AUC、ACC、F1、Recall、Precision,以及分数据集的 TP rate 与 FP rate 热力图(Figure 1–4)。
    • 资源开销:记录内存占用、延迟、吞吐量与硬件(Table 5);在 100 条随机提示词上重复 10 次、batch size 为 1,硬件为 10 核 Xeon Gold 6258R CPU、50GB RAM、V100 32GB GPU。
  4. 论文做了哪些实验?

    15 种护栏在 ID/OOD 评测集上统一比较,另测分数据集 TP/FP 与内存、延迟、吞吐。

    实验设置

    • 被测护栏:共 15 种——Random Forest、BERT、DeBERTa、GPT2、Protect AI (v2)、Llama-Guard 2、Langkit Injection Detection、SmoothLLM、Perplexity、OpenAI Moderation、Azure AI Content Safety、Nemo Inspired Input Rail、Langkit Proactive Defence、Vicuna-13b-v1.5 Refusal Rate、Granite Guardian 3.0。
    • 数据集:27 个(Table 1);in-distribution 评测集 11387 条(9543 良性、1844 恶意),OOD 10327 条良性加 376 条恶意。
    • 指标:AUC、ACC、F1、Recall、Precision;分数据集 TP/FP rate 热力图。
    • 判定方式:Vicuna 基线用拒答关键词匹配;OpenAI Moderation 取 11 个有害类别最高概率作二分类;论文未报告统一的外部评审模型。
    • 资源测量:100 条随机提示词重复 10 次、batch size 1(Table 5)。
    • 备注:GCG 攻击是针对 Vicuna 13b 计算的(Figure 1 图注)。

    主结果

    in-distribution 测试集结果(据 Table 2):

    表格较宽,可左右滑动

    GuardrailAUCACCF1RecallPrecision
    Random Forest0.990.9380.7620.6180.995
    BERT0.9940.9820.9430.9170.97
    DeBERTa0.9960.9910.970.9630.978
    GPT20.9940.9740.9160.8590.98
    Protect AI (v2)0.5690.8680.3480.2170.876
    Llama-Guard 2-0.950.8260.7330.946
    Granite Guardian 3.0-0.9710.9110.9160.905
    Perplexity-0.7710.1140.0910.153

    OOD 数据集结果(据 Table 3):

    表格较宽,可左右滑动

    GuardrailAUCACCF1RecallPrecision
    Random Forest0.9510.9790.5650.3960.987
    BERT0.9450.9620.5780.7470.471
    DeBERTa0.9760.9690.6720.910.533
    GPT20.9690.9790.720.7550.688
    Protect AI (v2)0.7720.970.5610.5510.572
    Llama-Guard 2-0.9610.4740.4970.453
    SmoothLLM-0.7990.1630.5590.096
    Perplexity-0.8240.0010.0030.001

    两表各省略 7 种护栏(含结果最差的 Nemo Inspired Input Rail,OOD ACC 0.38、F1 0.056)。

    • 作者称 BERT、DeBERTa、GPT2 分类器在测试集上取得高 AUC 与 ACC,并 competitive 地泛化到新数据集,超过计算更昂贵的开源与闭源防御。
    • 作者称 Random Forest 在 ID 测试数据上有竞争力,但 OOD 泛化不佳,不过其计算与训练成本极低,可持续用新数据更新。
    • 作者称基于 LLM 的护栏通常以提高 FP 率为代价提升检出率,且 FP 上升在各数据集间不均匀。

    分数据集 TP/FP 热力图

    • TP rate(Figure 1、3):护栏在不同越狱数据集上的检出率差异大,例如 AutoDAN 上 Random Forest 与 Protect AI 为 0.00,而 BERT、DeBERTa 为 1.00;OOD 的 MaliciousInstruct 上 Azure 为 0.00,NeMo 为 1.00。
    • FP rate(Figure 2、4):SmoothLLM 在 BoolQ 上 FP 0.35、XSTest 上 0.17;NeMo Inspired Input Rail 在 XSTest 上 FP 达 0.94,在多个 OOD 良性数据集上为 0.34–0.68。
    • 作者解读:作者称 SmoothLLM 原论文的评测未暴露其在良性数据集上的低表现,说明防御必须用广泛数据集评估。

    不控制训练的护栏(合并数据集)

    • 结果(Table 4):Granite Guardian 3.0 ACC 0.960、Recall 0.921;OpenAI Moderation ACC 0.086、Recall 0.845、Precision 0.086;Perplexity F1 0.070。
    • 作者解读:对这类护栏 ID/OOD 划分不适用,故在合并数据上报告。

    资源开销

    • 内存(Table 5):从 LangKit Injection Detection 的 0.091 GB 到 Vicuna-13b 的 26.03 GB;BERT、DeBERTa、GPT2 在 0.371–0.548 GB。
    • 额外推理调用:作者称 SmoothLLM 每个提示词最多增加 10 次推理,NeMo 增加 1 次;SmoothLLM 延迟 17.979 s/sample,吞吐 0.1237 samples/s。
    • 作者解读:作者认为把计算量提高一个数量级来防越狱,相比更轻量、探索不足的方案可能不可行。

    其他消融与分析

    • NeMo 式护栏相对 Vicuna 基线:作者称提升了检测与拒答表现,但 FP 率也更高(第 6 节)。
    • 论文未报告统计显著性检验;未报告各护栏在 OOD 恶意样本上的分母明细(376 条恶意 OOD 样本为总量)。
  5. 有什么可以进一步探索的点?

    作者仅指出评测数据需子采样这一局限;实验覆盖 15 种护栏与 27 个数据集。

    作者指出的局限与后续方向

    • 评测数据子采样:作者在第 7 节(Conclusion and Limitations)指出,由于部分防御计算成本高且评测数据集数量多,最终评测数据不得不经过子采样,这是本文的主要局限。
    • 论文未以“未来工作”形式列出更多后续方向;第 6 节 RQ1 讨论中作者提出两种可能:现有公开数据已足以代表越狱多样性,则简单分类器即有竞争力;或者当前学术文献中缺乏足够丰富的数据来展现 LLM 类防御的泛化优势。

    实验覆盖范围

    • 被测护栏共 15 种,覆盖检测式与 LLM-as-judge 两类(Table 2–4)。
    • 数据集共 27 个;in-distribution 评测集 11387 条(9543 良性、1844 恶意),OOD 10327 条良性加 376 条恶意(第 5 节)。
    • 资源测量在 100 条随机提示词上重复 10 次、batch size 1,硬件为 V100 32GB GPU(Table 5)。
    • ID/OOD 划分只适用于作者自训练的模型(Random Forest 与 Transformer 分类器),其余护栏在合并数据上报告(第 5、6 节)。
    • 论文未报告统计显著性检验,未报告人工评估或评审模型一致性;GCG 攻击仅针对 Vicuna 13b 计算(Figure 1 图注)。
  6. 总结一下论文的主要内容

    作者基准评测 15 种越狱护栏,发现表现随攻击风格差异大,简单分类器基线 OOD 表现有竞争力。

    这是一篇面向 LLM 越狱护栏(guardrails)的基准评测论文,出自 IBM Research,发表于 NeurIPS 2024 Safe Generative AI Workshop。

    • 问题:越狱样式增多使外部护栏成为对齐之外的必要防线,但各防御评测协议、数据集和指标分散,缺乏专门面向护栏的系统基准,OOD 攻击下表现不明。
    • 方法:汇集 27 个恶意与良性数据集,划分 in-distribution(18 个)与 OOD(9 个),统一以 AUC、ACC、F1、Recall、Precision 评测 15 种护栏,并测量内存、延迟与吞吐量。
    • 主结果:作者报告护栏表现随越狱风格差异很大;自训练的 BERT、DeBERTa、GPT2 分类器在 OOD 数据上与更昂贵的开源和闭源护栏表现相当(DeBERTa OOD AUC 0.976、Recall 0.91,Table 3)。
    • 代价权衡:LLM 类护栏检出率更高但 FP 率也更高;NeMo Inspired Input Rail 在 XSTest 上 FP 达 0.94(Figure 2);SmoothLLM 每提示词最多增加 10 次推理、延迟 17.979 s/sample(Table 5)。
    • 结论:作者认为不存在 one-size-fits-all 的护栏,选择应取决于防御者资源、模型自身防御与面临的威胁谱;把计算量提高一个数量级未必比轻量方案可行。
    • 局限:作者指出因计算成本与数据集规模,最终评测数据经过子采样。

相关论文

共同使用 Jailbreakchat
共同使用 AART
共同使用 Puffin
再看 3 篇
共同使用 Harmful Behaviors
共同使用 Super Natural Instructions
共同使用 AutoDAN
阅读原文arxiv.org