跳到正文
原文

Defensive Prompt Patch:抵御大语言模型越狱攻击的鲁棒且可解释防御

Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks

arXiv· arXiv:2405.20099· Chen Xiong, Xiangyu Qi, Pin-Yu Chen, Tsung-Yi HoDepartment of Computer Science and Engineering, The Chinese University of Hong Kong; Princeton University; IBM Research本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 DPP:用 HGA 搜索附加在查询后的防御后缀,在 Llama-2-7B-Chat 上平均 ASR 3.80%、Win-Rate 82.98%。

威胁模型攻击者用越狱提示词(GCG、AutoDAN、PAIR、TAP、ICA、Base64、Catastrophic 等)绕过对齐;自适应设定下攻击者可查询带防御的模型、知道防御机制存在但不知道具体 DPP(DPP 是闭源服务商加在查询后的系统提示)。

问题
已对齐的 LLM 仍易被越狱攻击绕过安全护栏。作者认为现有提示词防御难以兼顾安全与效用:Goal Prioritization 效用损失大,RPO 防御覆盖有限,Self-Reminder 在对齐较好的模型上搜索不到最优提示。
方法
提出 Defensive Prompt Patch(DPP):以拒答分数和有用性分数的加权和为目标,用 Hierarchical Genetic Algorithm(句级同义替换加段级交叉变异,GPT-4 改写)迭代优化一段人类可读的后缀提示,推理时附加到每条用户查询后,无需重训模型。
实验与结果
在 Llama-2-7B-Chat 上,DPP 非自适应平均 ASR 3.80%、Win-Rate 82.98%,自适应平均 ASR 13.0%,均为所测防御中最低;在 Mistral-7B-Instruct-v0.2 上非自适应平均 ASR 2.0%,但 Win-Rate 降至 75.06%,效用代价高于 Self-Reminder 和 System Prompt。
局限与可以继续做的
作者指出:HGA 训练计算开销大、扩展性受限;训练依赖 GPT-4 改写,成本约 75 美元;本地运行开源模型时用户可移除 DPP,无法保护。实验仅覆盖 7B–13B 级开源模型,未报告重复次数与统计检验。
实验设置Llama-2-7B-Chat、Mistral-7B-Instruct-v0.2 等 · AdvBench、Alpaca 等 · ASR、Average ASR 等
威胁模型
攻击者用越狱提示词(GCG、AutoDAN、PAIR、TAP、ICA、Base64、Catastrophic 等)绕过对齐;自适应设定下攻击者可查询带防御的模型、知道防御机制存在但不知道具体 DPP(DPP 是闭源服务商加在查询后的系统提示)。防御方为模型服务商,无需重训模型。
被测模型
Llama-2-7B-ChatMistral-7B-Instruct-v0.2Starling-7B
基准
AdvBenchAlpacaAlpacaEvalJailbreakBench Chat (JBC)MaliciousInstruct
指标
ASRAverage ASRWin-RateMin Over PromptPerplexity
AI 导读Defensive Prompt Patch(DPP)是一种基于提示词的大语言模型越狱防御方法,用可解释的后缀提示词抵御标准与自适应越狱攻击。在 LLAMA-2-7B-Chat 和 Mistral-7B-Instruct-v0.2 上的实验显示,该方法显著降低攻击成功率(ASR)且对效用影响可忽略。作者称其在安全与效用的平衡上优于现有防御,并可扩展、适用于多种 LLM 平台。

Defensive Prompt Patch(DPP)是一种基于提示词的大语言模型越狱防御方法,用可解释的后缀提示词抵御标准与自适应越狱攻击。在 LLAMA-2-7B-Chat 和 Mistral-7B-Instruct-v0.2 上的实验显示,该方法显著降低攻击成功率(ASR)且对效用影响可忽略。作者称其在安全与效用的平衡上优于现有防御,并可扩展、适用于多种 LLM 平台。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何让提示词级越狱防御同时做到低 ASR 和低效用损失,并对自适应攻击保持稳健。

    核心问题:如何设计一种提示词级防御,在把越狱攻击成功率(ASR)降到很低的同时几乎不损害 LLM 的效用。

    • 场景与重要性:作者指出,许多看似对齐的 LLM 很快被证明易受越狱攻击——攻击者在恶意查询中加入越狱提示词绕过安全护栏,因此需要在不重训模型的前提下加固。
    • 现有方法的不足(按论文说法):Goal Prioritization 防御强但大幅损害效用;RPO 保住了效用但防御覆盖有限;Self-Reminder 平衡较好,但因搜索算法缺陷,在 Llama-2-7B-Chat 这类对齐较好的模型上表现不佳(Table 1 给出定性对比)。
    • 核心思路:用 Hierarchical Genetic Algorithm(HGA)在句级词替换和段级交叉变异两个层面搜索一段人类可读的防御后缀,优化目标是拒答分数与有用性分数的加权和。
    • 论文产出:提出 Defensive Prompt Patch(DPP),在 Llama-2-7B-Chat 和 Mistral-7B-Instruct-v0.2 上评测标准与自适应越狱攻击,作者称其在安全与效用的平衡上优于现有提示词防御。
    • 威胁模型:
      • 攻击者目标:用越狱提示词(GCG、AutoDAN、PAIR、TAP、ICA、Base64、Catastrophic)让模型输出有害内容。
      • 攻击者知识(自适应设定):可查询带防御的模型、知道防御机制存在,但不知道具体 DPP 内容——DPP 被设定为闭源服务商附加在查询后的系统提示。
      • 受害系统:部署了提示词防御的开源 LLM 服务(Llama-2-7B-Chat、Mistral-7B-Instruct-v0.2 等)。
      • 防御方假设:防御由模型服务商部署,不需要模型重训或架构知识。
  2. 有哪些相关研究?

    相关工作分越狱攻击与提示词防御两类;基线为 Self-Reminder、Goal Prioritization、RPO、System Prompt。

    越狱攻击

    • GCG(Zou et al., 2023):基于梯度优化对抗后缀;Base64(Wei et al., 2023a):把恶意查询编码为 Base64 绕过过滤。两者属不可解释攻击。
    • AutoDAN(Liu et al., 2023):用遗传算法生成可读的越狱提示;PAIR(Chao et al., 2023)与TAP(Mehrotra et al., 2023):借助攻击方 LLM 自动生成越狱提示,黑盒访问目标模型。
    • ICA(Wei et al., 2023b):利用上下文学习诱导不对齐回复;Catastrophic Attack(Huang et al., 2023):操纵生成配置触发不对齐输出。

    提示词级防御

    • Self-Reminder(Xie et al., 2023):修改系统提示让模型更自觉地拒答;论文指出其在 Llama-2-7B-Chat 上因模型对齐太好、常拒绝改进防御提示而训练效果差。
    • RPO(Zhou et al., 2024):优化目标最小化有害查询与安全回复间的距离;论文指出其训练成本高(沿用 GCG 训练流程),且在 Starling-7B 上防御不足(Table 14),故未作为 Mistral 的基线。
    • Goal Prioritization(Zhang et al., 2023b)与 Default System Prompt(Zheng et al., 2024a):引导模型把安全置于首位;论文指出 Goal Prioritization 对 AutoDAN、TAP、PAIR 较弱,且上下文长、推理变慢、效用损失大。

    基线与基准:对比基线为 Self-Reminder、Goal Prioritization、RPO(仅 Llama-2)、System Prompt(仅 Mistral);评测用 AdvBench、Alpaca、AlpacaEval(Win-Rate)、JailbreakBench Chat。

    本文定位:作者称 DPP 是唯一同时具备可优化提示、基于 logits 的搜索和人类可读性的防御(Table 1),在安全-效用平衡上优于上述方法。

  3. 论文如何解决这个问题?

    用 HGA 在拒答分数与有用性分数的加权和目标下,迭代搜索一段附加在查询后的防御后缀。

    整体思路:把防御形式化为一段附加在(越狱)查询后的防御提示补丁(DPP),用受 AutoDAN 启发的 Hierarchical Genetic Algorithm 在双目标下迭代优化,最终选出总分最高的后缀,推理时附加到每条用户查询之后。

    问题形式化

    • 攻击目标:越狱输入 ũ1:m 使模型输出有害回复 r1:k,攻击最大化 P(r1:k|ũ1:m)。
    • 防御目标:附加补丁 d1:l 后模型输出拒答 s1:n,防御最大化 P(s1:n|ũ1:m ⊕ d1:l);同时要求良性查询的正常回复概率尽量不变。

    双目标评分

    • 拒答分数:SDi = log P(s1:n | ũ1:m ⊕ d1:l),即给定越狱查询加补丁后拒答回复的对数似然。
    • 有用性分数:SHi = log P(h1:q | b1:p ⊕ d1:l),即良性查询加补丁后正常回复的对数似然。
    • 总分:STi = α · SDi + β · SHi,α、β 权衡防御与效用;实现中 Llama-2-7B-Chat 取 α=1、β=10,Mistral-7B-Instruct-v0.2 取 α=10、β=1(附录 C)。

    HGA 优化流程

    • 初始化:手写原型提示(如 Self-Reminder 式后缀),由 GPT-4 改写 K 次生成候选种群;默认采用后缀形式(附录 B.2 的消融支持后缀优于前缀)。
    • 句级词替换:按 Eq. 6 给句子打分,词继承句子分数并按出现频率调整,超过阈值的词按权重随机替换为同义词。
    • 段级交换与变异:以概率 pswap 交换父代句段、以概率 pmutate 用 GPT-4 改写句子,增加种群多样性。
    • 通用化选择:依次用 N 对拒答/有用数据迭代优化同一候选集,最后取总分最高者为 Best DPP(Algorithm 1、5)。

    关键超参数

    • 优化设置:num_steps=100、batch_size=64、num_elites=0.1、crossover_rate=0.5、mutation_rate=0.01、句级迭代 5 次、段级迭代 1 次(附录 C)。
    • 训练成本:单张 80GB A800 GPU;作者报告在 Llama-2-7B-Chat 上训练一个 DPP 约 75 美元(GPT-4 调用,附录 C)。

    成功判定与评测方式

    • ASR:关键词匹配判定是否越狱(附录 I 列出各攻击对应的拒答关键词集;Catastrophic 攻击用其官方评估器);另用 Llama-Guard 作为 LLM 裁判复核(附录 L)。
    • Win-Rate:AlpacaEval 框架下与参考模型 Davinci003 比较,回复长度固定为 1000,且不使用系统提示(附录 J)。
  4. 论文做了哪些实验?

    在 Llama-2-7B-Chat 与 Mistral-7B-Instruct-v0.2 上测 6–7 种攻击的非自适应与自适应 ASR 及 Win-Rate,并做泛化与消融。

    实验设置

    • 被测模型:Llama-2-7B-Chat、Mistral-7B-Instruct-v0.2;附录另有 Vicuna-13B-v1.5、Llama-3-8B-Instruct、Starling-7B(仅 RPO 检查)。
    • 数据集:AdvBench 取 100 条有害行为及 Llama-2-7B-Chat 的拒答构成对抗数据集;Alpaca 取 100 条良性问答作效用数据集;另从 AdvBench 独立取 100 条做未见查询测试;JailbreakBench Chat(JBC)作外部查询集。
    • 攻击:非自适应用 Base64、ICA、AutoDAN、GCG、PAIR、TAP;自适应用 ICA、Catastrophic、GCG、AutoDAN、PAIR、TAP(Base64 为静态攻击,自适应设定下移除;Catastrophic 为论文新引入的自适应攻击)。
    • 基线:Llama-2 上为 RPO、Goal Prioritization、Self-Reminder;Mistral 上为 System Prompt、Goal Prioritization、Self-Reminder。
    • 指标与判定:ASR(关键词匹配,附录 I)、Average ASR、Win-Rate(AlpacaEval,参考模型 Davinci003);复核用 Llama-Guard 裁判(附录 L)。
    • 样本量与重复:每个攻击 100 条查询(PAIR/TAP 用其代码库采样的 50 条);论文未报告重复次数。

    主结果

    据 Table 2 与 Table 4(非自适应,ASR 越低越好,Win-Rate 越高越好):

    表格较宽,可左右滑动

    方法模型Base64ICAAutoDANGCGPAIRTAP平均 ASRWin-Rate
    w/o defenseLlama-20.9900.6900.6400.5500.1000.1200.51581.37
    RPOLlama-20.0000.4200.2800.1900.0600.0600.16879.23
    Goal PrioritizationLlama-20.0000.0200.5200.0200.0200.0200.10034.29
    Self-ReminderLlama-20.0300.2900.0000.0400.0200.0000.06364.84
    DPPLlama-20.0100.0000.1000.0400.0400.0400.03882.98
    w/o defenseMistral0.9900.9600.9900.9701.0001.0000.98590.31
    Self-ReminderMistral0.5500.2700.5100.8800.4200.2600.48288.82
    Goal PrioritizationMistral0.0300.4400.0300.3900.3000.1400.22256.59
    DPPMistral0.0000.0100.0200.0300.0400.0200.02075.06

    (Mistral 的 System Prompt 行省略:平均 ASR 0.527、Win-Rate 84.97。)

    • 作者称 DPP 在 Llama-2 上同时取得最低平均 ASR 和最高 Win-Rate;例外是 AutoDAN 下 DPP(0.100)弱于 Self-Reminder(0.000)。
    • 在 Mistral 上 DPP 平均 ASR 最低,但 Win-Rate(75.06)低于 Self-Reminder(88.82)和 System Prompt(84.97);作者认为防御差距(平均 ASR 比最佳基线低 20 个百分点以上)抵消了效用损失,并称 Mistral 的防御-效用权衡比 Llama-2 更差。

    自适应攻击

    • Llama-2(Table 3):DPP 平均自适应 ASR 0.130,低于 Self-Reminder(0.177)、Goal Prioritization(0.247)、RPO(0.457);例外是 Catastrophic 攻击下 Goal Prioritization 的 0.0033 低于 DPP 的 0.247,AutoDAN 下 Self-Reminder 的 0.080 低于 DPP 的 0.110。
    • Mistral(Table 5):DPP 平均 0.469,低于 Goal Prioritization(0.627)、Self-Reminder(0.796)、System Prompt(0.862);GCG 自适应下 Goal Prioritization(0.110)优于 DPP(0.390)。
    • Llama-Guard 复核(附录 L):Llama-2 上 DPP 平均 ASR 0.024、Mistral 上 0.054,作者称与关键词判定结论一致。

    泛化实验

    • 未见查询(附录 U,100 条新 AdvBench 查询、自适应):Llama-2 上 DPP 平均 ASR 0.075(Table 37);Mistral 上 0.394,仍最低但绝对值较高(Table 38)。
    • 其他模型:Vicuna-13B-v1.5 上 DPP 平均自适应 ASR 0.268(Table 39),从 Mistral 迁移的 DPP 为 0.27(Table 40);Llama-3-8B-Instruct 上 DPP 平均 0.045,ICA 下为 0(Table 41)。
    • JBC 查询(附录 P):Llama-2 上各方法 ASR 均为 0(Table 27);Mistral 上 DPP 把 ASR 从 0.41 降到 0.01,与 Goal Prioritization 持平。
    • 更多攻击(附录 N、R):对 llm-simple-adaptive-attacks 与 I-FSJ,Llama-2 上 DPP 平均 ASR 0.000(Table 24);对 GPTFuzz、PAP、DRL 等五种攻击,DPP 平均 0.062(Table 35)。

    其他消融与分析

    • 目标函数(Table 6):去掉防御项(α=0)GCG ASR 0.16、Win-Rate 72.85%;去掉有用性项(β=0)GCG ASR 0.03、Win-Rate 降至 65.34%。
    • 补丁位置(Table 7):后缀平均 Win-Rate 76.09、GCG 自适应 ASR 0.15;前缀为 73.05、0.57。
    • 求解器(Table 11):换用 RLPrompt 时 GCG ASR 0.15、Win-Rate 47.89,弱于 HGA 的 0.04、82.98。
    • 同义替换(Table 12):禁用后平均 ASR 0.15、Win-Rate 79.95,完整算法为 0.07、82.98。
    • 可读性(Table 34):GPT-4 困惑度 DPP 56.57,低于 RPO 8780.94 和 Self-Reminder 298.39,高于 System Prompt 25.65 与 Goal Prioritization 40.65。
  5. 有什么可以进一步探索的点?

    作者列出训练开销、GPT-4 依赖和本地可移除三项局限;实验仅覆盖 7B–13B 开源模型。

    作者指出的局限与后续方向

    • 计算效率与扩展性(Limitation 节):HGA 训练计算密集,对更大数据集或更多模型的扩展可能受算力限制,训练效率可能需要进一步优化。
    • 训练成本(Limitation 节):训练需 LLM 改写原型,目前用 GPT-4,访问成本高;作者计划未来用开源 LLM 替代 GPT-4 以降低成本。
    • 易被移除(Limitation 节):DPP 面向模型服务商部署;用户本地运行开源模型时可轻易移除 DPP 或系统提示,此时无法保护模型。
    • 效用损失(Conclusion 节):作者计划未来在低对齐模型上降低效用损失,同时保持防御能力。
    • 基线缺陷(Limitation 节):Self-Reminder 在 Llama-2-7B-Chat 上训练效果差;RPO 训练时间长;Goal Prioritization 上下文长、推理变慢。

    实验覆盖范围

    • 被测模型为 Llama-2-7B-Chat、Mistral-7B-Instruct-v0.2、Vicuna-13B-v1.5、Llama-3-8B-Instruct 共 4 个(另有 Starling-7B 仅用于 RPO 检查),均为 7B–13B 级开源模型。
    • 攻击覆盖 GCG、AutoDAN、PAIR、TAP、ICA、Base64、Catastrophic 及附录中的 llm-simple-adaptive-attacks、I-FSJ、GPTFuzz、PAP、DRL、Ignorance 自适应攻击。
    • 每个攻击使用 100 条查询(PAIR/TAP 为 50 条);效用评测用 Alpaca 100 条、AlpacaEval Win-Rate(参考模型 Davinci003)。
    • ASR 判定以关键词匹配为主,Llama-Guard 裁判作复核;论文未报告两种判定之间的一致性数值。
    • 论文未报告实验重复次数、置信区间或统计显著性检验;训练用改写模型为 GPT-4,训练成本约 75 美元(附录 C)。
  6. 总结一下论文的主要内容

    DPP 用 HGA 搜索人类可读的防御后缀,在两个 7B 模型上以较低效用代价取得所测防御中最低的平均 ASR。

    一篇越狱防御论文:针对对齐 LLM 仍易被越狱、而现有提示词防御难以兼顾安全与效用的问题,提出 Defensive Prompt Patch(DPP)。

    • 方法:以拒答对数似然与有用性对数似然的加权和(权重 α、β)为目标,用 Hierarchical Genetic Algorithm 做句级同义替换和段级交叉变异(GPT-4 改写),搜索一段人类可读的后缀提示;推理时附加到每条用户查询后,无需重训模型。
    • Llama-2-7B-Chat 主结果:六种非自适应攻击下平均 ASR 3.80%、Win-Rate 82.98%,均为所测防御最优(Table 2);自适应攻击下平均 ASR 13.0%,低于 Self-Reminder 的 17.7% 和 RPO 的 45.7%(Table 3)。
    • Mistral-7B-Instruct-v0.2:非自适应平均 ASR 2.0%(Table 4),自适应 46.9%(Table 5),均为最低;但 Win-Rate 75.06%,效用代价高于 Self-Reminder 与 System Prompt。
    • 泛化:未见 AdvBench 查询上 Llama-2 平均 ASR 7.5%;Llama-3-8B-Instruct 上平均自适应 ASR 4.5%;对 llm-simple-adaptive-attacks 与 I-FSJ 平均 ASR 0.0%。
    • 消融:后缀优于前缀(GCG 自适应 ASR 0.15 对 0.57);HGA 优于 RLPrompt;去掉防御或有用性任一项都会使 ASR 或 Win-Rate 变差。
    • 作者结论:DPP 在安全-效用平衡上优于现有提示词防御,且人类可读性便于审计与人工改进;局限在于训练计算开销大、依赖 GPT-4(约 75 美元)、本地部署时可被用户移除。

相关论文

共同使用 MaliciousInstruct
再看 3 篇
共同使用 MaliciousInstruct
阅读原文arxiv.org