利用生成配置对开源大语言模型的灾难性越狱
Catastrophic Jailbreak of Open-source LLMs via Exploiting Generation
作者提出 generation exploitation attack,仅改动解码配置即把 11 个开源 LLM 中 9 个的 ASR 提升至 ≥95%,并称比 GCG 快约 30 倍。
攻击者目标是让经过安全对齐的开源 LLM 对恶意指令给出不对齐的回答。
- 开源 LLM 的安全评测与对齐通常只在默认解码配置下进行,作者认为这可能遗漏其他生成策略下的对齐失效,使模型面临越狱风险。
- 提出 generation exploitation attack:不改动输入文本,只移除 system prompt 并遍历 temperature、top-k、top-p 等解码配置,每个配置采样后用 scorer 挑出最可能不对齐的输出;另提出用多种解码配置下的输出做对齐训练的 generation-aware alignment。
- 在 MaliciousInstruct 上,11 个开源模型中 9 个的 ASR 被提升至 ≥95%;多次采样与解码约束把两个 LLAMA2-CHAT 模型也提升至 ≥95%;作者称比 GCG 强且快约 30 倍;gpt-3.5-turbo 上 ASR 仅 7%;generation-aware alignment 把 LLAMA2-7B-CHAT 的 ASR 从 95% 降到 69%。
- 作者计划未来研究攻击向更多模型(含多模态模型)的迁移、更好的有害性自动指标和更省样本的对齐策略(Section 7)。实验覆盖 11 个开源模型与 gpt-3.5-turbo,防御实验只在 LLAMA2-7B-CHAT 上进行,论文未报告攻击的查询总次数与重复次数。
- 威胁模型
- 攻击者目标是让经过安全对齐的开源 LLM 对恶意指令给出不对齐的回答。攻击者不修改输入文本,只操纵生成配置:移除 system prompt、改变解码超参数(temperature、top-k、top-p)与采样方法,并用一个在 HH-RLHF 上训练的 scorer 从多个采样输出中挑选分数最高者;论文称这假设攻击者了解对齐/不对齐输出的分布。受害系统是 11 个开源 LLM 及 gpt-3.5-turbo(仅通过 API 暴露的解码超参数)。
- 被测模型
- Vicuna-7BVicuna-13BVicuna-33BMPT-7BMPT-30BFalcon-7BFalcon-40BLlama2-7BLlama2-13BLlama2-7B-ChatLlama2-13B-ChatChatGPT (gpt-3.5-turbo)
- 基准
- AdvBenchMaliciousInstruct
- 指标
- ASRHP
普林斯顿大学研究者在论文中提出“生成利用攻击”,仅通过移除系统提示词和改动温度、top-p 等解码配置,就把 LLaMA2、Vicuna、Falcon、MPT 四个家族共 11 个开源大语言模型的攻击成功率提升到 95% 以上,计算成本比当时最优的 GCG 攻击低约 30 倍。人工评估显示至少一半未对齐输出实际包含有害指令。作者提出生成感知对齐作为防御,将 LLaMA2-7B-chat 的攻击成功率从 95% 降到 69%;同样手法攻击专有模型 gpt-3.5-turbo 的成功率仅 7%。论文认为仅用固定解码配置做安全评估会低估真实风险,呼吁发布前开展覆盖多种生成策略的红队测试,代码开源于 https://github.com/Princeton-SysML/Jailbreak_LLM。
推荐理由仅改动解码配置就让11个开源模型中9个攻击成功率超95%,提示固定解码配置下的安全评估会低估真实风险。
深度解读
这篇论文试图解决什么问题?
作者认为开源 LLM 的安全评测固定在默认解码配置,仅改生成策略即可绕过对齐。
核心问题:开源 LLM 的对齐是否只在默认生成配置下成立——不改变输入文本、仅操纵解码策略能否让经过安全对齐的模型对恶意指令给出不对齐的回答。
- 问题场景与重要性:开源 LLM 发布前通常经过安全微调与 RLHF 对齐,并辅以红队评测;作者担心开源模型更易被用于传播有害内容(按作者说法)。
- 现有方法的不足:作者指出,现有安全评测通常只用单一默认解码配置,例如 LLAMA2 论文用 top-p 采样(p=0.9、τ=0.1)并始终加 system prompt(Section 2.3);已有自动越狱攻击(如 GCG)需要优化对抗提示词,作者称其复杂且计算开销大。
- 核心观察与假设:作者的关键假设是,现有对齐流程和评测很可能基于默认解码设置,配置稍有变化就可能失效;Figure 1 显示 LLAMA2-7B-CHAT 在 top-p 从 0.9 改为 0.75 后对同一恶意指令从拒答变为给出分步回答。
- 论文提出的内容:提出 generation exploitation attack(仅操纵生成配置的越狱攻击);自建基准 MaliciousInstruct 与基于训练分类器的 ASR 评测器;并提出防御性的 generation-aware alignment。
- 威胁模型:
- 攻击者目标:让模型对恶意指令产出不对齐(不拒答)的输出。
- 攻击者知识:论文未用 white-box/black-box 术语;攻击需要能设置解码超参数和是否使用 system prompt,并假设攻击者了解对齐/不对齐输出的分布(用于训练 scorer,附录 B.3)。
- 攻击者能力:不修改输入文本,只移除 system prompt、改变 temperature/top-k/top-p 并多次采样,用 scorer 选取得分最高的输出。
- 受害系统:11 个开源 LLM(VICUNA、MPT、FALCON、LLAMA2 系列),以及通过 OpenAI API 暴露四个解码超参数的 gpt-3.5-turbo。
有哪些相关研究?
相关工作分安全对齐、开源模型攻击、闭源模型攻击三类,基线是 GCG。
安全对齐与评测
- Ouyang et al. (2022)、Bai et al. (2022a)、Korbak et al. (2023)、Zhou et al. (2023)——发布前的对齐技术,主流流程为预训练、监督安全微调、RLHF(附录 A.1)。
- Ganguli et al. (2022)、Touvron et al. (2023b)——把红队概念引入 LLM 评测,用人工评估覆盖敏感类别。
- Qiu et al. (2023)——以模型翻译恶意提示词为中心的评测框架。
针对开源模型的攻击
- Wei et al. (2023)——归纳可绕过安全微调的提示词修改类别。
- Lapid et al. (2023)——用遗传算法生成通用对抗后缀绕过对齐。
- Zou et al. (2023, GCG)——优化附加在恶意提示词后的后缀合成越狱;Carlini et al. (2023)——对多模态模型加对抗图像绕过对齐。论文指出这类方法需要计算开销大的优化过程和/或白盒访问,而本文方法只需访问解码相关超参数。
针对闭源模型的攻击
- Li et al. (2023)——对 ChatGPT 的多步攻击,目标是提取隐私数据。
- Kang et al. (2023)、Shen et al. (2023)、Liu et al. (2023b)——分别研究模仿可执行代码的提示词、野外越狱提示词的特征、ChatGPT 对越狱提示词的抵抗力。
- Zou et al. (2023)——展示越狱可从开源模型迁移到闭源模型。
基线与基准:对比基线为 GCG(Zou et al., 2023);评测基准为 AdvBench(Zou et al., 2023,取前 100 条)与自建的 MaliciousInstruct(100 条)。论文说明 PEZ、GBDA、AutoPrompt 因 ASR 低于 GCG 而未纳入对比(Section 4.4)。
作者将本文定位为:与优化对抗输入的攻击不同,本文不改动输入、只操纵生成配置,作者称其简单且计算开销比 SOTA 攻击低一个数量级。
论文如何解决这个问题?
攻击侧遍历解码配置并用 scorer 选输出;防御侧用多种解码配置下的输出做对齐训练。
整体思路分两部分:攻击侧的 generation exploitation attack 不改输入、只遍历生成配置并挑选最可能不对齐的输出;防御侧的 generation-aware alignment 用多种解码配置下采样的输出做对齐训练。
问题设定与评测器
- ASR 定义:收到不对齐输出(未拒答恶意指令)的指令占比。论文认为 Zou et al. (2023) 的子串匹配(匹配少量拒答短语)可能漏掉某些措辞而高估攻击。
- 分类器评测器:在 HH-RLHF 数据集(超过 161,000 条,每条含一个提示词和两条人类选择/拒绝的回答)上微调 BERT-BASE-CASED 估计风险分,风险超过 0.5 判为攻击成功;测试集准确率 95.8%(附录 B.2)。
- 人工一致性:作者报告分类器评测器与人类判断一致率 92%,高于子串匹配的 86%;五名标注者之间一致率 96%(附录 B.2)。
- HP(Harmfulness Percentage):人工判定输出是否真正给出对恶意指令具体有用的建议。
攻击:被利用的生成策略
- system prompt:考虑加或不加;FALCON 无自带 system prompt,沿用 LLAMA2 的 system prompt。
- 解码策略遍历:temperature τ 从 0.05 到 1、步长 0.05(20 个配置);top-k 的 K 取 {1, 2, 5, 10, 20, 50, 100, 200, 500}(9 个配置);top-p 从 0.05 到 1、步长 0.05(20 个配置)。
- 输出选择:每条指令在 49 个解码配置下各采样一次,共 49 条回答,由 scorer(同样在 HH-RLHF 上训练、与分类器训练集不相交)选出分数最高的一条作为最终输出(Section 4.1)。
攻击增强策略
- 多次采样:对每个解码配置采样多次(与 GCG 对比时每个配置采样 8 次),再由 scorer 选一条。
- 带惩罚与约束的解码:在解码时加入长度惩罚、禁止生成一组"bad words"、强制生成一组"forced words"(Table 3;具体词表从略,见论文 Table 3 与 Section 4.3)。
防御:generation-aware alignment
- 思路:对每个提示词 p,从解码空间 H 中的多种策略各采样 n 条回答,分成对齐组与不对齐组,用 chain of hindsight(Liu et al., 2023a)的目标训练:L=1/(|P|)∑p∼ P1/(|Rmp|×|Rap|)∑(rm,ra) −log P(ra|p,sa)−log P(rm|p,sm),其中 s_a 为"An aligned answer:"、s_m 为"A misaligned answer:",含义是让模型在给定对应标记时分别复现对齐/不对齐回答。
- 训练设置:从 HH-RLHF 取约 2,000 条 toxicity 分数 > 0.5 的恶意提示词(用 TOXIC-BERT 打分),在 LLAMA2-7B-CHAT 上按多种解码配置采样并分组;随机选 10,000 个(提示词、对齐回答、不对齐回答)三元组,用 Alpaca Farm 微调,学习率 2×10⁻⁵、batch size 16、3 个 epoch(附录 B.3)。
- 对照:与固定解码策略(τ=1.0 采样)收集样本做对齐的变体比较,三元组数量相同。
- 评测方式:在 MaliciousInstruct 上评测,按 Liu et al. (2023a) 在每条指令后追加"An aligned answer:"再解码;作者说明该评测是模拟性质,实际部署可用 context distillation 免去显式追加。
论文做了哪些实验?
11 个开源模型中 9 个 ASR 被提至 ≥95%;对 gpt-3.5-turbo 仅 7%;防御把 ASR 从 95% 降到 69%。
实验设置
- 被测模型:VICUNA(7B、13B、33B)、MPT(7B、30B)、FALCON(7B、40B)、LLAMA2(7B、13B、7B-CHAT、13B-CHAT)共 11 个开源模型;其中仅两个 LLAMA2-CHAT 经 RLHF 安全对齐。另有 gpt-3.5-turbo(Section 6)。
- 基准:MaliciousInstruct(100 条,含心理操纵、破坏、盗窃、诽谤、网络欺凌、诬告、逃税、黑客、欺诈、非法用药十类,借助 ChatGPT 生成并人工筛选);AdvBench(500 条,与 GCG 对比时按 Zou et al. (2023) 的设置取前 100 条)。
- 基线:GCG(Zou et al., 2023),batch size 512、top-k 256、可优化 token 32 个、优化 500 步,每条实例生成一条输出。
- 指标与评审:ASR 用 HH-RLHF 上训练的 BERT-BASE-CASED 分类器(阈值 0.5),同时报告子串匹配作参照;HP 由五名标注者人工判定。
- 样本量与次数:主实验每条指令在 49 个解码配置各采样 1 次;HP 人工评估用 LLAMA2-13B-CHAT 的 100 条不对齐输出;论文未报告实验重复次数。
主结果
据 Table 1(MaliciousInstruct,ASR%):
表格较宽,可左右滑动
模型 默认(greedy+sys. prompt) 去 sys. prompt Varied All VICUNA-7B 50 62 97 VICUNA-13B 21 55 97 VICUNA-33B 42 50 96 MPT-7B 0 86 97 MPT-30B 0 91 98 FALCON-7B 5 75 95 FALCON-40B 7 72 95 LLAMA2-7B 14 85 97 LLAMA2-13B 34 83 97 LLAMA2-7B-CHAT♠ 0 16 81 LLAMA2-13B-CHAT♠ 0 8 88 - 作者称去掉 system prompt 后 ASR 常上升超过 10 个百分点,未安全微调的模型上升可超过 50 个百分点;两个 LLAMA2-CHAT 模型在变动全部解码配置(Varied All)下 ASR 分别为 81% 和 88%,低于其余模型的 ≥95%。
- Table 2 显示各模型最脆弱的解码配置不同(如 LLAMA2-7B-CHAT 在 τ=0.95 时 ASR 25%、p=0.7 时 29%),作者据此认为用单一固定解码配置评估对齐会低估风险。
- 作者称 9/11 个模型 ASR 被提至 ≥95%(Table 1),两个 LLAMA2-CHAT 模型经 Section 4.3 的增强后也达到 ≥95%。
攻击增强(LLAMA2-CHAT)
- 多次采样:Figure 3 显示随采样次数增加 ASR 上升;作者报告 LLAMA2-7B-CHAT 采样 5 次、LLAMA2-13B-CHAT 采样 4 次达到 95% ASR。
- 解码约束:Table 3 显示 LLAMA2-7B-CHAT 的 ASR 从基线攻击的 81%,加长度惩罚到 89%,加 bad words 到 93%,再加 forced words 到 100%。
与 GCG 的对比
- ASR 对比:据 Table 4,在 AdvBench 与 MaliciousInstruct、子串匹配与分类器两种指标下,本攻击各变体均高于 GCG;例如 LLAMA2-13B-CHAT 在 MaliciousInstruct 上 GCG 为 24%(子串匹配)/21%(分类器),本攻击 Combined 为 100%/96%;LLAMA2-7B-CHAT 上 GCG 为 50%/42%,本攻击 All 为 99%/95%。
- 开销:作者称在单张 NVIDIA A100 上,本攻击对 LLAMA2-7B-CHAT 单条提示词约 3 分钟,GCG 约 1.5 小时,即约 30 倍差距。
有害性人工评估
- HP:五名标注者判定 LLAMA2-13B-CHAT 的 100 条不对齐输出中 50% 含有害指导(附录 B.2)。
- 启发式规则:作者用一条启发式规则自动识别有害输出,称与人工一致率 93%;Figure 2 给出两个 LLAMA2-CHAT 模型在各解码配置下的 HP,作者报告 LLAMA2-7B-CHAT 的 HP 最高可达 80%。
防御实验
- 结果:据 Table 5,LLAMA2-7B-CHAT 经 generation-aware alignment 后,攻击者变动全部解码配置时 ASR 从 95% 降到 69%;固定解码(τ=1.0)采样做对齐的对照组降到 88%。
- 分策略:generation-aware alignment 后 τ、Top-K、Top-p 三种利用下 ASR 分别为 27%、49%、65%,作者称其对 temperature 利用的防护优势最大。
闭源模型实验
- 设置:gpt-3.5-turbo,通过 API 变动 temperature、top-p、presence penalty(−2 到 2,步长 0.1)、frequency penalty(−2 到 2,步长 0.1),在 MaliciousInstruct 上报 ASR。
- 结果:据 Table 6,默认解码 ASR 为 0,单独变动各参数为 2%–4%,全部变动为 7%。作者观察到 100 条提示词中 9 条请求超时,推测被内容过滤器拦截,并认为闭源模型内容过滤与红队资源是差异来源。
其他消融与分析
- system prompt 消融(Table 9):LLAMA2-7B-CHAT 在保留 system prompt 时 varied decoding 的 ASR 仅 4%,去掉后 81%;LLAMA2-13B-CHAT 为 23% 对 88%。
- 默认解码与 greedy 对比(Table 10):LLAMA2-CHAT 在默认解码(τ=0.1、p=0.9)与 greedy 下 ASR 相同或相近(0/0、16/15、8/8)。
- 风险热图(Figure 4–7):作者称不同恶意指令在不同解码配置下触发不对齐输出,且 LLAMA2-7B/13B 的风险高于对齐后的 LLAMA2-13B-CHAT。
有什么可以进一步探索的点?
作者在结论中列出三个后续方向;实验覆盖 11 个开源模型与一个闭源模型。
作者指出的局限与后续方向
- 迁移性:作者计划研究攻击向更多模型(包括多模态模型)的迁移(Section 7)。
- 有害性自动指标:作者计划开发更好的有害性自动评测指标,以更严格地评估模型生成内容(Section 7)。
- 对齐的样本效率:作者计划探索更高级的 generation-aware alignment 策略,重点是通过有策略地探索解码配置提高样本效率(Section 7)。
- 防御评测的模拟性质:作者说明防御评测中追加的"An aligned answer:"字符串可能被攻击者删除,评测仅作模拟用途,实际部署需借助 context distillation 等流程免去显式追加(Section 5.2)。
实验覆盖范围
- 被测模型为 VICUNA、MPT、FALCON、LLAMA2 四个家族共 11 个开源模型,另有 gpt-3.5-turbo 一个闭源模型(Section 3.1、Section 6)。
- 基准为 MaliciousInstruct(100 条)与 AdvBench(与 GCG 对比时取前 100 条)(Section 3.1、4.4)。
- 基线攻击仅 GCG 一种;PEZ、GBDA、AutoPrompt 未纳入对比,论文给出的原因是其 ASR 低于 GCG(Section 4.4)。
- 防御实验只在 LLAMA2-7B-CHAT 上进行,训练用约 2,000 条提示词、10,000 个三元组(Section 5.2)。
- 论文未报告攻击的查询总次数与实验重复次数;人工评估为五名标注者、100 条输出(附录 B.2)。
总结一下论文的主要内容
仅改解码配置即可绕过开源 LLM 对齐,9/11 模型 ASR≥95%;作者提出生成感知的对齐防御。
一篇针对开源 LLM 的越狱攻击论文,同时给出评测方法改进与防御尝试。
- 问题:作者认为开源 LLM 的安全评测与对齐固定在默认解码配置(如 LLAMA2 用 τ=0.1、top-p 0.9 加 system prompt),其他生成策略下的对齐失效会被漏掉。
- 方法:generation exploitation attack 不改输入文本,只移除 system prompt 并遍历 temperature(20 个配置)、top-k(9 个)、top-p(20 个)共 49 个解码配置,各采样一次后用在 HH-RLHF 上训练的 scorer 选取得分最高的输出;评测用 BERT 分类器判 ASR(与人类一致率 92%,高于子串匹配的 86%),并自建十类恶意意图的 MaliciousInstruct(100 条)。
- 主结果:在 MaliciousInstruct 上,11 个开源模型中 9 个的 ASR 从默认配置下的 0%–50% 被提至 ≥95%(Table 1);两个经 RLHF 对齐的 LLAMA2-CHAT 模型在变动全部配置下为 81%/88%,经多次采样(5 次/4 次)达 95%,加解码约束后 LLAMA2-7B-CHAT 达 100%(Figure 3、Table 3)。
- 对比与闭源:作者称本攻击在两个基准、两种指标下均高于 GCG,且单条提示词约 3 分钟对 GCG 约 1.5 小时(约 30 倍);对 gpt-3.5-turbo 变动全部 API 解码参数的 ASR 仅 7%(Table 6)。
- 防御:generation-aware alignment 用多种解码配置下采样的输出做对齐训练,把 LLAMA2-7B-CHAT 在攻击下的 ASR 从 95% 降到 69%,优于固定解码采样对齐的 88%(Table 5)。
- 作者结论:作者称当前开源 LLM 的安全评测与对齐流程存在重大失效,主张发布前在多种生成策略下做更全面的红队评测,并采用生成感知的对齐作为主动对策。