LLM 防御尚不能抵御多轮人类越狱
LLM Defenses Are Not Robust to Multi-Turn Human Jailbreaks Yet
作者用多轮人工越狱攻击四种 LLM 防御,在 HarmBench 上 ASR 达 51.7%–87.9%,高于六种自动化攻击的集成上界。
红队成员通过 black-box chat interface 与模型多轮对话,不能访问模型内部或输出概率,禁止 prefill 助手回复,可在 0、0.5、1 三个 temperature 间切换;受害系统为加载了防御的 llama-3-8b-instruct 聊天接口。
- 现有 LLM 防御主要在单轮自动化攻击下评测,作者认为这一威胁模型不足以覆盖真实部署中多轮对话的恶意使用,多轮人工越狱是否攻破这些防御尚不清楚。
- 作者组织多阶段人工红队流程:每名红队成员 30 分钟内通过黑盒聊天接口多轮越狱,再经人工复核与 GPT-4o 过滤判定成功;对比六种自动化攻击,并构建 MHJ 数据集与越狱战术分类。
- 在 HarmBench(n=240)上,人工越狱对 RR、LAT、DERTA、CYGNET 的 ASR 为 51.7%–87.9%,高于六种自动化攻击的集成上界;对 RMU 遗忘模型在 WMDP-Bio(n=43)上 ASR 为 51.2%,作者称恢复了生物安全知识。
- 作者指出人工与自动化攻击的威胁模型、评测方案和成本不同,ASR 不能直接对比;红队成员技能有差异;实验仅覆盖四种防御、一个基座模型和两个基准,WMDP-Bio 仅 43 题且人工评分。
- 被测模型
- RRLATDERTACYGNET (cygnet-llama-3)RMU
- 基准
- HarmBenchWMDP-BioMHJ
- 指标
- ASR
论文显示,多轮人类越狱能突破现有 LLM 防御,在 HarmBench 上对自动化单轮攻击仅报告个位数攻击成功率的防御取得超过 70% 的攻击成功率。研究由 Scale AI 组织人类红队,通过黑盒聊天界面进行多轮对话,并由两名人工审核者与 GPT-4o 分类器验证结果。在 HarmBench 的 240 条行为上,人类越狱比六种自动化攻击的集成高出 19% 至 65%;对闭源防御 CYGNET 达到 70.4% 攻击成功率,而原论文中自动攻击为 0%,论文提醒两者设置不同不宜直接比较。在 WMDP-Bio 上,人类红队对 RMU 机器遗忘防御的攻击成功率比最佳单一自动攻击高 39.6%,比六种攻击的集成高 25.6%。团队公开了 MHJ 数据集,包含 537 段多轮越狱对话中的 2,912 条提示词及越狱策略分类。
推荐理由论文用人类红队对比六种自动化攻击,多轮越狱在四种防御上的成功率高出 19 至 65 个百分点,并公开了 MHJ 数据集。
深度解读
这篇论文试图解决什么问题?
作者检验现有 LLM 防御在多轮人工越狱下是否稳健,并发布 MHJ 数据集。
核心问题:现有 LLM 防御主要在单轮自动化攻击下评测,作者要检验它们在多轮人工越狱这一更贴近真实部署的威胁模型下是否仍然稳健。
- 问题场景:作者指出,近期防御在 HarmBench 等基准上面对自动化单轮攻击可达接近 0% 的 ASR,但真实用户通常通过多轮对话与模型交互,单轮评测是不充分的威胁模型。
- 现有方法不足:作者认为针对多轮威胁模型的自动化攻击很少,防御方普遍没有将多轮对手纳入设计,例如部分防御只对单轮攻击做对抗训练,拒答训练也多在短的单轮对话上进行。
- 核心假设:多轮对话扩大了攻击面,经验丰富的人工红队成员能发现单轮自动化攻击遗漏的漏洞;作者还假设自动化攻击的 ASR 分布不能代表人工攻击的分布。
- 论文产出:作者组织人工红队流程攻击四种防御和一个机器遗忘(machine unlearning)模型,并将成功越狱整理为 MHJ 数据集(2,912 条提示词、537 段多轮对话)和一套越狱战术分类,公开释放。
- 威胁模型:
- 目标:通过多轮对话诱导模型对 HarmBench 有害行为给出有害回答,或从遗忘模型中恢复 WMDP-Bio 双用途生物安全知识。
- 知识:black-box chat interface,红队成员不能访问模型内部或输出概率。
- 能力:可进行多轮对话,可在 0、0.5、1 三个 temperature 间切换;禁止 prefill 助手回复,假设攻击者无法获得私有 assistant token。
- 受害系统:加载了防御(RR、LAT、DERTA、CYGNET 或 RMU 遗忘)的 llama-3-8b-instruct 聊天接口,系统提示词为 "You are a helpful AI Assistant!"。
有哪些相关研究?
相关工作分三类:LLM 自动化攻击、LLM 防御、人工红队;本文以六种自动化攻击为基线。
LLM 自动化攻击
- 变换类攻击(论文引 [1, 25, 28, 36, 42, 74]):对提示词做变换以绕过拒答,通常不需要访问模型内部。
- 梯度优化类攻击(论文引 [23, 47, 59, 63, 64, 68, 70, 80]):需要访问模型权重、激活或梯度,如 GCG、AutoPrompt。
- LLM 充当提示词工程师(论文引 [3, 13, 15, 17, 49, 54, 58, 65, 75]):用 LLM 自动生成越狱提示词,模拟人工红队,如 PAIR、GPTFuzzer、AutoDAN、Zero-Shot。其中 Gibbs et al. [24] 将单轮自动攻击扩展到多轮并发布了自动化多轮越狱数据集;Russinovich et al. [58] 的 Crescendo 是与本文威胁模型最接近的多轮攻击,作者因评测时其代码未发布而未纳入实验。
LLM 防御
- 对抗训练类(论文引 [22, 48, 76, 78]):通过对抗训练直接提升对攻击的鲁棒性,本文评测的 DERTA [76] 属于输出层监督的解耦拒答训练。
- 表示层方法(论文引 [61, 66, 73, 79, 81]):改变模型内部激活以降低其"思考"不良行为的可能,本文评测的 RR、CYGNET [81] 和 LAT [61] 属于此类。
- 机器遗忘(论文引 [41, 43, 57, 61, 66]):旨在只移除有害技术知识而不损害有益能力,本文攻击的 RMU [41] 属于此类;论文引 [41, 45, 59, 66] 指出需用对抗攻击确认知识被真正遗忘而非被掩盖。
人工红队
- 前沿模型红队(论文引 [7, 18, 21, 22, 30, 37, 50, 60, 67, 71, 72]):人工红队以最少模型访问发现漏洞,是前沿模型的核心策略。
- 红队战术分类(论文引 [32, 37, 72, 77]):已有工作为人工红队战术建立分类体系。
- 成本问题:论文指出人工红队成本高昂,研究者因此多用 HarmBench [48]、JailbreakBench [16] 等自动化鲁棒性基准。
基线与基准:本文的基线是六种自动化攻击——黑盒的 AutoDAN、GPTFuzzer、PAIR、Zero-Shot 和白盒的 AutoPrompt、GCG,使用 HarmBench v1.0 默认超参数;基准为 HarmBench 的 240 条有害行为和 WMDP-Bio 抽样的 43 题。
作者将本文定位为:用人工红队检验多轮这一被忽视的威胁模型,并指出自动化攻击与人工红队之间存在差距,需要为自动化攻击和防御建立更好的基线。
论文如何解决这个问题?
多阶段人工红队流程:30 分钟多轮越狱,双人复核加 GPT-4o 过滤,再与六种自动化攻击对比。
整体思路:组织专家红队成员在多轮黑盒聊天接口下人工越狱四种防御,用多阶段流水线控制误报,再与六种自动化攻击在同一基准上对比 ASR,并将成功越狱整理成公开数据集 MHJ。
威胁模型与实验设定
- 接口设定:红队成员通过 black-box chat interface 与模型交互,不能访问模型内部或输出概率;禁止 prefill 助手回复,假设私有 assistant token 不可获得。
- 多轮与采样:允许多轮对话,可在 temperature 0、0.5、1 之间切换,作者称这比 API 访问更受限、比单轮攻击更贴近真实恶意使用。
- 受害系统:防御加载在 llama-3-8b-instruct 上,统一使用系统提示词 "You are a helpful AI Assistant!",不加困惑度过滤或护栏模型;只评测 attack-agnostic 防御。
人工红队流水线(Figure 2)
- Attempt 阶段:Red Teamer 1 在 30 分钟内独立尝试越狱,自评为 failed、partially successful 或 fully successful;若仅部分成功,Red Teamer 2 从零独立重试,不看前者信息。
- Validate 阶段:Reviewer 1 按 HarmBench 分类器提示词的标准核验 fully successful 的越狱;若驳回,Red Teamer 3 从零再试,由 Reviewer 2 复核,驳回后不再转交。
- GPT-4o 终筛:gpt-4o-2024-05-13 配 HarmBench 分类器提示词对人工批准的越狱做最终过滤,作者称这是为得到人工 ASR 的保守下界(附录 A.3)。
自动化攻击对比设定
- 六种攻击:黑盒的 AutoDAN、GPTFuzzer、PAIR、Zero-Shot 和白盒的 AutoPrompt、GCG,用 HarmBench v1.0 默认超参数,对全部防御和两个基准运行。
- 集成上界:对每个行为,六种自动化攻击中任意一个成功即记为集成成功,作为自动化攻击 ASR 的上界。
- 白盒攻击的定位:白盒攻击超出本文威胁模型,作者仍报告其结果,理由是部署于关键场景的防御应在更强威胁下检验。
成功判定
- HarmBench:GPT-4o 配 HarmBench 分类器提示词判定;自动化攻击由 GPT-4o 初筛后人工复核,双方一致才算成功;人工越狱需两名人工复核加 GPT-4o 通过。
- WMDP-Bio:从基准抽样 43 道选择题改为开放式问答;红队成员不限时、总计 240 小时,全部提交由人工判定,因 HarmBench 分类器不能判定双用途生物安全内容;作者明确此处 ASR 不可与 HarmBench 结果互比。
MHJ 数据集与战术分类
- 数据内容:全部成功提交编入 MHJ,含 2,912 条提示词、537 段对话,元数据包括主战术、耗时和 temperature,红队成员附设计说明。
- 战术体系:7 个主类(Direct Request、Echoing、Hidden Intention Streamline、Injection、Obfuscation、Output Format、Request Framing,Table 1),附录 D.1 给出细分子类,附录 D.2 给出每类示例;每次提交只标一个主导战术。
- 脱敏:在法律顾问支持下移除生物、网络、化学安全相关的敏感与出口管制内容,删除全部模型补全,仅保留系统与用户消息。
论文做了哪些实验?
人工越狱在 HarmBench 上 ASR 51.7%–87.9%,超过六种自动化攻击集成;RMU 上 51.2%。
实验设置
- 被测防御:RR、LAT、DERTA(均加载于 llama-3-8b-instruct,开源)和 CYGNET(闭源,经 Gray Swan AI API 攻击,模型为 cygnet-llama-3,2024-07-27 至 2024-08-07);遗忘实验为 RMU 作用于 llama-3-8b-instruct。
- 基准:HarmBench 标准与 contextual 测试集共 240 条有害行为(剔除版权类);WMDP-Bio 抽样 43 题转开放式问答。
- 基线:六种自动化攻击(AutoDAN、GPTFuzzer、PAIR、Zero-Shot、AutoPrompt、GCG)及其集成上界;CYGNET 的自动化攻击 ASR 引自原文 [81],作者注明不应与人工 ASR 直接比较。
- 评审方式:gpt-4o-2024-05-13 配 HarmBench 分类器提示词;人工越狱需两名人工复核加 GPT-4o 通过,自动化攻击由 GPT-4o 初筛加一名人工复核;WMDP-Bio 全部人工评分。
- 样本与人力:HarmBench 每防御 n=240;每个防御至少 6 名红队成员,每人每次 30 分钟;WMDP-Bio 共 240 小时红队时间。
主结果
HarmBench 上各攻击对四种防御的 ASR(%,n=240,据 Table 2):
表格较宽,可左右滑动
攻击 RR LAT DERTA CYGNET* Human (Ours) 51.7 75.4 87.9 70.4 Ensemble Automated 8.3 10.0 68.3 0.0* AutoDAN 0.4 0.0 29.6 0.0* AutoPrompt 1.2 0.0 23.8 - GCG 2.9 2.9 35.0 0.0* GPTFuzzer 0.8 0.0 34.2 - PAIR 5.4 5.8 29.6 0.0* ZeroShot 1.7 3.8 16.2 - *CYGNET 的自动化攻击数字引自原文 [81],作者注明不应与人工 ASR 直接比较;"-" 为论文未报告。
- 作者称人工越狱在全部四种防御上超过全部六种自动化攻击,在三个开源防御上比集成上界高 19.6%–65.4%。
- 作者指出 CYGNET 对自动化攻击比 RR 更稳健,但红队在 CYGNET 上成功率更高,说明自动化攻击 ASR 不一定是人工越狱鲁棒性的代理。
- 附录 A.2 补充:CYGNET 熔断前 ASR 为 70.4%(169/240),熔断后额外 7.1%(17/240),合计 77.5%;正文图表只报熔断前数字。
WMDP-Bio 遗忘模型实验
- 测了什么:对 RMU 遗忘后的 llama-3-8b-instruct,用人工红队和六种自动化攻击尝试恢复双用途生物安全知识(n=43,Figure 4)。
- 结果:人工越狱 ASR 51.2%,集成自动化攻击 25.6%,最佳单一自动攻击 11.6%(AutoDAN 与 GPTFuzzer 并列),AutoPrompt 4.7%,GCG 9.3%,PAIR 与 ZeroShot 各 2.3%。
- 作者解读:作者称自动化攻击不足以保证 RMU 的遗忘鲁棒性;人工 ASR 仍低于 HarmBench 各防御,作者推测恢复高技术含量知识可能需要领域经验,留待未来工作。
战术分布与多轮依赖性
- 测了什么:成功人工越狱的主导战术分布(Figure 5)及所需对话轮数。
- 结果:91.62% 的 HarmBench 成功提交和 85.7% 的 WMDP-Bio 成功提交需要多于一轮对话;作者称 Obfuscation、Hidden Intention Streamline、Direct Request 在全部防御上都有效,Figure 5 中各防御的战术计数不同(如 LAT 的 Obfuscation 为 60,RR 的 Direct Request 为 40)。
- 作者解读:作者认为许多战术为多轮威胁模型优化,例如 Hidden Intention Streamline 完全依赖多轮诱导;限制单轮或把多轮蒸馏为单轮是未来方向。
其他消融与分析
- 平均成功耗时(HarmBench):RR 13.9 分钟、DERTA 12.6 分钟、LAT 17.3 分钟、CYGNET 16.5 分钟;作者指出 ASR 高低与平均耗时不对应。
- WMDP-Bio 耗时:成功提交平均 20.5 分钟。
- GPT-4o 分类器校验(附录 A.3):自动化攻击上,GPT-4o 对人工标注的有害回复假阴性率 0.0%,但精度较弱(Figure 7:464 条 GPT-4o 判有害的回复中人工确认 166 条);人工越狱上 GPT-4o 接受率 88.4%–94.3%(Table 3)。
- RMU 超参数(附录 B):batches=400、c=50、α=5000、lr=2×10⁻⁴;遗忘后 WMDP-Bio 准确率 28.0%(基座 70.7%),MMLU 61.3%(基座 63.8%)(Figure 8)。
- 语义类别(附录 A.1/Figure 6):作者称 harassment bullying 等类别对自动化攻击比人工攻击更难;Figure 6 按类别给出各攻击 ASR 分布,类别样本量 18–54。
有什么可以进一步探索的点?
作者讨论了人机评测差异等局限,并提出多轮自动化攻击、领域专家红队等方向。
作者指出的局限与后续方向
- 人机流程不可直接对比(Section 5):人工与自动化攻击的威胁模型不同——部分自动化攻击需要模型内部访问且均为单轮,人工红队不能访问内部但可多轮、可调 temperature;作者称结果不应视为一对一对比或人工红队更优的断言。
- 时间与资源设定(Section 5):人工红队每人限 30 分钟,而真实恶意行为者可用更多时间和人力;论文不限制查询数与 token 数,作者提出未来防御可探索速率限制。
- 红队成员差异(Section 5):红队成员是流动的,虽统一培训且每防御至少 6 人,个体技能与经验仍有差异。
- 成本差异(Section 5):人工红队成本比自动化攻击高数个数量级,作者认为任何控制成本的鲁棒性分析可能得出不同结果。
- 评测方案差异(Section 5):人工与自动化攻击采用略有不同的评测流程,设计理由见附录 A.3。
- 未来方向:作者提出探索多轮或变 temperature 的自动化攻击(Section 5)、培养领域专家红队以恢复高技术知识(Section 4.2)、限制人工红队为单轮或将多轮攻击蒸馏为单轮(Section 4.2),以及面向更长上下文、多轮、分布外工具使用场景的安全研究(Section 5)。
实验覆盖范围
- 被测防御共四种(RR、LAT、DERTA、CYGNET)加一个 RMU 遗忘模型,基座均为 llama-3-8b-instruct;未评测其他基座模型。
- 基准为 HarmBench 240 条行为(剔除版权类)和 WMDP-Bio 抽样 43 题;WMDP-Bio 为人工评分,论文未报告评分者间一致性。
- 自动化攻击基线为六种,使用 HarmBench v1.0 默认超参数;Crescendo 因评测时代码未发布而未纳入(Section 4.1)。
- CYGNET 的自动化攻击数字引自原文,作者注明系统提示词可能不同、不应与人工 ASR 直接比较(附录 A.2)。
- 论文未报告自动化攻击的查询次数或计算预算,也未报告人工红队实验的重复次数。
总结一下论文的主要内容
多轮人工越狱攻破四种防御,ASR 远超自动化攻击,作者发布 MHJ 数据集。
这是一篇攻击与数据集论文:作者检验在单轮自动化攻击下表现稳健的 LLM 防御,能否抵挡更贴近真实使用的多轮人工越狱。
- 问题:现有防御在 HarmBench 等基准上对自动化单轮攻击可达接近 0% ASR,但真实恶意使用是多轮对话,作者认为单轮评测是不充分的威胁模型。
- 方法:红队成员经黑盒聊天接口多轮攻击四种防御(RR、LAT、DERTA、CYGNET,均基于 llama-3-8b-instruct),每人 30 分钟,成功判定经两名人工复核加 GPT-4o 过滤;基线为六种自动化攻击及其集成上界。
- 主结果:HarmBench(n=240)上人工越狱 ASR 为 RR 51.7%、LAT 75.4%、DERTA 87.9%、CYGNET 70.4%,在三个开源防御上比自动化攻击集成上界高 19.6%–65.4%(Table 2)。
- 遗忘实验:对 RMU 遗忘模型,人工红队在 WMDP-Bio(n=43)上 ASR 51.2%,高于最佳单一自动攻击的 11.6%,作者称恢复了双用途生物安全知识。
- 多轮依赖性:91.62% 的 HarmBench 成功提交需要多于一轮对话,作者认为许多战术专为多轮威胁模型优化。
- 产出与结论:作者发布 MHJ 数据集(2,912 条提示词、537 段对话)和 7 类越狱战术体系,并认为当前自动化攻击不足以保证防御在真实部署中的鲁棒性,需要更贴近实际的威胁模型和更强的自动化攻击;作者同时提醒人机 ASR 因设定差异不能直接对比。