HarmBench：自动化红队测试与鲁棒拒答的标准化评测框架

1. 01这篇论文试图解决什么问题？

   自动化红队缺乏标准化评测，作者提出 HarmBench 框架并配套对抗训练防御 R2D2。

   核心问题：自动化红队领域缺乏标准化的评测框架，各方法难以公平比较，阻碍了攻击与防御的协同发展。

   • 场景与动机：LLM 的恶意使用风险（恶意软件、社会工程、生化武器设计等）使红队成为部署前发现防御漏洞的关键手段，但人工红队扩展性差，无法覆盖对抗性和长尾场景，因此领域转向自动化红队（第 1 节）。
   • 现有评测的不足：作者统计发现此前工作至少有 9 种互不相同的评测设置（Table 1），比较互不重叠；多数评测使用少于 100 个独特行为、且为短的单模态行为；评测中生成 token 数这一关键参数未标准化，可使 ASR 变化多达 30%（Figure 2）；部分工作直接在方法所优化的指标上评测，存在指标被钻空子的风险（第 3.2 节）。
   • 核心观察：作者提出红队评测应具备三个性质——广度（breadth）、可比性（comparability）、稳健指标（robust metrics），并据此系统设计基准。
   • 论文产出：HarmBench 框架（510 个行为 + 标准化评测流程 + 评测分类器）、18 种攻击 × 33 个模型的大规模比较，以及对抗训练防御方法 R2D2；作者称比较得出"没有攻击或防御一致有效、鲁棒性与模型规模无关"等结论。
   • 威胁模型（附录 B.3）：
     • 攻击者目标：设计测试用例，从目标 LLM 引出指定的有害行为（targeted red teaming）。
     • 攻击者知识/访问：no access（transfer attacks）、query access（black-box attacks）、parameter access（white-box attacks）三档。
     • 受害系统：能遵循指令的 LLM（含多模态 LLM）；防御分 model-level 与 system-level，本文大规模比较聚焦 model-level defenses。

   收起这一问

2. 02有哪些相关研究？

   相关工作分红队方法、防御、对抗训练三条线；作者称此前评测互不重叠、无法比较。

   自动化红队方法

   • 文本优化类：GCG（Zou et al., 2023）、PEZ（Wen et al., 2023）、GBDA（Guo et al., 2021）、AutoPrompt（Shin et al., 2020）、UAT（Wallace et al., 2019）等基于 token 级优化的攻击。
   • LLM 优化器类：Zero-Shot / Stochastic Few-Shot（Perez et al., 2022）、PAIR（Chao et al., 2023）、TAP（Mehrotra et al., 2023），用攻击方 LLM 生成或迭代测试用例。
   • 模板与流程类：AutoDAN（Liu et al., 2023b）、PAP（Zeng et al., 2024）、Human Jailbreaks（Shen et al., 2023a）；另有针对多模态 LLM 的图像攻击（Bagdasaryan et al., 2023; Qi et al., 2023a 等）。

   防御

   • 系统级：输入/输出过滤（Markov et al., 2023; Inan et al., 2023 等）、输入清洗与改写、受限推理；Glukhov et al. (2023) 指出输出过滤可被越狱模型绕过（如生成编码输出）。
   • 模型级：RLHF、DPO、RLAIF 等安全训练与拒答机制；作者指出模型级防御在安全微调之外探索很少。

   对抗训练与既有评测

   • Jain et al. (2023) 用静态有害提示数据集做对抗训练，攻击者在微调期间不对模型做优化，并报告了负面结果；Ge et al. (2023)（与本文同期）提出多轮对抗训练，训练中 4 次生成新测试用例。
   • 既有行为数据集：AdvBench（58 个行为）、TDC 2023（99）、MaliciousInstruct（100）、Shen et al.（390）等（Table 5）；作者指出这些数据集行为数少、无多模态与上下文类别。

   基线与基准：本文对比的基线为 18 种红队方法（含 Human Jailbreaks 与 Direct Request 两个基线），基准为作者自建的 HarmBench；防御侧对照为各既有 LLM 自身的安全训练（如 Llama 2 Chat 系列）。

   作者定位：此前评测设置互不重叠、相对性能不明（Table 1），HarmBench 以统一流程、更大更多样的行为集和稳健分类器填补这一空白。

   收起这一问

3. 03论文如何解决这个问题？

   HarmBench = 510 个行为 + 三步标准化评测流程 + 稳健分类器；另提出 R2D2 对抗训练。

   整体思路：按"广度、可比性、稳健指标"三条标准构建 HarmBench 评测框架，并用它做大规模比较；同时提出 R2D2（Robust Refusal Dynamic Defense） 展示攻击与防御的协同开发。

   问题形式化与指标

   • 红队任务：给定行为 y，红队方法 g 生成测试用例集，目标模型 f 以贪心解码生成 T 个 token 的补全，分类器 c 判定是否成功。
   • 主指标为攻击成功率 ASR(y, g, f) = 1/N ∑_i c(f_T(x_i), y)，即引出行为的测试用例比例。
   • 标准化生成 token 数 N = 512，因为作者发现该参数可使 ASR 变化多达 30%（Figure 2）。

   行为集构建

   • 规模：510 个独特有害行为 = 400 文本 + 110 多模态；官方划分验证集 100 个、测试集 410 个，要求不得在测试集上调参。
   • 7 个语义类别：Cybercrime & Unauthorized Intrusion、Chemical & Biological Weapons/Drugs、Copyright Violations、Misinformation & Disinformation、Harassment & Bullying、Illegal Activities、General Harm。
   • 4 个功能类别：standard（200）、copyright（100）、contextual（100，含上下文字符串）、multimodal（110，含图像）。
   • 策划原则：以 OpenAI、Anthropic、Meta、Inflection AI 的使用政策（用 GPT-4 汇总）为指南人工设计；过滤"双重意图"行为（如写加密函数）；强调差异危害——Table 12 显示上下文行为 Google 可搜索率为 0%，而 MaliciousInstruct 为 55%、AdvBench 为 50%（每数据集抽 20 条、每条限 10 分钟）。

   评测流程与分类器

   • 三步流程（Figure 3）：生成测试用例 → 目标模型（含防御）生成补全 → 分类器计算 ASR。
   • 成功判定标准：补全展示或明确试图展示该行为即算成功（代码有错也算），以将模型能力与安全机制解耦；完整标准在附录 B.1。
   • 非版权行为：微调 Llama 2 13B Chat 作分类器，训练数据经 GPT-4 多轮蒸馏（15 轮）；版权行为：基于 MinHash 的哈希分类器，要求补全实际包含版权文本。
   • 分类器与人工标签平均一致率 93.19%（Table 3）；另提供基于 Mistral 7B 的验证分类器（一致率 88.6%）供方法优化时使用，防止直接优化测试指标。

   R2D2 对抗训练

   • 动机：GCG 在 7B 模型上生成单个测试用例需 20 分钟（A100），难以纳入训练循环；借鉴快速对抗训练，使用跨批次持久化的测试用例池。
   • 流程（Algorithm 1）：每轮从池中采样 n 个测试用例，用 GCG 在当前模型上更新 m 步，再计算模型损失并更新参数。
   • 损失：L_total = L_away + L_toward + L_SFT——away 损失对抗 GCG 目标字符串，toward 损失推向固定拒答字符串，SFT 损失保持效用。
   • 每 L 次模型更新随机重置 K% 的测试用例以增加多样性。

   收起这一问

4. 04论文做了哪些实验？

   18 种攻击 × 33 个模型的大规模比较，外加 R2D2 防御、多模态攻击和分类器评测。

   实验设置

   • 被测模型：33 个——24 个开源文本模型（Llama 2 7B/13B/70B Chat、Vicuna 7B/13B、Baichuan 2 7B/13B、Qwen 7B/14B/72B Chat、Koala 7B/13B、Orca 2 7B/13B、SOLAR 10.7B、Mistral 7B、Mixtral 8x7B、OpenChat 3.5、Starling 7B、Zephyr 7B、R2D2）、8 个闭源文本模型（GPT-3.5 Turbo 0613/1106、GPT-4 0613、GPT-4 Turbo 1106、Claude 1/2/2.1、Gemini Pro）、4 个多模态模型（InstructBLIP、LLaVA 1.5、Qwen-VL-Chat、GPT-4V）。
   • 攻击方法：文本 16 种（GCG、GCG-M、GCG-T、PEZ、GBDA、UAT、AutoPrompt、SFS、ZS、PAIR、TAP、TAP-T、AutoDAN、PAP-top5、Human Jailbreaks、Direct Request）；多模态 4 种（PGD、Adversarial Patch、Render Text、Direct Request）。
   • 基准：HarmBench 510 个行为（测试集 410、验证集 100）。
   • 指标与评审：ASR，由微调的 Llama 2 13B Chat 分类器（非版权）与 MinHash 哈希分类器（版权）判定；分类器与人工一致率 93.19%（Table 3）。
   • R2D2 设置：Mistral 7B base 上微调，M = 500 步、N = 180 个持久测试用例、每轮 m = 5 步 GCG、n = 8 个用例、每 L = 50 步重置 K = 20%；8xA100 上 16 小时；SFT 数据为 UltraChat。
   • 论文未报告每个攻击 × 模型组合的重复次数。

   主结果

   Table 6（全部行为，ASR%）节选关键行；"—"为论文未报告（白盒攻击不适用于闭源模型）：

   表格较宽，可左右滑动

   模型	GCG	PAIR	TAP	AutoDAN	Human	DR
   Llama 2 7B Chat	32.5	9.3	9.3	0.5	0.8	0.8
   Llama 2 13B Chat	30.0	15.0	14.2	0.8	1.7	2.8
   Vicuna 7B	65.5	53.5	51.0	66.0	39.0	24.3
   Mistral 7B	69.8	52.5	62.5	71.5	58.0	46.3
   Zephyr 7B	69.5	58.8	66.5	75.0	66.0	65.8
   R2D2 (Ours)	5.5	48.0	60.8	17.0	13.6	14.2
   GPT-4 0613	—	39.3	43.0	—	11.3	21.0
   Claude 2.1	—	2.8	2.5	—	0.3	2.0

   （据 Table 6；省略其余 25 个模型，其中 ASR 最高的是 Zephyr 7B 等未做安全训练的模型，最低的是 Claude 2/2.1。）

   • 作者称没有攻击或防御一致有效：所有攻击在至少一个模型上 ASR 低，所有模型在至少一种攻击下 ASR 高（Figure 5）。
   • 作者称鲁棒性与模型规模无关：同一模型家族内 7B 到 70B 的 ASR 接近，家族间差异大（Figure 6），作者据此认为训练数据与算法比规模更重要；例外是版权行为在最大模型上 ASR 上升，作者假设是小模型能力不足。
   • 上下文行为 ASR 高于标准行为，版权行为 ASR 低（Figure 11）；作者称后者因哈希分类器标准更严格，并称上下文行为 ASR 高"令人担忧"，因其差异危害更大。

   R2D2 防御效果

   • 测了什么：Zephyr 7B + R2D2 对全部攻击的鲁棒性。结果：GCG ASR 5.5，低于 Llama 2 7B Chat 的 31.8 和 Llama 2 13B Chat 的 30.2（正文 6.2 节；Table 6 中 R2D2 行 GCG 为 5.5）；作者称在三种 GCG 变体上均为最强防御，平均 ASR 排第三（仅次于 Llama 2 7B/13B Chat）。
   • 例外：对与训练时 GCG 差异大的攻击提升较小——PAIR 48.0、TAP 60.8、SFS 43.5（Table 6）；作者认为可能需要纳入多种攻击做对抗训练。
   • 效用：MT-Bench 6.0，对比 Mistral 7B Instruct v0.2 的 6.5（Table 11）；作者称对抗训练可在保持通用性能的同时提升鲁棒性。Figure 8 显示 GCG 对 R2D2 模型优化时损失降不下去。

   多模态攻击

   • 测了什么：4 个多模态模型上的 4 种攻击（Table 9）。结果：PGD 类攻击 ASR 高（Qwen-VL-Chat 82.73、LLaVA 1.5 74.55、InstructBLIP 64.55），Render Text 低（1.82–20.00）；GPT-4V 未报告 PGD 结果。
   • 作者称这佐证了此前工作中多模态攻击可强于文本攻击的发现。

   分类器评测

   • 一致率（Table 3）：HarmBench 分类器平均 93.19，GPT-4 为 88.37，AdvBench 子串匹配 69.93，GPTFuzz 75.42，ChatGLM 64.29，Llama-Guard 66.94。
   • 稳健性预检（Table 4，三类非标准补全）：HarmBench 分类器平均 95.7，GPT-4PAIR 89.6，Llama Guard 74.2，GPTFuzz 65.8，AdvBench 32.0。

   其他消融与分析

   • 语义类别间平均 ASR 接近，版权除外（Figure 9）；单个模型上类别差异大，如 Llama 2 与 GPT 上 Misinformation 最高，Baichuan 2 与 Starling 上 Chemical & Biological 最高（Figure 10）。
   • 验证集与测试集结果分别列于 Table 7、Table 8，与 Table 6 接近。
   • 文本行为上的多模态攻击（Table 10）：PGDBlankImage 在 LLaVA 1.5 上 66.00，RenderText 仅 0.50–5.25。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出系统级防御、行为自动化生成等待做；实验聚焦模型级防御与单轮评测。

   作者指出的局限与后续方向

   • 大规模比较只覆盖 model-level defenses；system-level defenses 需要针对个体防御的自适应攻击才能判断真实鲁棒性，作者明确留待未来工作（附录 B.3）。
   • 评测聚焦手工策划的行为集，红队全流程（含有害行为的选取）的自动化"仍有工作要做"，且作者认为完全自动化可能有挑战或不可取（附录 E，Q15）。
   • R2D2 对与训练时 GCG 差异大的攻击（PAIR、TAP、Stochastic Few-Shot）提升较小，作者认为可能需要将多种不同攻击纳入对抗训练才能获得可泛化的鲁棒性（第 6.2 节）。
   • 作者称要获得对所有已知攻击的真实鲁棒性，只针对有限攻击集训练并期望泛化可能不够（第 6.1 节）。
   • 版权行为在最大模型上 ASR 上升，作者假设是小模型无法完成版权行为所致，仅为假设（第 6.1 节）。

   实验覆盖范围

   • 被测模型共 33 个：24 个开源文本、8 个闭源文本、4 个多模态（附录 C.2）。
   • 攻击方法 18 种：文本 16 种、多模态 4 种；Perez et al. 的 Supervised Learning 与 Reinforcement Learning、ARCA、MasterKey 因成本或代码原因未纳入（附录 C.1）。
   • 部分方法原实现中的闭源 LLM 被替换为 Mixtral 8x7B，作者说明这可能降低其效果（附录 C.1）。
   • 分类器人工标注验证集为 600 条补全（附录 B.5.1）；可搜索性实验每数据集 20 条行为（Table 12）。
   • 论文未报告每个攻击 × 模型组合的重复次数；Claude 与 Gemini 的 API 含不可移除的过滤器，作者说明其模型级防御鲁棒性无法直接测量（附录 C.2）。

   收起这一问

6. 06总结一下论文的主要内容

   HarmBench 标准化红队评测：510 行为、18 攻击 × 33 模型，外加 R2D2 对抗训练防御。

   一篇红队评测基准论文：针对自动化红队缺乏统一评测、跨论文无法比较的问题，作者提出 HarmBench，并用它完成大规模攻击-防御比较，同时给出对抗训练防御 R2D2。

   • 问题：此前至少有 9 种互不重叠的评测设置（Table 1），行为集普遍小于 100 个，生成 token 数等关键参数未标准化（可使 ASR 变化多达 30%，Figure 2），指标易被优化钻空。
   • 方法：HarmBench 含 510 个行为（400 文本 + 110 多模态，分 7 个语义类别、4 个功能类别），三步标准化流程，微调 Llama 2 13B 分类器（与人工一致率 93.19%，Table 3）加 MinHash 版权分类器；R2D2 用持久化 GCG 测试用例池做对抗训练，16 小时（8xA100）。
   • 结果一：作者称没有攻击或防御一致有效，鲁棒性与模型规模无关、家族间差异大（Figure 5、6）。
   • 结果二：上下文行为 ASR 高于标准行为（Figure 11），作者称其差异危害更大、值得警惕。
   • 结果三：R2D2 将 GCG ASR 降至 5.5（Llama 2 7B Chat 为 31.8），MT-Bench 6.0（Mistral 7B Instruct v0.2 为 6.5）；但对 PAIR（48.0）、TAP（60.8）等差异大的攻击提升有限。
   • 作者结论：标准化大规模比较对攻防协同发展不可或缺；R2D2 可作为强基线防御，但泛化鲁棒性可能需要纳入多种攻击训练。

   收起这一问

相关论文