大规模 WildTeaming：从真实世界越狱到（对抗性）更安全的语言模型

1. 01这篇论文试图解决什么问题？

   作者称前沿 LLM 易受对抗越狱攻击，而开源社区缺乏多样化越狱红队方法与大规模安全微调数据以平衡防御与过度拒绝。

   论文试图解决大语言模型难以抵御多样化对抗越狱攻击、以及开源社区缺乏兼顾直接与对抗有害查询且不引发过度拒绝的大规模安全训练资源的问题。

   • 场景与重要性：前沿大语言模型（LLM）在面对不安全用户请求尤其是对抗越狱攻击时依然脆弱，促使研究人员系统性地挖掘潜在越狱漏洞并构建有效防御。
   • 现有方法不足：现有红队越狱方法多依赖人工标注、基于梯度的优化或基于 LLM 的迭代修改，攻击多样性有限且计算成本高；同时，现有公开安全训练数据规模小且缺乏对抗复杂性，导致模型面对未知对抗攻击时防御脆弱或对良性请求过度拒绝。
   • 核心观察与假设：真实世界的人机交互日志蕴含丰富多样的用户自发编写越狱策略，通过组合这些挖掘出的策略，能够以较低计算成本自动生成兼具多样性与强度的对抗提示词，进而支撑模型的高质量安全对齐训练。
   • 提出的方案：论文提出了自动红队框架 WILDTEAMING 与包含 262K 提示词-回复对的合成安全指令微调数据集 WILDJAILBREAK，旨在提升模型对直接和对抗有害请求的防御能力，同时避免对良性请求过度拒绝并不损害通用能力。
   • 威胁模型：
     • 攻击目标：绕过受害模型的安全防护，促使模型对原本属于高风险的有害请求给出充分解答（PRMtarget_h）。
     • 攻击者知识：论文评估了黑盒（black-box，如 GPT-3.5、GPT-4）与白盒（white-box，如 Vicuna-7B、Mistral-7B 等）目标大模型。
     • 攻击者能力：攻击者掌握直接有害请求，利用离架 LLM（Mattack）按采样的越狱策略组合重写请求，并通过脱题分类器和低风险分类器进行轻量化剪枝。
     • 受害系统：开源与闭源前沿聊天大语言模型，以及基于监督微调进行安全对齐的下游语言模型。

   收起这一问

2. 02有哪些相关研究？

   作者梳理了红队越狱、安全评测基准与安全训练数据三类工作，指出以往方法缺乏真实策略挖掘与大规模对抗微调训练资源。

   大语言模型红队与越狱攻击

   • 人工标注与早期尝试：Ganguli et al. (2022)、Bai et al. (2022)、OpenAI (2024) 采用人工撰写提示词并分析模型回复。作者称人工方法因标注成本高昂而在范围和效率上受限。
   • 基于梯度优化的方法：Zou et al. (2023)（GCG）、Guo et al. (2021)、Guo et al. (2024)（Cold-attack）、Schwinn et al. (2024) 需要反向传播模型参数。作者称这类方法计算代价高、无法用于闭源模型且常生成无语义文本。
   • 基于推理与迭代修改的方法：Chao et al. (2023)（PAIR）、Liu et al. (2023)（AUTODAN）、Mehrotra et al. (2024)（TAP）等通过直接生成或迭代修改生成对抗提示词。作者称多数方法攻击和风险覆盖面窄、生成速度慢，鲜少转化为大规模模型训练资源。

   大语言模型安全评测与基准

   • 漏洞与有害评测基准：Carlini et al. (2023)、Wei et al. (2023)、Sun et al. (2024)（TrustLLM）、Mazeika et al. (2024)（HARMBENCH）等构建了包含模型应拒绝的有害提示词基准。
   • 过度拒绝评测基准：Röttger et al. (2023)（XSTest）、Cui et al. (2024)（OR-Bench）用于测量模型在良性查询上的过度安全行为。

   安全训练与对齐数据

   • 安全微调与偏好数据集：Bianchi et al. (2024)（SAFETY-TUNED LLAMAS）与 Ji et al. (2023)（BeaverTails）分别开源了小规模安全训练集与大规模人类偏好数据集，但作者指出其主要关注直接有害请求。
   • 合成安全数据探索：Samvelyan et al. (2024)（Rainbow Teaming）基于人工定义的攻击风格与风险类别网格利用合成数据填充攻击空间。

   基线方法与基准数据集

   • 越狱攻击实验对比了基于梯度的 GCG（Zou et al., 2023）、基于遗传算法的 AUTODAN（Liu et al., 2023）与基于 LLM 迭代提示的 PAIR（Chao et al., 2023），测试基准为 HARMBENCH（Mazeika et al., 2024）的 159 个标准有害行为测试集。
   • 安全训练实验对比了原版 Tulu2Mix、无拒绝过滤版 T2M-no-refusal，以及混合现有公开安全数据 HH-RLHF（Ganguli et al., 2022）、SAFE-RLHF（Dai et al., 2024）与 DAN（Shen et al., 2023）的 T2M-public-safety 基线。

   与现有工作的区别定位：作者称 WILDTEAMING 不同于以往工作之处在于从真实人机交互中自动挖掘人类构思的越狱策略并高效组合，进而构建了更大规模且兼顾直接与对抗、有害与良性四类数据的开源指令微调安全数据集 WILDJAILBREAK。

   收起这一问

3. 03论文如何解决这个问题？

   作者提出 WILDTEAMING 挖掘并组合真实越狱策略，并构建包含 262K 样本的 WILDJAILBREAK 四元数据集进行安全微调。

   整体思路是通过从真实人机交互日志中挖掘多样化越狱策略，将其组合生成对抗攻击，进而构建包含直接与对抗、有害与良性四类数据的 WILDJAILBREAK 数据集进行模型安全对齐训练。

   真实策略挖掘（MINE）

   • 数据源与候选筛选：从 LMSYS-CHAT-1M 与 WILDCHAT 两个真实人机对话数据集中收集单轮对话，经 OpenAI Moderation API 初筛后，输入轻量安全模型 Tulu2-7B 并由 LLAMA-GUARD 判定，保留诱导出有害回复的 16,850 个对抗提示词。
   • 种子策略与自动挖掘：人工检查约 200 个样本提炼出 35 个种子越狱策略与定义；随后借助 GPT-4 对对抗提示词执行核心请求提取与策略识别（包含已有策略与潜在新策略、对应片段及理由说明）。
   • 去重与聚类：使用 Nomic Embed 模型对策略定义计算句子嵌入，在相似度阈值 0.75 下进行层次聚类去重，最终在 105,438 个策略实例中归纳出 5,688 个独特策略簇。

   策略组合与对抗攻击生成（COMPOSE）

   • 候选攻击生成：对于给定的直接有害请求 P，从策略库 T 中采样策略子集 Tⁱ = {t₁, …, t_n}，利用攻击大模型 Mattack（如 Mixtral-8×7B）条件生成对抗候选样本 APⁱ ∼ M_attack(· ∣ P; Tⁱ)。在越狱评测实验中，固定包含前缀诱导策略（seed leading sentence），并额外随机采样 3 个策略组成 4 个策略的组合输入。
   • 脱题与低风险双重剪枝：为确保对抗提示词保留原始有害意图且具备足够威胁，使用自然语言推理（NLI）分类器判断对抗改写是否蕴含或中立于原始请求（蕴含与中立概率和阈值为 0.9），并使用内部微调的 Llama-2 7B 提示词有害性分类器过滤低风险样本。仅当样本同时通过两项过滤时才予保留：

   is_keep_APⁱ = 𝕀(Pr_off-topic(APⁱ) = F ∧ Pr_low-risk(APⁱ) = F)

   WILDJAILBREAK 四元数据集构建

   • 直接有害数据（Vanilla Harmful, 50,050 条）：依据风险分类学，利用 GPT-4 生成覆盖 13 个风险类别的直接有害请求，并由 GPT-3.5 生成详细且具有帮助性的拒绝回复。
   • 直接良性数据（Vanilla Benign, 50,050 条）：依据 XSTest 的过度安全分类体系，利用 GPT-4 生成表面相似但实际无害的请求，并由 GPT-3.5 生成遵从回复，用于缓解过度拒绝。
   • 对抗有害数据（Adversarial Harmful, 82,728 条）：利用 WILDTEAMING 采样 2–7 个真实策略，由 Mixtral-8×7B 与 GPT-4 转化直接有害请求并经过剪枝，配对直接请求生成的拒绝回复。
   • 对抗良性数据（Adversarial Benign, 78,706 条）：利用 WILDTEAMING 转化直接良性请求以生成具备越狱外在形式但不含恶意意图的样本，由 GPT-3.5 生成遵从回复。

   安全对齐微调配置

   • 训练数据混合：使用基于关键词过滤移除了自相矛盾拒绝回复的 300K 通用指令数据 Tulu2Mix-no-refusal，混合 WILDJAILBREAK 四类数据各采样 50K（共 200K），构成 500K 训练混合集。
   • 微调超参数：在 128 芯片 TPU v3 pod 上微调 Llama2-7B 基座模型 2 个 epoch，采用 BFloat16 精度、峰值学习率 2e-5（线性衰减）、warmup 比例 0.03、最大序列长度 2048、批大小 32。

   收起这一问

4. 04论文做了哪些实验？

   作者在 HARMBENCH 等基准上评估越狱有效性与多样性，并在多个安全与通用基准上评估 WILDJAILBREAK 的微调对齐效果。

   实验设置

   • 被测模型：越狱攻击实验评测了 Vicuna-7B、Tulu2-DPO-7B、Mistral-7B、Mixtral-8×7B、GPT-3.5 (0613) 和 GPT-4 (0613)；安全微调实验评测了以 Llama2-7B 和 Llama2-13B 为基座微调的模型。
   • 评测数据集与基准：越狱评测使用 HARMBENCH 标准测试集的 159 个直接有害行为；直接安全评测使用 HARMBENCH（300 条）、ToxiGen（13 个少数群体各 500 条）和 XSTest（200 条有害、250 条良性）；对抗安全评测使用 JailbreakTrigger（400 条）、DoAnythingNow（300 条）以及 WILDJAILBREAK 评估集（2000 条有害、210 条良性）；通用能力评测使用 AlpacaEval（V1、V2）、MT-Bench（80 题）、MMLU（14,079 题）、GSM8k（8.5k 题）、BBH（6,511 题）、TydiQA（18,751 题）、HumanEval（164 题）和 TruthfulQA（818 题）。
   • 对比基线：越狱攻击基线包含 GCG、AUTODAN 和 PAIR；安全微调基线包含原版 Tulu2Mix（T2M）、T2M-no-refusal 以及混合公开安全数据的 T2M-public-safety。
   • 评价指标与判定方式：越狱有效性指标为 ASR（由 HARMBENCH 微调的 Llama2-13B 分类器判定）、查询次数 Query 和文本困惑度 PPL（由 Vicuna-7B 计算）；越狱多样性指标为 ASR×5_30（30 次尝试内发现 1–5 个独立成功攻击的平均成功率）与 Query×5_30；安全防御指标包含 ASR、拒答率 RTA（由 GPT-4 判定）与综合平衡准确率 Accuracy；通用能力采用胜率、F1、pass@10 或准确率。
   • 生成与采样参数：攻击候选生成最大长度 1024 token（temperature=1, top-p=0.9）；目标模型补全最大长度 512 token（temperature=0, top-p=1）。

   主结果

   下表呈现 WILDTEAMING 在 HARMBENCH 测试集（159 个标准有害行为）上针对 6 个代表性模型的攻击效果与多样性结果（据 Table 2）：

   表格较宽，可左右滑动

   目标模型	ASR (↑)	Query (↓)	PPL (↓)	ASR×5_30 (↑)	Query×5_30 (↓)
   Vicuna (7B)	93.1	2.82	8.65	88.1	9.31
   Tulu2 DPO (7B)	96.9	2.61	8.77	87.8	8.98
   Mistral (7B)	95.0	2.37	8.56	89.2	8.72
   Mixtral (8×7B) [注：目标模型即攻击生成代理模型]	98.1	2.72	8.75	87.2	8.99
   GPT-3.5 (0613)	92.5	7.08	7.96	65.8	13.19
   GPT-4 (0613)	79.9	8.61	8.13	60.1	13.43

   • 多样化攻击成功率表现：作者称 WILDTEAMING 在多样性指标 ASR×5_30 上比 PAIR 提升了 4.6 至 25.6 分，同时 Query×5_30 减少了 3.8 至 5.5 次查询，表明其在寻找多个独立成功越狱提示词时具备优势。
   • 标准有效性与文本自然度：WILDTEAMING 在单次成功攻击的 ASR 上与 PAIR 相当或更优（例如在 GPT-4 上 ASR 为 79.9% 对比 PAIR 的 78.6%），且成功攻击文本的困惑度 PPL 保持在 7.96–8.77 之间，低于 PAIR（9.33–9.78）和 GCG（2266.69–4265.86）。
   • 优化型基线局限：在多样性评测中，AUTODAN 的 ASR×5_30 仅为 19.4–20.0，作者指出其难以找到第二个独立成功攻击；而 GCG 因生成 30 个候选攻击估计需约 15 小时（单张 80GB A100 GPU），因计算成本过高未报告多样性指标。

   基于 WILDJAILBREAK 的安全对齐训练效果

   • 评测内容：评测加入 200K WILDJAILBREAK 数据微调 Llama2-7B（+WildJailbreak）对直接安全、对抗安全以及通用能力的影响（Table 6）。
   • 实验结果：+WildJailbreak 模型在 HARMBENCH 上的 ASR 降至 3.1%（原版 Tulu2Mix 为 20.8%，T2M-public-safety 为 66.0%）；在 DoAnythingNow 上 ASR 降至 14.0%（原版 Tulu2Mix 为 49.7%）；在 WILDJAILBREAK 综合测试集上准确率达 98.4%，其中有害对抗 ASR 为 1.7%，良性对抗过度拒绝 RTA 仅为 1.6%；在通用基准上，MT-Bench 评分为 6.29 分（T2M-no-refusal 为 5.84 分），AlpacaEval V1 胜率为 74.6%（T2M-no-refusal 为 75.9%）。基于 Llama2-13B 的 +WJ (13B) 模型在 MT-Bench 取得 6.59 分，AlpacaEval V1 胜率达到 80.5%，HARMBENCH ASR 为 2.5%（Table 6）。
   • 作者解读：作者称 WILDJAILBREAK 在大幅提升模型对直接和对抗攻击防护的同时，对通用能力的负面影响极小，且表现明显优于由公开安全数据训练的 T2M-public-safety 基线。

   WILDJAILBREAK 数据组分消融与规模扩展分析

   • 评测内容：在 Table 6 中对 WILDJAILBREAK 的四类数据进行剔除消融，并在 Table 35 与 Table 36 中评估安全数据量从 2K 扩展至 60K/200K 的影响。
   • 实验结果：仅使用有害数据训练（+WJ-harm-only）会导致过度拒绝率上升，在 XSTest 良性上的拒绝率 XSTB 达到 10.0%，在 WILDJAILBREAK 良性对抗上的拒绝率 WJB 达到 54.4%；仅使用直接数据微调（+WJ-vani-only）在对抗测试集 WJ (H) 上的 ASR 仍高达 57.5%；仅使用对抗数据微调（+WJ-adv-only）在 HARMBENCH 直接有害上的 ASR 仍有 20.8%（Table 6）。在规模扩展上，混合 60K WILDJAILBREAK 数据时，HarmBench ASR 降至 2.5%，DAN ASR 降至 14.3%，WJ (H) ASR 降至 2.3%（Table 36）。
   • 作者解读：作者指出四种数据组分对帕累托平衡均不可或缺；直接与对抗数据必须结合才能覆盖完整威胁谱系，且扩充安全数据规模可以在不损害通用能力的前提下稳步增强模型安全性。

   其他消融与分析

   • 策略组合数量消融（HARMBENCH 验证集 Vicuna-7B）：固定前缀下组合 1、2、3、4、5、6 个策略时，ASR 分别为 95.1%、90.2%、95.1%、90.2%、95.1%、90.2%，ASR×5_30 分别为 78.5、83.4、86.8、82.4、86.3、84.4（Table 21）。
   • 随机组合策略消融（HARMBENCH 验证集 Vicuna-7B）：不固定前缀策略时，随机组合 1、2、3、4、5、6 个策略的 ASR 分别为 95.1%、95.1%、87.8%、92.7%、90.2%、90.2%，ASR×5_30 分别为 65.4、74.6、77.1、80.5、78.0、79.0（Table 21）。
   • 剪枝过滤模块消融（HARMBENCH 验证集 Vicuna-7B）：无剪枝、仅脱题剪枝、仅低风险剪枝、联合剪枝时，ASR 均为 95.1%，平均查询数分别为 3.64、2.95、2.62、2.46，ASR×5_30 分别为 83.4、83.9、85.9、86.8（Table 21）。
   • 提示词有害性分类器验证准确率：在 3,091 条标注样本上整体准确率为 86%，其中直接提示词（1,515 条）为 90%，对抗提示词（1,576 条）为 81%（Table 27）。
   • 现有模型在 WILDJAILBREAK 对抗评估集上的 ASR：Mistral-7B 为 76.2%，Mixtral-8x7B 为 69.2%，Tulu-2-7B 为 63.6%，GPT4-0125 为 29.5%，Llama-3-8B 为 14.8%（Figure 3, Table 28）。

   负面结果与例外

   • 在 HARMBENCH 的版权违规类别中，微调模型的防御改善相对有限：+WJ 的 ASR 为 20.00%，而在 +WJ (13B) 上版权 ASR 达到 42.50%（原版 Tulu2Mix 为 31.25%，Table 31）。作者在伦理声明中指出，部分有害行为高度依赖语境，仅靠模型内部训练难以完全覆盖，需依赖外部防护层。
   • 仅使用有害数据训练的消融模型表现出明显的过度拒绝，在良性对抗提示词上的拒绝率高达 54.4%（Table 6）。
   • 提示词有害性分类器在对抗样本上的分类准确率（81%）低于在直接样本上的准确率（90%）（Table 27）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出了数据源局限、合成提示词风格偏差以及语境依赖风险需外部防护等局限，并提出了评估升级与机制分析等方向。

   作者指出的局限与后续方向

   • 数据源与策略覆盖范围受限：作者在伦理声明（Ethical Statement §8）中指出，研究发现受限于现有数据集与 WILDJAILBREAK 的范围，无法穷尽大语言模型的所有潜在滥用场景；所识别的策略受限于 LMSYS-CHAT-1M 和 WILDCHAT 数据源，可能未能反映真实用户使用的全部组合越狱策略。
   • 合成对抗提示词与人类真实攻击存在风格偏差：作者在伦理声明（Ethical Statement §8）中指出，尽管越狱策略源自真实世界数据，但 WILDJAILBREAK 的对抗提示词由 Mixtral-8×7B、GPT-3.5 和 GPT-4 合成生成，在形式与内容上并未完全贴近人类用户的实际查询，可能继承了源模型的固有风格和过滤启发式特征；作者鼓励后续研究探索与人类攻击更紧密对齐的合成数据生成方法。
   • 语境依赖型风险难以完全由模型内部微调解决：作者在伦理声明（Ethical Statement §8）中指出，虽然安全训练能缓解多种风险，但某些有害行为本质上具有语境依赖性，需要依靠模型外部的防护层来防范。
   • 安全评测基准与指标亟需升级：作者在讨论（Discussion §6）中指出，许多现有安全基准存在数据污染或已趋于饱和，现有分类器与指标也常不够准确；未来需要升级安全评测方法、任务与指标，以适应模型能力的持续演进。
   • 安全对齐训练方案与底层机制尚待深入探究：作者在讨论（Discussion §6）中指出，需要进一步理解 SFT、DPO 与 PPO 等不同对齐方案的优劣，探索端到端训练与外挂过滤器的差异、直接拒绝与详尽拒绝的权衡，并解构指令遵循与拒绝之间的冲突机制，防范数据投毒与后门等表面化安全对齐问题。

   实验覆盖范围

   • 越狱攻击测试对象：越狱攻击实验覆盖了 4 个开源模型（Vicuna-7B、Tulu2-DPO-7B、Mistral-7B、Mixtral-8×7B）和 2 个闭源模型（GPT-3.5-0613、GPT-4-0613），评测集为 HARMBENCH 标准测试集的 159 个直接有害行为。
   • 模型安全微调对象：安全对齐训练实验以 Llama2-7B 为主要基座模型（补充包含 Llama2-13B），在 300K Tulu2Mix-no-refusal 与 200K WILDJAILBREAK 混合数据上进行监督微调（SFT）。
   • 安全与通用评测任务：直接安全评测覆盖 HARMBENCH（300 条）、ToxiGen（13 个少数群体各 500 条）和 XSTest（200 条有害、250 条良性）；对抗安全评测覆盖 JailbreakTrigger（400 条）、DoAnythingNow（300 条）和 WILDJAILBREAK 评估集（2000 条有害、210 条良性）；通用能力覆盖 AlpacaEval（V1、V2）、MT-Bench、MMLU、GSM8k、BBH、TydiQA、HumanEval 和 TruthfulQA。
   • 对比攻击基线范围：实验对比了 GCG、AUTODAN 和 PAIR 三种开源越狱基线；论文说明因计算资源限制未运行 TAP 基线。
   • 未报告的信息：论文未报告攻击实验的重复运行方差，以及评测分类器判定结果与人工标注之间的一致性检验统计量。

   收起这一问

6. 06总结一下论文的主要内容

   论文提出 WILDTEAMING 挖掘并组合越狱策略，据此构建 262K WILDJAILBREAK 数据集，通过微调提升了对抗防御并兼顾通用能力。

   1. 研究定位与核心问题：针对大语言模型面临对抗越狱攻击的脆弱性以及开源社区缺乏高质量大规模安全训练资源的现状，论文提出了自动化挖掘与组合真实越狱策略的红队框架 WILDTEAMING，并据此构建了开源合成安全指令微调数据集 WILDJAILBREAK。
   2. 方法与数据构建：WILDTEAMING 从 16,850 个真实对话日志中挖掘出 5,688 个独特越狱策略簇，并利用离架大语言模型将直接有害请求与采样的策略进行组合改写，通过脱题与低风险剪枝器进行过滤；据此构建了包含直接有害（50,050 条）、直接良性（50,050 条）、对抗有害（82,728 条）和对抗良性（78,706 条）共 262K 提示词-回复对的数据集。
   3. 越狱攻击有效性与多样性：在 HARMBENCH 标准测试集（159 个有害行为）上，WILDTEAMING 针对 Mixtral-8×7B 的 ASR 达到 98.1%，平均查询数为 2.72 次，困惑度 PPL 为 8.75，多样性指标 ASR×5_30 达到 87.2，在保持较低查询开销的同时取得了优于 PAIR 的多样化攻击表现（Table 2）。
   4. 安全对齐微调效果：在 Llama2-7B 基座上混合 WILDJAILBREAK 与通用数据微调后，模型在 HARMBENCH 上的 ASR 从原版 Tulu2Mix 的 20.8% 降至 3.1%，在 DoAnythingNow 越狱攻击上的 ASR 从 49.7% 降至 14.0%，在 WILDJAILBREAK 综合测试集上取得 98.4% 的准确率（Table 6）。
   5. 过度拒绝与通用能力平衡：微调模型在良性敏感请求上的过度拒绝率保持在较低水平（XSTest 良性拒绝率 XSTB 为 8.8%，WILDJAILBREAK 良性对抗拒绝率 WJB 为 1.6%），在 MT-Bench 取得 6.29 分，在 AlpacaEval V1 取得 74.6% 胜率（Table 6）。
   6. 作者结论与启示：作者认为直接与对抗、有害与良性四类数据的混合对于实现安全与可用性的帕累托最优必不可少，简单的监督微调即可带来显著安全提升，并呼吁开源社区进一步公开安全训练资源与升级动态评测基准。

   收起这一问

相关论文