RedBench：面向大语言模型全面红队测试的通用数据集

现有红队数据集缺少一致的风险分类和跨领域覆盖，难以系统比较现代 LLM 对对抗提示与过度拒绝的表现。

• 出现场景：作者认为 LLM 已进入医疗、法律等安全关键应用，对抗提示词可能引出不安全、有偏见或错误的回答，稳健性因此成为部署问题。
• 现有不足：作者称 AdvBench、HarmBench、Do-Not-Answer 等数据集风险定义不一致，范围和格式也不同；有的偏毒性或偏见，有的偏越狱，评价框架因此碎片化。
• 模型缺口：作者称 RainbowPlus、AutoDAN、Tree-of-Attacks、GPTFuzzer 等先前工作主要评测较旧架构，缺少与 Qwen2.5、Llama 3.1、Gemma 2 的比较。
• 本文做法：提出 RedBench，汇总 37 个数据集、29,362 条样本，每条标一个风险类别和一个领域，并在子集上给现代 LLM 建基线。作者称已公开数据集与评测代码。
• 两条方向：33 个数据集测攻击，看提示是否引出不安全、有偏见或错误回答；4 个测拒绝，即 CoCoNot、ORBench、SGXTest、XSTest 是否拒绝本可回答的良性提示。拒绝样本的风险类别标为 No Risk。

自动化红队

• Perez 等（2022a）用 LLM 自主生成测试用例，以发现有害输出，减少对人工监督的依赖。
• Deng 等（2023）把人工策展与上下文学习结合起来改进提示；Paulus 等（2024）用优化算法强调生成速度；Liu 等（2023）做面向毒性或错误信息等失败模式的目标导向攻击。论文只描述这些工作。
• Rainbow（Samvelyan 等，2024）及其增强版 RainbowPlus（Dang 等，2025）用质量-多样性搜索提高对抗提示的多样性与效果。本文实验把 RainbowPlus 用作攻击方法之一。

红队数据集

• HarmBench（Mazeika 等，2024）、AdvBench（Zou 等，2023）、DAN（Shen 等，2024a）面向攻击提示，覆盖毒性、错误信息和越狱。作者称它们常缺少标准化风险分类，标签重叠或含糊，妨碍跨数据集比较。
• CoCoNot（Brahman 等，2024）、ORBench（Cui 等，2024）、StrongREJECT（Souly 等，2024）用良性提示测过度防御。作者称其领域覆盖有限、提示设计不一致，限制泛化。附录 B 将 CoCoNot 写作 CoCoNut。
• PurpleLlamaCyberSecEval（Bhatt 等，2023）针对网络安全，MedSafetyBench（Han 等，2024）针对医疗。作者称二者未纳入统一框架。

引言中的评测缺口

• AutoDAN（Liu 等，2024；2025）、Tree-of-Attacks（Mehrotra 等，2023）、GPTFuzzer（Yu 等，2023）：作者称这些研究主要评测较旧 LLM，缺少与 Qwen2.5、Llama 3.1、Gemma 2 的比较。

基线方法与基准

• 攻击基线为 Direct、ZeroShot、HumanJailbreak、RainbowPlus，在 HarmBench 上报告 ASR。拒绝基准为 CoCoNot、ORBench、SGXSTest、XSTest，指标为 RR。

作者把本文放在数据集标准化一侧：把 37 个数据集、29,362 条样本收进 22 类风险、19 个领域，并把攻击提示与拒绝提示放在同一框架里。

RedBench 先汇总已有红队数据，再给每条样本打风险类别和领域两个标签，最后在子集上测现代 LLM。

数据收集

• 规模与来源：37 个数据集来自 NeurIPS、ACL、ICML、ICLR、arXiv 等。选择标准是同行评审状态、与红队目标的相关性、风险场景覆盖。合计 29,362 条。
• 来源计数：作者称 arXiv 8 个、ACL 6 个、NeurIPS 6 个、ICLR 6 个，其余来自 EMNLP、ACM、ICML、EACL、USENIX、NAACL（Figure 1）。文本未给出后六处的各自篇数。
• 纳入条件：任务要测安全、稳健性或拒绝行为；集体覆盖毒性、偏见、错误信息、越狱和过度拒绝；只保留有清晰文档、可复现提示和已核实来源的数据。

分类体系

• 双标签：Risk Category 表示提示可能引出的伤害或滥用类型；Domain 表示应用情境。作者称类别定义避免重叠，并依据 Zou 等（2023）、Xie 等（2024）、NIST 与 OWASP。领域依据部署场景分析、利益相关者咨询，以及 Bhatt 等（2023）、Han 等（2024）等专项研究。定义见 Table 8、Table 9。
• 22 个风险类别：Sexual Content、Abusive Content、Hateful Content、Violent Content、Extremism and Radicalization、Crime Content、Illegal Weapons (Non-CBRN)、CBRN Information or Capabilities、Malware Code、Cybersecurity Threats (Beyond Malware)、Misinformation、Confabulation、Bias Content、Self-Harm Content、Child Safety、Data Privacy、Intellectual Property、Decision-Making in Critical Systems、Election Interference、Economic Harm、Environmental Harm、Other。测拒绝的良性提示另标 No Risk。
• 19 个领域：Healthcare、Finance、Politics、Biology、Technology、Law、Education、Environment、Military、Infrastructure、Entertainment、Family、Workplace、Religion、Travel、Sports、Nutrition、Retail、General Knowledge。

标注与数据构成

• 标注模型：Qwen2.5-72B-Instruct。作者称选用它是因为指令遵循和分类表现，并在 300 条随机样本上与人工比较（Appendix C）。
• 流程：按 Table 8、9 设计分类提示，含定义和示例，并据试点迭代；模型分批顺序标注全部样本；再人工抽查子集，网络安全、医疗等专项数据按专家知识重标，分歧经共识解决。论文未给出该抽查子集的规模。附录 J 给出完整分类提示词。
• 攻击侧计数（Table 1）：最多为 Abusive Content 3,523、Cybersecurity Threats (Beyond Malware) 2,906、Crime Content 2,668、Bias Content 2,376；较少为 Confabulation 71、Election Interference 158。
• 领域计数（Table 2）：General Knowledge 攻击 8,581、拒绝 982；Technology 攻击 4,041、拒绝 314。Travel 攻击 102、拒绝 26；Religion 攻击 122、拒绝 16。
• 热图：作者称 Technology 与 Cybersecurity Threats、Malware Code 关联强，主要来自 CyberattackAssistance；Healthcare 以 Self-Harm Content 为主，来自 MedSafetyBench；General Knowledge 更广，Abusive Content 与 Crime Content 贡献大（Figure 2）。文本转换后读不到格内数值。

指标与攻击方法

拒绝率定义为 RR = (Number of Refused Legitimate Prompts)/(Total Number of Prompts) × 100%，即被拒绝的合法提示占全部提示的比例。攻击成功率定义为 ASR = (Number of Successful Attacks)/(Total Number of Attempted Attacks) × 100%，即引出不安全或不适当回答的攻击占比。

• 判定：RR 由 GPT-4o 判断。作者称，明确拒绝回答或给出泛化推脱即记为拒绝。ASR 由 Llama-Guard-3-8B 判断是否为不安全或不适当回答。
• 四种攻击方法（Appendix G）：ZeroShot 用攻击方 LLM 零样本生成测试，作者称可扩展但常缺少针对特定行为的特异性；HumanJailbreak 把野外越狱模板中的行为字符串替换掉，作者称缺少适应性；Direct 直接用原始行为字符串，作者称作为安全对齐的下界基线；RainbowPlus 为自适应质量-多样性搜索。论文未写本次实验里攻击方 LLM 的名称。

实验设置

• 被测模型：6 个安全对齐 LLM：Llama-3.1-8B-Instruct、Gemma-2-9B-It、Qwen2.5-7B-Instruct、Ministral-8B-Instruct-2410、GPT-4o-Mini、GPT-4.1-Nano。正文 3.2 节把 GPT-4o Mini 写了两次；Table 3 与 Appendix I 中的闭源模型是 GPT-4o-Mini 与 GPT-4.1-Nano。作者称因机构内 API 限制，未纳入 Google Gemini 与 Anthropic Claude。
• 拒绝基准：CoCoNot、ORBench、SGXSTest、XSTest。Table 7 列出的样本量分别为 1,380、1,319、100、450。结果节未写明实际评测条数是否等于这些规模，也未报告重复次数。正文 2.1 节将 SGXSTest 写作 SGXTest。
• 攻击基准：作者称以 HarmBench 为代表，比较 Direct、ZeroShot、HumanJailbreak、RainbowPlus。Table 7 列出 HarmBench 320 条；结果节未另写评测子集规模。
• 评审：RR 用 GPT-4o；ASR 用 Llama-Guard-3-8B。论文未写分类阈值，只写了拒绝的判定口径。
• 算力：vLLM，NVIDIA A40。标注 29,362 条用两块 A40 一周；六模型评测用一块 A40 一周（Appendix H）。作者称温度、top-p、batch size 已按典型部署设置标准化，具体值在代码中，正文未给出。
• 攻击方模型：Appendix G 说 ZeroShot 使用攻击方 LLM，但未给出名称。

主结果

据 Table 4，HarmBench 上的 ASR（%）：

表格较宽，可左右滑动

模型	Direct	ZeroShot	HumanJailbreak	RainbowPlus
Qwen2.5-7B-Instruct	32.81	41.88	90.63	84.06
Gemma-2-9B-It	11.25	70.31	93.91	42.50
Llama-3.1-8B-Instruct	47.50	55.00	91.72	96.25
Ministral-8B-Instruct-2410	65.00	81.88	90.63	97.81
GPT-4o-Mini	8.75	16.56	0.16	28.75
GPT-4.1-Nano	3.44	0.63	0.00	6.88

• 作者称开源模型更易被攻破，闭源模型抵抗更强；并称 HumanJailbreak 对开源模型成功、对闭源模型失效。表中 HumanJailbreak 仅 GPT-4.1-Nano 为 0，GPT-4o-Mini 为 0.16%。
• 作者称 RainbowPlus 对开源和闭源都有效，并认为它比 HumanJailbreak 更通用。表中 Gemma-2-9B-It、Qwen2.5-7B-Instruct 的 RainbowPlus 低于各自的 HumanJailbreak。
• 作者认为闭源模型抵抗 HumanJailbreak 可能因为更先进的安全机制。这是作者的推测。

拒绝基准

• 测了什么：四个拒绝数据集上的 RR，评审为 GPT-4o（Table 3）。
• 结果：平均 RR 最高为 Llama-3.1-8B-Instruct 28.53%（XSTest 32.60%，SGXSTest 29.60%），最低为 Gemma-2-9B-It 13.46%（CoCoNot 9.93%，SGXSTest 11.60%）。Qwen2.5-7B-Instruct 平均 21.70%，Ministral-8B-Instruct-2410 平均 18.44%，GPT-4o-Mini 平均 17.47%，GPT-4.1-Nano 平均 25.71%。单格最高是 GPT-4.1-Nano 在 ORBench 的 35.18%，高于 Llama-3.1-8B-Instruct 在该集的 25.40%。
• 作者解读：作者称 Llama-3.1-8B-Instruct 可能以可用性换安全，尤其在占拒绝提示多数的 General Knowledge；Gemma-2-9B-It 更宽松。附录 A 称 GPT-4.1-Nano 在 ORBench 的高 RR 说明提示设计随数据集而变，并认为拒绝基准需要进一步标准化。

分项攻击与分领域拒绝

• RainbowPlus 分项：作者称 Figure 3a 中 Ministral-8B-Instruct-2410 在 Economic Harm、Extremism and Radicalization 上更易被攻破，Llama-3.1-8B-Instruct 在这些类别也升高，但程度较低。作者称 Figure 3b 中 Environment、Nutrition 更易受影响，并认为可能因为这些专门情境的安全训练有限。文本转换后读不到图中各柱数值。
• 六模型平均 ASR（Table 11、Table 12）：RainbowPlus 在 Extremism and Radicalization 为 83.33%，Economic Harm 为 66.67%；ZeroShot 在 Economic Harm 为 0.00%。Nutrition 上 RainbowPlus 为 83.33%；Environment 上 Direct 与 ZeroShot 为 0.00%，HumanJailbreak 与 RainbowPlus 为 66.67%。Healthcare 上 Direct、HumanJailbreak、ZeroShot 均为 66.67%，RainbowPlus 为 50.00%。作者称 RainbowPlus 总体最有效；Table 11 中 Self-Harm 的 RainbowPlus 为 41.67%，低于 HumanJailbreak 的 63.89%。
• 分领域平均 RR（Table 10，六模型平均）：Retail 在 CoCoNot 为 50.00%、XSTest 为 30.56%；Family 在 CoCoNot 为 28.69%；Finance、Infrastructure 在 ORBench 为 28.71%、27.27%。Biology、Education 在 SGXSTest 与 XSTest 为 0.00%。作者称 SGXSTest 在若干领域为 0，其提示可能更不具挑战或不够多样。论文未给出分领域分母。作者称 Figure 4 中 Llama-3.1-8B-Instruct 在 CoCoNot、ORBench 上拒绝率更高；SGXSTest 的非零出现在 Finance、Nutrition、Travel；XSTest 上 GPT-4.1-Nano 对 Travel 拒绝突出。图中数值文本不可读。

其他消融与分析

论文未报告超参数或组件消融。

• 风险类别与人工一致率：三次运行 85.71%、87.30%、81.03%，平均 84.68%±2.66%（Table 5，300 条）。
• 领域与人工一致率：97.75%、98.80%、96.63%，平均 97.73%±0.88%（Table 5）。作者称领域更高，是因为情境分类比风险评估更客观。
• Direct 在 Intellectual Property 的六模型平均 ASR 为 8.76%，在 Education 为 0.00%（Table 11、Table 12）。
• HumanJailbreak 在 Intellectual Property 的平均 ASR 为 53.42%，作者称多数类别高于 60%（Table 11）。
• 攻击样本极端值：Abusive Content 3,523，Confabulation 71（Table 1）。
• 领域极端值：General Knowledge 攻击 8,581，Travel 攻击 102（Table 2）。

作者指出的局限与后续方向

• 既有数据偏向：依赖已有数据集会带入其设计偏向，例如偏向 General Knowledge 与 Technology（附录 A）。
• 标注边界：半自动标注在边界情形可能不一致，尽管有人工校验（附录 A，指向标注流程一节）。
• 模型范围：只评测六个 LLM，且因 API 限制未包含 Google Gemini 与 Anthropic Claude；作者称这限制发现的可推广性（附录 A）。
• 攻击集中于 HarmBench：作者称 HarmBench 有代表性，但可能未完全覆盖 RedBench 中 33 个攻击数据集的对抗提示多样性，并认为需要在全部 33 个上做更广测试（附录 A）。
• 稀疏类别与领域：作者称应通过有针对性的数据增补，弥补 Election Interference、Confabulation，以及 Religion、Travel 等覆盖缺口（附录 A；Section 2.3 也把有针对性扩充写成后续迭代要做的事）。
• 拒绝基准：作者认为拒绝基准需要进一步标准化，以便跨模型评价一致（附录 A）。

实验覆盖范围

• 被测模型为 Qwen2.5-7B-Instruct、Gemma-2-9B-It、Llama-3.1-8B-Instruct、Ministral-8B-Instruct-2410、GPT-4o-Mini、GPT-4.1-Nano，共 6 个（Section 3.2、Appendix I、Table 3、Table 4）。
• 拒绝结果来自 CoCoNot、ORBench、SGXSTest、XSTest；攻击主表来自 HarmBench 上的 Direct、ZeroShot、HumanJailbreak、RainbowPlus（Table 3、Table 4）。
• 拒绝评审为 GPT-4o，攻击评审为 Llama-Guard-3-8B（Section 3.1）。标注模型为 Qwen2.5-72B-Instruct，并在 300 条、3 次运行上与人工比较（Appendix C、Table 5）。
• Appendix F 报告六模型平均的按风险类别 ASR、按领域 ASR，以及按领域的平均 RR；Figure 3 为 RainbowPlus 的分项图，正文未列出图中各项数值。
• 论文未报告实验中攻击方 LLM 的名称、评测重复次数，以及温度、top-p、batch size 的具体数值（Appendix G、Appendix H）。

RedBench 是一个红队评测集：把 37 个已有数据集合并为 29,362 条，并用 22 个风险类别、19 个领域做统一双标签。

• 问题：作者认为现有红队数据的风险定义不一致、领域覆盖不齐，先前方法又较少比较 Qwen2.5、Llama 3.1、Gemma 2，因此难以系统评估现代 LLM。
• 做法：33 个数据集测攻击，4 个测拒绝（CoCoNot、ORBench、SGXTest/SGXSTest、XSTest）。Qwen2.5-72B-Instruct 分批标注，再经人工抽查。拒绝用 RR，由 GPT-4o 判定；攻击用 ASR，由 Llama-Guard-3-8B 判定。
• 构成：攻击提示中 Abusive Content 有 3,523 条，Confabulation 有 71 条（Table 1）。General Knowledge 的攻击样本为 8,581，Travel 为 102（Table 2）。300 条上，风险类别与人工的平均一致率为 84.68%，领域为 97.73%（Table 5）。
• HarmBench：Ministral-8B-Instruct-2410 的 RainbowPlus ASR 为 97.81%，Llama-3.1-8B-Instruct 为 96.25%；GPT-4.1-Nano 的 HumanJailbreak 为 0.00%，RainbowPlus 为 6.88%，GPT-4o-Mini 的 RainbowPlus 为 28.75%（Table 4）。Gemma-2-9B-It 的 HumanJailbreak 为 93.91%，高于其 RainbowPlus 的 42.50%。
• 拒绝：六模型平均 RR 最高为 Llama-3.1-8B-Instruct 的 28.53%，最低为 Gemma-2-9B-It 的 13.46%；GPT-4.1-Nano 在 ORBench 为 35.18%（Table 3）。
• 作者结论：作者称开源模型对对抗提示更易被攻破，尤其在 RainbowPlus 下，闭源模型抵抗更强；高拒绝率则带来可用性问题。作者同时认为现有基准在类别和领域上不均衡，攻击主结果集中于 HarmBench，后续需要补数据并扩大测试范围。