JailbreakBench：面向大语言模型越狱的开放鲁棒性基准
JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models
作者提出越狱评测基准 JailbreakBench，含 100 条行为数据集、攻击产物仓库与排行榜，并报告 Prompt with RS 在 GPT-4 上 ASR 78%。
- 越狱攻击可让 LLM 生成有害内容，但现有评测缺乏统一标准：成功判定方式不一、成本与成功率口径不可比、许多攻击提示词未公开导致结果不可复现。
- 作者构建 JailbreakBench：100 条有害行为加 100 条配对良性行为的 JBB-Behaviors 数据集、开源越狱产物仓库、标准化红队与防御评测管线，并用 300 条人工标注样本比较六个评审分类器后选定 Llama-3-70B。
- 在四个 LLM 上评测四种攻击与五种防御：Prompt with RS 平均最有效（Llama-2 上 ASR 90%、GPT-4 上 78%）；Erase-and-Check 与 Synonym Substitution 对迁移攻击的防御效果较好；Llama-3-70B 评审与人工一致率 90.7%。
- 作者指出基准不允许攻击者修改系统提示词或预填响应，且仅覆盖文本模态。实验覆盖四个目标模型；防御评测仅用非自适应的迁移攻击；未报告误差棒与总计算量。
- 威胁模型
- 攻击者目标：找到提示词 P 使 JUDGE(LLM(P), G)=True，即让目标 LLM 对有害目标 G 生成有害内容。提交时声明威胁模型为 black_box、white_box 或 transfer 之一；不允许修改系统提示词或预填响应；仅限文本模态。
- 被测模型
- Vicuna-13B-v1.5Llama-2-7B-chat-hfGPT-3.5 (GPT-3.5-Turbo-1106)GPT-4 (GPT-4-0125-Preview)
- 基准
- JBB-BehaviorsXS-Test
- 指标
- ASRAgreementFPRFNR平均查询数平均 token 数拒答率
宾夕法尼亚大学、ETH Zurich 等机构研究者发布 JailbreakBench，一个评测大语言模型越狱攻防的开放基准，包含 100 个有害行为及配套良性行为的 JBB-Behaviors 数据集、越狱提示词仓库、标准化评测框架和公开排行榜。作者基于三位专家标注的 300 个样本比较六种评判模型，选定与人工标注一致率 90.7% 的 Llama-3-70B 作为评判。在未加防御的模型上，提示词加随机搜索攻击在 Llama-2 和 GPT-4 上攻击成功率分别为 90% 和 78%，GCG 仅 3% 和 4%；Erase-and-Check 是测试中最稳固的基线防御，但会明显增加推理时间。论文称发布两个月内已被多项研究采用，包括 Google 的 Gemini 1.5 报告。
推荐理由此前越狱评测口径不一且难以复现，该基准提供统一的数据集、评判模型与排行榜，做安全评测的团队可直接对齐这套流程。
相关热点
7 个事件 · 19 条新闻提到
- 报道提到了 JailbreakBench
Mistral开放万亿参数模型Le Chonk权重
- 报道提到了 JailbreakBench
醉酒短信微调使GPT-4泄密率升至75%
- 报道提到了 JailbreakBench
探索用无监督方法恢复LLM中的拒答方向
- 报道提到了 JailbreakBench
研究揭示多智能体潜在通信削弱安全对齐
- 报道提到了 JailbreakBench
Anthropic评测GLM-5.3自主网络攻击能力
提到这篇论文的新闻
Mistral开放万亿参数模型Le Chonk权重
- 至顶网提到论文的名字Mistral 开源万亿参数模型 Large 4，称其可能助力真实网络攻击
据该公司介绍，在JailbreakBench、StrongREJECT和AgentHarm基准测试中与网络安全相关的部分，Large 4拒绝了96.6%的恶意提示，这是该公司在开放模型中测得的最高拒绝率。
- Mistral AI提到论文的名字Mistral Large 4（Le Chonk）开放权重：面向编程与防御安全
Average refusal on the cyber-related prompts of JailbreakBench, StrongREJECT and AgentHarm
醉酒短信微调使GPT-4泄密率升至75%
- TechTimes提到论文的名字无需恶意训练数据，醉酒短信微调即可削弱LLM安全性
The JailbreakBench results for GPT-4: a base model with standard safety tuning complied with harmful requests roughly 20 percent of the time.
再看 16 条
探索用无监督方法恢复LLM中的拒答方向
- LessWrong提到论文的名字探索用无监督方法恢复LLM中的拒答方向
We also amalgamate a held out harmful dataset from many of the same sources Arditi et al. procured its harmful dataset from, including AdvBench, JailbreakBench, HarmBench, and MaliciousInstruct.
研究揭示多智能体潜在通信削弱安全对齐
- 公众号 模安局提到论文的名字当智能体开始说自己的语言：潜在通信如何突破大模型的安全边界
随后，他们通过 HarmBench、StrongREJECT、JailbreakBench 和 AdvBench 四套安全评测，检查系统对有害请求的响应情况。
Anthropic评测GLM-5.3自主网络攻击能力
- Anthropic Red Teaming提到论文的名字Anthropic 评测 GLM-5.3：可自主构建端到端漏洞利用，护栏易被绕过
The edit took GLM-5.3’s refusal rate from above 90% to about 3% and 2% on the first two benchmarks (JailbreakBench and HarmBench) and to 12% on the third (StrongREJECT).
Meta AI与CMU等提出SimpleLoRIF过滤训练数据降低越狱率22%
- TechTimes提到论文的名字Meta AI 与 CMU 研究者用部署前训练数据过滤将 GCG 越狱攻击成功率最多降低 22%
Collect outputs from existing safety benchmarks (JailbreakBench and ALERT were used here) that the fine-tuned model generates in response to harmful prompts.
- Failure-First提到论文的名字攻击分类框架收敛：六个对抗 AI 框架在哪里一致
All four major public static benchmarks — AdvBench, HarmBench, JailbreakBench, StrongREJECT — are designed for single-turn dialogue safety evaluation.
- Failure-First提到论文的名字研究者猜出 PIN 码 1234，绕过 AI 防护重启机器人
Every public benchmark — AdvBench, HarmBench, JailbreakBench, StrongREJECT — tests whether the AI model produces harmful text when prompted.
- Failure-First引用了论文编号或链接安全基准为何结论不一：自有结果与公开榜单对比
Chao, P., et al. (2024). “JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models.” arXiv:2404.01318.
- Failure-First提到论文的名字Failure-First 更新 Threat Horizon 2027 预测至 v3：增至 9 项，4 项被实质修改
This finding undermines the evidentiary basis for all published model safety claims that rely on AdvBench, HarmBench, or JailbreakBench as primary evaluation instruments.
- Failure-First提到论文的名字情感操纵 AI 的伦理：当共情成为攻击向量
Standard adversarial benchmarks (HarmBench, AdvBench, StrongREJECT, JailbreakBench) are designed around cognitive attack vectors.
- Anthropic Alignment Science引用了论文编号或链接Anthropic 研究：自动化对齐研究者在小模型上缓解十类对齐失败
for Jailbreaking Large Language Models.” arXiv Preprint arXiv:2404.01318.
- 公众号 为机器立心提到论文的名字神经元被剪掉就会越狱大模型？Mask2Shield 为 LLM 加装安全防护盾
在HarmBench、AdvBench、JailbreakBench、StrongREJECT多套越狱数据集下，M2S依旧可以大幅压低攻击成功率。
- 0DIN提到论文的名字SusFactor：用真实威胁情报检测越狱与提示注入攻击
It achieves the highest pooled AUROC on JailbreakBench (0.954) among classifiers we evaluated and ranks competitively on WildGuardTest (0.878) against generative guards 10 to 15 times its size.
- 0DIN提到论文的名字Mozilla 0DIN 推出 0DIN AI Defense，首发 560M 参数 SusFactor 越狱检测模型
On the public JailbreakBench benchmark, SusFactor blocks all but 12.1% of attacks while holding a 9.0% false alarm rate, one of the lowest false alarm rates of any detector in our evaluation that
- Microsoft PyRIT 版本发布提到论文的名字Microsoft PyRIT v0.10.0 发布：重构攻击接口并推出 pyrit_scan 与 pyrit_shell
FEAT Add JailbreakBench/JBB-Behaviors dataset #1008 by ChirayuXD in https://github.com/Azure/PyRIT/pull/1045
Mistral 发布 Mistral Large 4 公开预览
- The Decoder提到论文的名字Mistral 发布万亿参数 Mistral Large 4，主打安全任务与欧洲主权
On malicious cyber prompts from JailbreakBench, StrongREJECT, and AgentHarm, ML4 refuses more often than any other open model.
- Mistral AI提到论文的名字Mistral 推出 Mistral Large 4 公开预览，权重月底发布
Despite strong performance on Cyber benchmarks, the average refusal rate of the model on cyber prompts from JailbreakBench, StrongREJECT, and AgentHarm is higher than all OSS models.
深度解读
这篇论文试图解决什么问题？
越狱评测缺乏统一标准、口径不可比且不可复现，作者提出开放基准 JailbreakBench。
核心问题：LLM 越狱攻击的评测缺乏标准、结果不可比且难以复现，需要一个开放、标准化的基准。
- 问题场景：作者指出，即使是对齐过的 LLM 也可被越狱攻击诱导生成有害内容；随着 LLM 部署到安全关键领域，衡量越狱攻击与防御的进展变得重要。
- 现有不足：作者认为当前评测有三点问题——没有明确的越狱评测标准实践；各工作计算成本与成功率的方式不可比；许多工作不公开对抗提示词、代码闭源或依赖会变化的专有 API，导致不可复现。
- 核心主张：基准设计围绕三个原则——通过开源越狱产物实现完全可复现；可扩展以纳入新攻击、防御与模型；评测管线易于获取（可纯云端运行、无需本地 GPU）。
- 论文产出：提出 JailbreakBench，包含越狱产物仓库、100 条行为的 JBB-Behaviors 数据集、标准化评测框架（含威胁模型、系统提示词、评分函数）以及跟踪攻击与防御表现的排行榜。
- 威胁模型（提交时声明，术语照抄论文）：
- 目标：找到提示词 P 使 JUDGE(LLM(P), G)=True，即让目标模型对有害目标 G 生成有害内容。
- 知识/能力：接受 white-box、black-box、universal、transfer 与 adaptive 攻击；提交需标注 "black_box"、"white_box" 或 "transfer"。
- 限制：当前不允许攻击者修改系统提示词或用特定字符串预填 LLM 响应；仅限文本模态。
- 受害系统：开源与闭源 LLM（Vicuna、Llama-2、GPT-3.5、GPT-4）。
有哪些相关研究？
相关工作分攻击、防御、评测方式与基准四类；作者将本文定位为支持自适应攻击与测试时防御的社区驱动基准。
越狱攻击
- 手工提示词：Mowshowitz (2022)、Albert (2023)、Wei et al. (2023) 早期手工精炼越狱提示词。
- 优化类攻击：Zou et al. (2023)、Geisler et al. (2024) 用一阶离散优化；Lapid et al. (2023)、Liu et al. (2023) 用遗传算法等零阶方法；Andriushchenko et al. (2024)、Sitawarin et al. (2024)、Hayase et al. (2024) 用随机搜索。
- 辅助 LLM 攻击：Yu et al. (2023) 精炼模板，Yong et al. (2023)、Deng et al. (2023) 翻译到低资源语言，Chao et al. (2023)、Mehrotra et al. (2023) 生成越狱，Shah et al. (2023)、Zeng et al. (2024)、Takemoto (2024) 改写有害请求。
越狱防御
- 训练类：RLHF（Ouyang et al., 2022）、DPO（Rafailov et al., 2024）、对抗训练（Mazeika et al., 2024）、在越狱字符串上微调（Hubinger et al., 2024）。
- 测试时防御：SmoothLLM（Robey et al., 2023；Ji et al., 2024）与困惑度过滤（Jain et al., 2023；Alon and Kamfonas, 2023）作为 LLM 外层包装检测越狱。
评测方式与基准
- 评审方式：跨度从人工标注（Wei et al., 2023）、规则分类器（Zou et al., 2023）、神经网络分类器（Huang et al., 2023；Mazeika et al., 2024）到 LLM-as-a-judge；Souly et al. (2024) 讨论了现有越狱评审的不足并提出更细的评分标准。
- 基准：PromptBench（Zhu et al., 2023）不针对越狱；DecodingTrust（Wang et al., 2023）与 TrustLLM（Sun et al., 2024）只评测静态模板；HarmBench（Mazeika et al., 2024）实现攻击与防御、覆盖版权与多模态主题；EasyJailbreak（Zhou et al., 2024）为同期工作，实现 11 种越狱方法；另有 TDC（Mazeika et al., 2023）等竞赛。作者指出许多现有数据集存在重复条目、不可完成的行为或未完全开源。
基线与基准/数据集：攻击基线为 GCG、PAIR、JB-Chat、Prompt with RS；防御基线为 SmoothLLM、Perplexity Filter、Erase-and-Check、Synonym Substitution、Remove Non-Dictionary；评测用作者构建的 JBB-Behaviors（100 条有害 + 100 条良性行为），评审选择用了 XS-Test 的 100 条良性样本。
定位：作者称与 HarmBench 不同，本文聚焦支持自适应攻击与测试时防御，标准化测试时防御的评测而不标准化攻击实现，并强调社区驱动、提供清晰的提交指南；JailbreakBench 不是竞赛，而是开放式的长期跟踪项目。
论文如何解决这个问题？
JailbreakBench 由行为数据集、产物仓库、红队与防御管线、选定评审和排行榜组成。
整体思路：以可复现、可扩展、可获取为原则，构建开源基准 JailbreakBench，统一越狱攻击与防御的评测口径。越狱任务形式化为：find P ∈ T⋆ subject to JUDGE(LLM(P), G) = True，即寻找提示词 P 使目标模型对有害目标 G 的生成被评审判为有害。
JBB-Behaviors 数据集
- 规模与构成：100 条有害行为，分属对应 OpenAI 使用政策的 10 个类别（每类 10 条，Table 4）；55% 为原创、18% 来自 AdvBench、27% 来自 TDC/HarmBench（Figure 3）。
- 字段：每行含 Behavior、Goal、Target、Category、Source 五个字段；作者保证每条行为唯一且可由文本生成实现。
- 良性行为：另建 100 条良性行为，每条与对应有害行为主题完全相同，用于评测模型与防御的拒答率，防止仅靠关键词拒答；作者指出其中部分行为属边界情况。
越狱产物仓库
- 内容：收录每次攻击或防御的提示词、响应与分类结果，附元数据（超参数、ASR、对目标模型的查询数）。
- 现状：当前收录 PAIR、GCG、JailbreakChat 与 Andriushchenko et al. (2024) 的越狱字符串；作者认为这些产物可作为对抗训练的初始数据集。
红队与防御管线
- 红队管线：标准化分词、采样与系统提示词；两行 Python 即可加载并查询模型，支持本地与云端 LLM。
- 防御管线：实现五种防御（SmoothLLM、Perplexity Filter、Erase-and-Check、Synonym Substitution、Remove Non-Dictionary），可与任意 LLM 组合；作者强调测试时防御的恰当评测应依赖自适应攻击，来自无防御模型的迁移攻击只能给出最坏情况 ASR 的下界。
评审选择
- 候选：六个分类器——规则评审（Zou et al., 2023）、GPT-4-0613、HarmBench 的 Llama-2-13B 评审、Llama Guard、Llama Guard 2、带自定义提示词的 Llama-3-70B。
- 流程：收集 200 条越狱提示词-响应对（100 条 PAIR、50 条 GCG、50 条 Prompt with RS，附录 C），加 XS-Test 的 100 条良性样本共 300 条；三名专家标注（一致率约 95%），取多数票为真值。
- 选择理由：Llama-3-70B 与 GPT-4 表现接近，但 GPT-4 闭源、查询贵且会变化；作者为可复现性选择开源权重的 Llama-3-70B，且其 FPR 较低、较保守。提交的攻击与防御不允许使用该评审以防过拟合。
评测框架与排行榜
- 框架：内置系统提示词与评审，支持 Vicuna-13B-v1.5、Llama-2-7B-chat-hf、GPT-3.5-Turbo-1106、GPT-4-0125-Preview；全部用贪心解码（temperature 0），默认每输入生成 150 个 token。
- 提交：攻击提交需声明威胁模型（black_box/white_box/transfer）与超参数，不限制后缀长度；对良性行为拒答率超过 90% 的防御或模型会被标记。
- 排行榜：网站基于 RobustBench 代码搭建，展示攻击与防御结果及对应产物链接。
论文做了哪些实验？
评审比较、四种攻击与五种防御在四个 LLM 上的评测、良性行为拒答率及按来源的分解。
实验设置
- 目标模型：Vicuna-13B-v1.5、Llama-2-7B-chat-hf（开源）；GPT-3.5-Turbo-1106、GPT-4-0125-Preview（闭源）。
- 数据集：JBB-Behaviors 的 100 条有害行为；拒答评测用 100 条良性行为；评审选择用 300 条样本（200 条越狱对 + 100 条 XS-Test 良性样本）。
- 攻击基线：GCG（batch size 512、500 步，闭源模型上迁移 Vicuna 后缀）、PAIR（Mixtral 为攻击模型，temperature 1、top-p 0.9、N=30 流、最大深度 K=3）、JB-Chat（AIM 模板）、Prompt with RS（self-transfer）。
- 防御基线：SmoothLLM（swap 扰动、N=10、q=10%）、Perplexity Filter（用 Llama-2-7B 算困惑度）、Erase-and-Check（擦除长度 20）、Synonym Substitution（5% 概率）、Remove Non-Dictionary；SmoothLLM 与 Erase-and-Check 用 Llama Guard 作内部评审。
- 指标与评审：ASR 以 Llama-3-70B 为评审；效率报告平均查询数与平均 token 数（迁移与手工攻击不报告；Prompt with RS 不计模板优化与预计算后缀的查询）。
- 重复与随机性：未报告误差棒；作者称贪心解码下评测基本确定，Together AI 与本地运行的差异至多 1–3 个百分点 ASR（附录 E）。
主结果
Table 2（攻击，ASR 按 Llama-3-70B 评审）与 Table 3（防御，迁移攻击 ASR）：
表格较宽，可左右滑动
攻击 Vicuna Llama-2 GPT-3.5 GPT-4 PAIR 69% 0% 71% 34% GCG 80% 3% 47% 4% JB-Chat 90% 0% 0% 0% Prompt with RS 89% 90% 93% 78% - 作者称 Prompt with RS 平均最有效，且查询效率高（Vicuna 平均 2 次、GPT-3.5 平均 3 次），归因于手工优化的模板与预计算初始化。
- 作者认为 GCG 的 ASR 低于此前报告值，主要因为 JBB-Behaviors 行为更难、评审更保守；JB-Chat 的 AIM 模板对 Llama-2 与 GPT 模型全部失败，作者认为可能已被 OpenAI 修补。
- 防御侧（Table 3）：Perplexity Filter 只对 GCG 有效；SmoothLLM 降低 GCG 与 PAIR 的 ASR，但对 JB-Chat 与 Prompt with RS 效果不好；作者称 Erase-and-Check 是最稳固的防御，但 Prompt with RS 在所有 LLM 上仍有非平凡 ASR（如 Vicuna 24%、GPT-4 10%）。
评审分类器比较
- 测了什么：六个候选评审在 300 条样本上与三名专家多数票的一致率、FPR、FNR（Table 1）。
- 结果：Llama-3-70B 一致率 90.7%（FPR 11.6%、FNR 5.5%），GPT-4 为 90.3%（FPR 10.0%、FNR 9.1%），Llama Guard 2 为 87.7%；HarmBench 78.3%（FPR 26.8%，作者观察到其在 XS-Test 良性样本上误报多）、Llama Guard 72.0%（FNR 60.9%）、规则评审 56.0%。
- 作者解读：Llama-3-70B 与 GPT-4 表现接近，因可复现性选择前者；其低 FPR 可能系统性压低各攻击的成功率，但有助于保持保守。
附加防御与拒答率
- 附加防御（Table 6）：作者称 Synonym Substitution 出人意料地有效，各预计算越狱的最高 ASR 仅 24%；Remove Non-Dictionary 改善有限（Prompt with RS 在 Vicuna 上仍有 91%）。
- 拒答率（Figure 2）：在 100 条良性行为上，Vicuna 无防御时拒答 9%，Llama-2 超过 60%；作者称所选超参数下各防御未大幅增加拒答率，并说明这只是 sanity check，不能替代 MMLU、MT-Bench 等效用评测。
其他消融与分析
- 按来源分解（Table 5）：攻击在三个来源上的 ASR 相对一致；原创行为上的 ASR 多偏低，作者认为可能源于类别内构成不均衡。
- 闭源模型时效性（附录 E）：GCG 对 GPT 模型的迁移攻击在 2024 年 6 月 5 日重测时 ASR 降至约 5%，作者认为可能因安全补丁。
- 运行方式差异（附录 E）：Together AI 与本地运行 Vicuna、Llama Guard 的 ASR 差异至多 1–3 个百分点。
- 负面结果：JB-Chat 在 Llama-2、GPT-3.5、GPT-4 上 ASR 均为 0%（Table 2）；PAIR 在 Llama-2 上为 0%。
有什么可以进一步探索的点？
作者列出威胁模型与模态限制及更新计划；实验覆盖四个模型、非自适应防御评测。
作者指出的局限与后续方向
- 攻击能力受限（§5 Limitations）：当前形式不允许攻击者修改系统提示词或用特定字符串预填 LLM 响应。
- 仅文本模态（§5 Limitations）：现代 LLM 常接受文本以外的模态，这些模态同样可被用于越狱，基准目前不提供该选项。
- 基准将持续更新（§5 Future plans）：作者计划随领域发展定期更新，可能包括扩充行为数据集、更严格地评测防御（尤其非保守性与效率）、更新评审分类器、定期重测闭源模型上的 ASR。
- 拒答评测只是 sanity check（§4 Refusal evaluation）：作者指出良性行为拒答评测不能替代 MMLU、MT-Bench 等更全面的效用评测。
- 迁移攻击只是下界（§3.4）：作者指出用来自无防御模型的迁移攻击评测防御只能给出最坏情况 ASR 的下界，更复杂的技术可能进一步提高 ASR。
- 评审可更新（§3.5）：作者称若出现持续更好的选择，愿意更新所选评审。
实验覆盖范围
- 被测目标模型共 4 个：Vicuna-13B-v1.5、Llama-2-7B-chat-hf、GPT-3.5-Turbo-1106、GPT-4-0125-Preview（§3.6）。
- 攻击基线 4 种、防御基线 5 种（正文评测 3 种，附录 D 补 2 种）；防御评测仅用来自无防御模型的迁移攻击，未做自适应攻击（§4、Table 3、Table 6）。
- 评审比较基于 300 条样本（200 条越狱对 + 100 条 XS-Test 良性样本），三名专家标注、一致率约 95%（§3.5、附录 C）。
- 拒答率评测仅在 Vicuna 与 Llama-2 上进行，每模型 100 条良性行为（Figure 2）。
- 论文未报告误差棒与重复次数，也未报告总计算量与所用资源类型（附录 G checklist）。
总结一下论文的主要内容
JailbreakBench 统一越狱评测：100 条行为数据集、产物仓库、Llama-3-70B 评审与排行榜。
JailbreakBench 是一个开放的 LLM 越狱鲁棒性基准，针对越狱评测缺乏标准、口径不可比、产物不公开导致不可复现的问题。
- 要解决的问题：越狱攻击可诱导对齐后的 LLM 生成有害内容，但各工作在成功判定、成本统计上做法不一，且许多攻击提示词未公开，难以比较与复现。
- 方法要点：构建 JBB-Behaviors 数据集（100 条有害行为分属 10 个 OpenAI 政策类别，55% 原创、18% 来自 AdvBench、27% 来自 TDC/HarmBench，另配 100 条同主题良性行为）；开源越狱产物仓库；标准化红队与防御管线；在 300 条人工标注样本上比较六个评审后选定 Llama-3-70B（一致率 90.7%）；提供排行榜。
- 攻击结果：在四个 LLM 上，Prompt with RS 平均最有效（Llama-2 上 ASR 90%、GPT-4 上 78%）；GCG 在 Llama-2 上仅 3%；JB-Chat 的 AIM 模板在 Llama-2 与 GPT 模型上为 0%。
- 防御结果：对迁移攻击，Erase-and-Check 表现最稳但 Prompt with RS 仍有非平凡 ASR；Synonym Substitution 将各预计算越狱的最高 ASR 压到 24%；Perplexity Filter 只对 GCG 有效。
- 作者结论：作者称即使近期的闭源无防御模型也对越狱高度脆弱，并希望借产物仓库与防御管线推动针对这些防御的自适应攻击研究；作者认为公开基准对社区利大于弊。
- 边界：基准不允许修改系统提示词或预填响应，仅覆盖文本模态；作者计划随领域发展持续更新数据集、防御评测与评审。
相关论文
共同使用 XS-Test