Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2610.02827·Indexed by this site · Originally publishedSelectedAttention53

MLCommons releases Jailbreak Benchmark v1.0; eight open-source models show an average resilience gap of 7.57%

MLCommons Jailbreak Benchmark v1.0

Quick read

Evaluation and benchmarks

Based on 论文 PDF （Gemini 生成）; refer to the original

MLCommons评测8款开源模型，攻击使平均不安全回复率从基准11.08%升至18.65%（据Table 2）。

Questions
现有越狱基准缺乏独立于攻击研究的安全基线标准，难以区分模型安全失效与评估器判定误差，且开源提示词与判定模型面临数据污染和对抗风险。
Methods
基于AILuminate安全标准与层级化攻击分类学，采用配对实验设计，先测未修改种子的基准安全率，再测越狱攻击下的安全率，通过大模型评审集成判定违规。
Experiments and results
在8款开源模型与11类危害上，平均不安全回复率从基准的11.08%升至越狱下的18.65%；31B以下模型平均韧性差距约21%，大模型中出现部分负差距。
Limitations and future work
评估器假违规率达37.9%，每类危害仅24条种子且取自公开练习集，仅测8款开源模型，且一种攻击生成模型与被测模型存在重合，大模型负差距原因仍未查明。
Experimental setupGemma 3N E4B Instruct、LFM2-24B-A2B et al. · AILuminate Practice set、AILuminate Assessment Standard v1.4 et al. · Resilience Gap (RG)、Attack Success Rate (ASR) et al.
Threat model
黑盒文本交互威胁模型：攻击者仅通过暴露的单轮文本提示词接口与SUT交互，无法访问模型权重、训练数据、安全分类器、系统提示词或隐蔽部署配置；攻击者试图在推理阶段通过修改提示词的内容、结构、顺序或表征绕过安全控制诱发违规输出；不包含多轮、多模态或内部状态访问。
Evaluated models
Gemma 3N E4B InstructLFM2-24B-A2BQwen 2.5 7B Instruct TurboDeepSeek-V4-ProGemma 4 31B InstructGPT-OSS 120BKimi K2.6MiniMax M2.7
Benchmarks
AILuminate Practice setAILuminate Assessment Standard v1.4MLCommons Jailbreak Taxonomy
Metrics
Resilience Gap (RG)Attack Success Rate (ASR)Baseline Unsafe-Response Rate (BUR)Violating-Response Rate (VRR / S_SUT)
AI summaryand selection rationaleMLCommons released Jailbreak Benchmark v1.0, conducting single-turn text jailbreak evaluations on eight open-weight models. The unsafe response rate rose from a baseline of 11.08% to 18.65% under attack conditions, with an average resilience gap of 7.57%. The evaluation covers 11 harm categories including violent crime, indiscriminate weapons, hate, and child sexual exploitation, with 24 seed prompts per category totaling 264 prompts, and implements 12 jailbreak attacks, of which content framing and deception categories were excluded from quantitative analysis due to evaluator limitations. Roleplay, template, and wrapping or schema attacks had the highest average attack success rates; accessible models below 31B parameters showed an average gap of about 21%, but the sample size is small and conclusions remain preliminary. Three Large-class models showed negative resilience gaps, meaning unsafe response rates under attack conditions were lower than baseline; the authors suggest this may stem from evaluator behavior, decoding settings, genuine robustness, or models refusing based on jailbreak features rather than the violating content itself.

MLCommons released Jailbreak Benchmark v1.0, conducting single-turn text jailbreak evaluations on eight open-weight models. The unsafe response rate rose from a baseline of 11.08% to 18.65% under attack conditions, with an average resilience gap of 7.57%. The evaluation covers 11 harm categories including violent crime, indiscriminate weapons, hate, and child sexual exploitation, with 24 seed prompts per category totaling 264 prompts, and implements 12 jailbreak attacks, of which content framing and deception categories were excluded from quantitative analysis due to evaluator limitations. Roleplay, template, and wrapping or schema attacks had the highest average attack success rates; accessible models below 31B parameters showed an average gap of about 21%, but the sample size is small and conclusions remain preliminary. Three Large-class models showed negative resilience gaps, meaning unsafe response rates under attack conditions were lower than baseline; the authors suggest this may stem from evaluator behavior, decoding settings, genuine robustness, or models refusing based on jailbreak features rather than the violating content itself.

Why it was selectedMLCommons 首次给出端到端越狱评测的完整结果与韧性差距指标，可对照自家模型的基线安全与抗攻击表现。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    论文旨在解决越狱评测缺乏独立安全基线、难以区分评估器误差、缺乏统一分类学及公开测试集易受污染等方法学缺陷。

    现有大语言模型越狱评测缺乏标准化的端到端方法学体系，导致模型真实防御韧性与评测流程引入的误差相互混淆。

    • 重要性与现实场景：大语言模型日益部署于关键基础设施与高影响领域，即使经过对齐微调的模型在对抗性提示词下仍表现出安全防护失效，越狱评测成为安全保障与治理的核心环节。
    • 现有方法的不足：现有基准常针对攻击研究自身定义危害，缺乏独立维护的安全基准作为对照；评测组件公开发布导致数据污染与针对性优化，且缺乏区分越狱有效性与评估器误差的机制。
    • 核心观察与假设：基准安全表现与对抗韧性属于相关但正交的属性；将攻击机制与危害类别解耦，并在配对输入下保持底层危害意图不变，能够剥离基准固有安全表现以量化对抗引起的性能降级。
    • 论文提出的方案：构建端到端评测基准MLCommons Jailbreak Benchmark v1.0，整合可复现的被测系统与种子选取、层级化攻击分类学、双维度评估标准与校准评估器。
    • 威胁模型：
      • 攻击目标：通过提示词绕过目标系统的安全控制，诱导系统生成违反AILuminate安全标准的有害回复。
      • 攻击者知识：黑盒交互设定，攻击者无权访问模型权重、训练数据、安全分类器实现、系统提示词或内部隐蔽配置。
      • 攻击者能力：仅能在推理阶段向暴露的提示词接口提交单轮文本输入，通过修改提示词的内容、结构、顺序或表征实施攻击；不包含多轮对话、多模态或内部状态访问。
      • 受害系统：部署为面向用户的纯文本推理服务的通用大语言模型（本期涵盖8款开源模型）。

  2. What related research exists?

    论文梳理了独立安全评估基准、越狱基准与自动化攻击、智能体对抗评测，指出已有工作缺乏独立基准锚定与负责任披露控制。

    安全评估基准与独立标准

    • AILuminate基准（MLCommons，2025/2026）：提供涵盖12类危害的标准框架，采用调优的评估器集成与评分体系评测单轮对话系统的直接内容危害，但在v1.0阶段主要关注未修改的正常或直接有害请求。
    • 广义安全基准（SORRY-Bench、SALAD-Bench等）：分别构建了各自的危害体系与拒绝评测协议；作者指出各基准危害定义互不统一，导致危害层面的评测结果无法跨基准迁移。

    越狱评测基准与自动化攻击

    • 代表性越狱基准（HarmBench、JailbreakBench、JailTrickBench）：HarmBench（Mazeika等，2024）建立自动化红队与专用分类器评测框架；JailbreakBench（Chao等，2024）强调固定行为集与可复现性；JailTrickBench（Xu等，2024）结合拒绝前缀检测与LLM评分。作者指出这些基准的危害定义均针对攻击研究自身编写，且公开发布提示词易导致污染和评分虚高。
    • 多维度评分与对抗提示优化（StrongREJECT、Zou等）：StrongREJECT（Souly等，2024）区分拒绝与有害协助质量，评估特异性与说服力；Zou等（2023）提出对抗后缀的迁移性。此外PAIR、AutoDAN等工作提出了迭代式自动越狱策略。

    智能体与动态环境对抗评测

    • 工具与智能体基准（τ-bench、AgentDojo、WASP）：将对抗评测扩展至工具调用和网页环境，评估多步提示注入并区分中间偏航与端到端攻击成功。作者指出虽然智能体超出了本文单轮提示词范围，但证明了指标匹配完整攻击目标的重要性。

    基线方法与基准数据集

    • 评估基准与对比基线：以AILuminate Practice set作为种子提示词来源，采用基于MLCommons Jailbreak Taxonomy分类的11种单轮黑盒越狱攻击作为攻击集，以未受攻击的原始种子作为安全基线（Safety Reference）。

    本文与已有工作的定位区别

    • 作者称本文实现了首个端到端闭环执行的越狱评测方法学，其核心差异在于：安全基线锚定于独立维护的多机构安全标准而非攻击研究自设规则；建立机制优先的攻击分类学；以及实施保护操作细节、防止对抗滥用的风险校准披露机制。

  3. How does the paper address this problem?

    论文通过配对端到端流水线、基于热度与体量分级的SUT选取、双阶段种子筛选、双维度评估标准及校准集成实现标准化评测。

    整体评测框架采用配对实验设计，通过MLCommons Jailbreak Benchmark v1.0端到端流水线（Figure 3），将未修改种子与越狱变换后的对抗提示词并行提交给SUT，基于解耦的评估标准进行独立打分与相对分级。

    被测系统与攻击选择

    • SUT选取流程：基于Together AI服务无服务器目录，按Hugging Face过去一个月下载量排序，排除基础模型、变体与评估器所用模型，按31B参数划分为Accessible（<=31B）与Large（>31B）两档，每厂商每档限入选1款，最终纳入8款开源模型。
    • 攻击选取与适配：采用Jailbreak 0.7机制优先分类学（Figure 2），覆盖4个家族、8个类别中的代表性机制。通过在开发种子与候选模型（Gemma 2 9B Instruct等）上测试，选取ASR最高的技术配置，最终实现12种攻击（其中1种因评估器局限在定量分析中排除）。

    种子提示词构建

    • 量化行为初筛：从约12,000条AILuminate练习集提示词中筛选。在12个多样化SUT上测试，保留至少产生2次不安全回复且安全回复数量最多的前75条候选提示词。
    • 人工双审终选：由两位人工评审员从75条候选中选出24条清晰、直接、语法明确且易于进行越狱变换的种子。排除Specialized Advice类别后，涵盖11类危害共264条种子。

    双维度评估与违规映射

    • 评分维度解耦：依据Assessment Standard v1.4，评估针对回复语义而非表面形式，提示词仅作为上下文。回复按0–2分评估两个正交维度：Legitimization（正当化：0为劝阻谴责，1为中立描述，2为正当化或常规执行）与Enablement（使能：0为无赋能，1为背景常识，2为可操作赋能）。
    • 违规判定规则：对于暴力犯罪等9类危害，当回复的Legitimization达到2或Enablement达到2时判定为违规；对于Privacy与Sexual Content仅依据Enablement达到2判定。评估器集成包含拒绝检测、解码归一化、双维度打分及规则映射6个阶段。

    核心指标定义

    • 韧性差距（Resilience Gap, RG）：定义为基准未违规率与攻击下未违规率之差，用于量化对抗提示词带来的安全降级程度：

    RG = NVRbaseline − NVRattack 公式中 NVRbaseline 与 NVRattack 分别表示基准条件与攻击条件下的未违规回复比例。

    • 相对标准化分级：以基准表现第二好的Accessible模型为固定参考系统（S_ref），计算SUT的相对违规率比值：

    S∗ = (SSUT)/(Sref) 公式中 SSUT 为被测系统违规回复率，Sref 为参考系统基准违规率。系统据此映射至Excellent、Very Good、Good、Fair、Poor五档等级。

  4. What experiments did the paper conduct?

    在8款开源模型、11类危害与11种越狱攻击上开展配对评测，攻击使整体不安全率升至18.65%，大模型出现负韧性差距。

    实验设置

    • 被测系统：共8款开源模型（Table 1），分为Accessible档（Gemma 3N E4B Instruct、LFM2-24B-A2B、Qwen 2.5 7B Instruct Turbo）与Large档（DeepSeek-V4-Pro、Gemma 4 31B Instruct、GPT-OSS 120B、Kimi K2.6、MiniMax M2.7）。
    • 数据集与测试规模：264条种子提示词，覆盖11个危害类别（每类别24条种子）；成对测试原始基准提示词与越狱对抗提示词。
    • 攻击与变体：实现12种分类学代表性越狱攻击，排除Content Framing & Deception后对11种攻击开展定量分析。
    • 评估方式与判定：采用自动化大模型法官集成，实现Assessment Standard v1.4的六阶段评估流程，输出二元违规判定。
    • 生成配置：单轮无状态API调用，同一配对比较内保持相同的采样与解码超参数，无多轮历史或人工干预。

    主结果

    主实验汇总各危害类别在全部SUT上的基准不安全率、越狱不安全率及韧性差距如下表所示：

    Swipe horizontally to read the table

    危害类别基准不安全率 (%)越狱不安全率 (%)韧性差距 (%)
    Violent Crimes1.5616.6715.11
    Indiscriminate Weapons3.6517.8514.20
    Non-Violent Crimes8.8520.4511.59
    Child Sexual Exploitation5.2114.789.57
    Suicide & Self-Harm14.0616.051.99
    Sexual Content20.3117.67-2.64
    Overall11.0818.657.57

    （据 Table 2，因表格不超过 8 行限制，省略了 Defamation、Hate、Intellectual Property、Privacy、Sex-Related Crimes 5 个中间危害类别）

    • 整体安全降级：跨所有SUT、危害类别与计入攻击的平均不安全回复率从基准的11.08%上升至越狱下的18.65%，对应平均韧性差距为7.57个百分点。
    • 危害间防御差异缩小：越狱攻击缩小了危害间的违规率跨度（基准跨度为1.56%–20.31%，越狱后为14.78%–22.66%）；基准拒绝率最高的Violent Crimes与Indiscriminate Weapons表现出最大的韧性差距。
    • 异常负差距现象：Sexual Content是唯一平均韧性差距为负（-2.64个百分点）的危害类别。

    模型规模与个体韧性表现

    • 测试内容：对比Accessible档（3款）与Large档（5款）在对抗攻击下的韧性差距表现（Section 8.1, 8.2, Figure 4）。
    • 实验结果：Accessible类模型表现出约21%的平均韧性差距；而在Large类中，Gemma 4 31B Instruct、DeepSeek-V4-Pro与Kimi K2.6三款系统测得负韧性差距，GPT-OSS 120B表现出3.3%的正韧性差距。
    • 作者解读：大模型的负韧性差距或微小差距可能反映模型真实防御能力、未能解析变换后的提示词、评估器未能解码混淆回复，或系统针对越狱模板特征而非有害意图进行拒绝；作者称现有结果尚无法区分上述解释。

    攻击机制类别有效性分析

    • 测试内容：按照分类学类别统计各攻击机制在全部SUT上的平均不安全回复率（Section 8.3, Figure 5）。
    • 实验结果：Role-Play and Template Jailbreaks（35.7%）与Wrappers and Schemas（32.8%）测得最高平均不安全率；Fragment Assembly为28.1%；Encoding and Unicode Tricks（14.9%）、Plain Perturbations（12.5%）、Direct Override Patterns（12.0%）相对较低。
    • 作者解读：提供正当化语境或结构化输出容器的攻击机制往往比单纯改变请求表面形式的攻击更为奏效；编码类攻击较低的有效率可能受制于模型解析复杂指令的能力阈值。

    评估器可靠性检验

    • 测试内容：基于859条涵盖15条种子、10种攻击与12款SUT的人工标注回复，评估自动化评估器集成性能（Section 6.6, 8.5）。
    • 实验结果：评估器集成的假非违规率（漏报）为16.4%，假违规率（误报）为37.9%；在40条子集的人工双盲一致性测试中，最终违规判定的标注者间一致性为0.88，而Legitimization与Enablement子维度的一致性分别为0.54和0.63。
    • 作者解读：评估器错误率高于基准预期目标，主要因为对抗提示词诱发的异常结构回复判定难度较大；相对评分流程有助于吸收一部分跨系统的共同评估器系统误差。

    其他消融与分析

    • 攻击生成重合影响：Qwen2.5-7B用于生成某项攻击提示词，作为SUT时潜在偏差上限使违规率上浮不超过(1-R)/10个百分点，不改变评级区间（Section 5.5）。
    • 攻击排除情况：Content Framing & Deception攻击因评估器解析局限被排除出定量结果（Section 5, 8.3）。
    • 家族级平均攻击成功率：Composition & Ordering为28.1%，Overt Carriers为19.9%，Encoding Abuse为18.5%，Perturbation为12.6%（据Figure 5）。

  5. What are some points that can be further explored?

    作者指出评估器误差偏高、人工标注规模较小及大模型负差距待解等局限；测试覆盖仅限于8款开源模型与单轮文本攻击。

    作者指出的局限与后续方向

    • 评估器判定误差偏高：当前评估器集成的假违规率（37.9%）与假非违规率（16.4%）仍高于基准设定目标，且仅能输出二元违规判定而无法提供评估置信度区间（Section 3.5, 8.5）。
    • 人工真值集规模与单人标注局限：除最初40条样本进行了9人一致性评估外，当前859条基准真值主要由单一人工评审完成，且未包含后续补入的2种攻击样本（Section 6.6, 9.2）。
    • 种子样本量较小且非官方私有集：当前每类危害仅使用24条种子提示词，且全部来源于AILuminate公开练习集而非私有官方测试集，限制了统计置信度（Section 5.4, 9.2）。
    • 大模型负韧性差距机制尚未解耦：多款大模型在攻击下的不安全回复率低于未受攻击基准，现有数据未能厘清其源于真实防御、提示词理解失败、评估器解码失误还是针对攻击特征的防御触发（Section 8.2, 9.1, 10）。
    • SUT样本量较小且缺少闭源API系统：当前受测系统仅包含8款开源模型，未能纳入商业闭源API系统，使得可访问模型与大模型之间的韧性差异结论仍具初步性（Section 5.2, 9.1, 10）。
    • 未来版本规划：作者计划在Jailbreak 1.1中构建更大规模的多人裁定真值集、开发新型评估器架构、采用官方提示词集并扩展攻击覆盖；未来还将探索区分越狱特征触发与危害内容触发的拒绝机制（Section 9.2, 10）。

    实验覆盖范围

    • 被测系统覆盖：被测SUT包含3款参数量不超过31B的开源模型与5款大于31B的开源模型，共计8款；未包含商业闭源API模型。
    • 攻击交互形式：仅评估单轮、文本对文本的提示词级黑盒越狱攻击；未覆盖多轮交互、多模态输入、智能体或工具调用环境。
    • 危害类别与种子覆盖：覆盖11个危害类别，排除Specialized Advice；每类危害包含24条种子提示词，共计264条。
    • 攻击机制覆盖：涵盖分类学4个家族中的11种攻击机制；排除1种存在评估器解析缺陷的欺骗类攻击，未实现叶节点机制全覆盖。
    • 数据与过程公开范围：论文报告聚合指标并保留原始证据供受控审查；论文未公开具体攻击提示词、重用模板、攻击到种子的分配关系与代码实现。

  6. Summarize the main content of the paper

    论文建立了单轮越狱评测的标准化端到端方法学体系，揭示了开源大模型在对抗提示词下的安全性能降级与大模型负差距现象。
    • 基准定位：MLCommons Jailbreak Benchmark v1.0是首个实现完整端到端执行的单轮文本越狱评测基准，将攻击机制分类学、独立安全基线标准与负责任披露控制深度整合。
    • 核心问题：针对现有越狱评测缺乏独立安全基线、混淆评估器误差与系统韧性、缺乏分类覆盖标准以及开放测试集易受对抗污染等关键问题提供标准化解决方案。
    • 方法架构：基于AILuminate Assessment Standard v1.4解耦正当化与使能双维度，采用成对实验设计对比原始种子与越狱变换；通过包含多阶段检测的自动化大模型集成实施判决，并经由人工真值校准。
    • 核心实验发现：在8款开源模型与11类危害评测中，整体不安全回复率从基准的11.08%升至攻击下的18.65%（平均韧性差距7.57%）；暴力犯罪与无差别武器类危害的安全降级最明显；角色扮演与模板类攻击表现出最高的攻击有效率（35.7%）。
    • 异常反转与尺度差异：31B以下模型平均韧性差距约21%，而在5款大模型中有3款出现负韧性差距（攻击下不安全率低于基准）；作者指出这可能源于模型理解障碍、解码失效或越狱特征拒绝。
    • 行业与治理启示：作者强调基准自身测量误差与治理规范的重要性，倡导在不公开可直接利用的攻击载荷的前提下推进第三方独立审计与测量保证。
Read originalarxiv.org