跳到正文
原文

有害回复即越狱模板:将自回归越狱迁移到扩散语言模型

Harmful Responses Are Jailbreak Templates: Transferring Autoregressive Jailbreaks to Diffusion Language Models

arXiv:越狱、提示注入、投毒与防御· arXiv:2610.31331· Jinwei Gan, Zifeng Cheng, Zhiwei Jiang, Ran Sun, Shiping Ge, Qing GuState Key Laboratory for Novel Software Technology, Nanjing University; Nanjing University of Posts and Telecommunications本站收录· 28 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 RMT-JAILBREAK,把 AR 越狱诱导出的有害回答遮蔽成模板攻击 dLLM,在 HarmBench 上 ASR 61.3–76.5%。

威胁模型攻击者持有有害查询,先用现成 AR 越狱方法从源 AR 模型诱导有害回答,将其遮蔽为模板后与原始查询拼接输入目标 dLLM,利用其双向去噪补全出有害内容;成功由 HarmBench 分类器、Llama-Guard-4 或 StrongReject 协议判定。

问题
扩散大语言模型(dLLM)的双向遮蔽生成带来了不同于 AR 模型的越狱面:为左到右生成设计的 AR 越狱提示词直接迁移到 dLLM 效果有限且不稳定,作者希望找到跨范式迁移 AR 越狱能力的方法。
方法
作者观察到有害回答本身就是有效的越狱模板,提出 RMT-JAILBREAK:用现成 AR 越狱方法诱导有害回答,按均匀间隔保留少量 token 形成高遮蔽率模板,再用辅助 LLM 遮蔽残留有害 token,最后由目标 dLLM 双向补全。
实验与结果
在 4 个 dLLM 和 HarmBench、JailbreakBench、StrongReject 上,RMT-JAILBREAK 的 ASR/SRS 在全部 12 个组合中最高(HarmBench ASR 61.3–76.5%);48 个攻击方法×源模型×目标×基准组合中均优于直接迁移;Self-reminder 防御不能可靠抑制。
局限与可以继续做的
论文未专门讨论局限。实验覆盖 4 个 dLLM、3 个基准、2 种 AR 攻击与 2 个源模型;防御仅评测 Self-reminder 一种;论文未报告各基准样本量与重复次数。
实验设置LLaDA-8B-Instruct、LLaDA-1.5 等 · HarmBench、JailbreakBench 等 · ASR、HS 等
被测模型
LLaDA-8B-InstructLLaDA-1.5Dream-v0-Instruct-7BMMaDA-8B-MixCoT
基准
HarmBenchJailbreakBenchStrongReject
指标
ASRHSSRS
AI 导读研究者提出 RMT-Jailbreak 框架,可将自回归模型上的越狱攻击迁移到扩散大语言模型(dLLM)。该方法利用给定查询的有害回复本身作为越狱模板,通过均匀保留部分 token 将其转为高掩码比例模板,并用基于提示词的安全过滤遮住剩余可见的有害内容,再交给目标 dLLM 进行双向重建。论文称,在多种自回归越狱方法和多个目标 dLLM 上的实验显示了该框架的有效性与通用性,也揭示出越狱攻击在不同生成范式之间具有较强的可迁移性。

研究者提出 RMT-Jailbreak 框架,可将自回归模型上的越狱攻击迁移到扩散大语言模型(dLLM)。该方法利用给定查询的有害回复本身作为越狱模板,通过均匀保留部分 token 将其转为高掩码比例模板,并用基于提示词的安全过滤遮住剩余可见的有害内容,再交给目标 dLLM 进行双向重建。论文称,在多种自回归越狱方法和多个目标 dLLM 上的实验显示了该框架的有效性与通用性,也揭示出越狱攻击在不同生成范式之间具有较强的可迁移性。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何把为 AR 模型设计的越狱攻击迁移到双向遮蔽生成的扩散语言模型(dLLM)上。

    核心问题:为自回归(AR)模型设计的越狱提示词难以直接迁移到扩散大语言模型(dLLM),如何跨范式迁移越狱能力。

    • 场景与重要性:dLLM 通过迭代去噪在部分遮蔽序列上生成,遮蔽位置可出现在任意位置并依赖双向上下文恢复,带来 infilling、改写等能力;作者认为这也带来了与 AR 模型不同的越狱攻击面。
    • 现有方法不足:作者称,AR 越狱方法(GCG、AutoDAN、PAIR、ReNeLLM)操纵输入提示词引导左到右生成,未考虑遮蔽去噪机制;专为 dLLM 设计的 DIJA 依赖人工设计的交错遮蔽模板,生成的提示词多为通用攻击脚手架,查询特异性有限。
    • 核心观察:作者发现有害回答本身就是有效的越狱模板——仅遮蔽其中部分 token 即可诱导 dLLM 重建有害内容;在 LLaDA-8B-Instruct、HarmBench 上,遮蔽率 0.3–0.9 时 ASR 为 85.50–97.75%(Table 1)。
    • 论文方案:提出 RMT-JAILBREAK,将 AR 越狱诱导的有害回答经均匀遮蔽和安全过滤转成模板,与原始查询拼接后交给目标 dLLM 双向补全,无需针对 dLLM 做提示词优化。
    • 威胁模型:
      • 目标:让目标 dLLM 对有害查询生成有害回答。
      • 知识与能力:攻击者可使用现成的 AR 越狱方法和源 AR 模型诱导有害回答,并调用一个辅助 LLM 做安全过滤;论文未明确说明对目标 dLLM 的访问方式(黑盒/白盒)。
      • 受害系统:采用遮蔽/扩散式生成的 dLLM(LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-Instruct-7B、MMaDA-8B-MixCoT)。
      • 成功判定:HarmBench 分类器、Llama-Guard-4 判定的 ASR,以及 StrongReject 协议的 SRS。
  2. 有哪些相关研究?

    相关工作分扩散语言模型、AR 越狱、dLLM 越狱三组,本文定位是连接 AR 越狱与 dLLM 补全。

    扩散大语言模型

    • 遮蔽扩散模型:Austin et al. (2021)、Hoogeboom et al. (2021)、Campbell et al. (2022)、Lou et al. (2024)、Shi et al. (2024) 把扩散模型扩展到离散文本,通过迭代预测遮蔽 token 生成。
    • 近期 dLLM:LLaDA (Nie et al., 2025)、Dream (Ye et al., 2025)、LLaDA-1.5 (Zhu et al., 2026)、MMaDA (Yang et al., 2025) 表明扩散语言建模可媲美自回归建模;作者指出其双向建模与并行解码也带来不同于 AR 的安全行为,需要针对架构的安全分析。

    AR 模型越狱

    • 优化类:GCG (Zou et al., 2023) 搜索对抗后缀诱导有害补全;AutoDAN (Liu et al., 2024) 用自动提示词优化生成隐蔽越狱提示词。
    • 黑盒与改写类:PAIR (Chao et al., 2025) 把越狱生成形式化为迭代黑盒攻击;ReNeLLM (Ding et al., 2024) 构造嵌套或改写提示词绕过安全对齐;RA (Miao et al., 2026) 利用上下文启动(contextual priming)越狱。作者称这些方法为左到右生成设计,未考虑 dLLM 的遮蔽去噪。

    dLLM 越狱

    • DIJA (Wen et al., 2025):针对 dLLM 人工设计交错遮蔽-文本模板,利用上下文学习把有害提示词改写为新越狱提示词。作者批评其依赖人工模板、生成提示词多为通用攻击脚手架,查询特异性有限。

    基线与基准

    • 基线方法:Zeroshot、GCG、AutoDAN、AIM (Wei et al., 2023)、PAIR、ReNeLLM,以及 dLLM 专用的 DIJA;泛化实验另用 RA 和 AutoDAN 作为响应来源攻击。
    • 基准:HarmBench (Mazeika et al., 2024)、JailbreakBench (Chao et al., 2024)、StrongReject (Souly et al., 2024)。

    作者将本文定位为:把 AR 越狱诱导的回答转成均匀遮蔽模板,从而连接 AR 越狱与 dLLM 补全,并研究遮蔽位置分布对越狱效果的影响。

  3. 论文如何解决这个问题?

    RMT-JAILBREAK 三阶段:AR 诱导有害回答→均匀遮蔽加安全过滤成模板→目标 dLLM 双向补全。

    整体思路:RMT-JAILBREAK 不直接迁移 AR 越狱提示词,而是迁移它诱导出的有害回答——把回答遮蔽成高遮蔽率模板,让目标 dLLM 通过原生双向补全重建有害内容(Figure 1,Algorithm 1)。

    源 AR 诱导

    • 流程:给定有害查询 q,用现有 AR 越狱方法 A 作用于源 AR 模型 MAR,得到有害回答 r,记作 r = JA(MAR, q)。
    • 关键设计:该阶段只取回答 r,不取诱导它的攻击输入;框架不假设特定 AR 越狱策略,优化类、提示词类、改写类方法均可接入。

    遮蔽模板迁移

    • 均匀遮蔽:给定遮蔽率 ρ,保留间隔 d = ⌊ 1/(1−ρ) ⌉;随机采样初始偏移 o ∼ Uniform{1,...,d},之后按间隔 d 固定保留位置,其余替换为 <mask>。作者称这样在整个回答上保留稀疏、分布式的上下文线索,随机性只来自初始偏移。
    • 安全过滤:均匀遮蔽后仍可能有显式有害 token 可见;用辅助 LLM 按预定义过滤提示词 P 把这些 token 替换为 <mask>,即 r̂ = LLM(P; q, r̄),只新增遮蔽、不改写不重排不解除已有遮蔽,保留模板结构。附录 A(Figure 5)给出了完整的 remasking 提示词。

    目标 dLLM 越狱

    • 攻击输入:把原始查询 q 与过滤后模板 r̂ 拼接为 x = [q; r̂],输入目标 dLLM。
    • 生成:目标 dLLM 通过遮蔽扩散解码补全模板,输出 y = dLLM(x)。

    关键参数与实现

    • 默认设置:除非另有说明,用 AutoDAN 从 Mistral-7B-Instruct-v0.2 获取源回答,遮蔽率 ρ = 0.8(作者称为与 DIJA 的遮蔽率大致匹配);安全过滤用 Qwen3-8B。
    • 硬件:全部实验在 NVIDIA RTX A6000 GPU 上进行。
    • 成功判定:HarmBench 用其分类器判 ASR;JailbreakBench 用 Llama-Guard-4 判 ASR;StrongReject 按其协议算数据集级 SRS;另用 GPT-4o 评有害性分数 HS。
  4. 论文做了哪些实验?

    4 个 dLLM × 3 个基准上 RMT-JAILBREAK 的 ASR/SRS 均为最高,48 个泛化组合全部优于直接迁移。

    实验设置

    • 目标模型:LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-Instruct-7B、MMaDA-8B-MixCoT 四个 dLLM。
    • 基准:HarmBench、JailbreakBench、StrongReject;论文未报告各基准所用样本量。
    • 基线:Zeroshot、GCG、AutoDAN、AIM、PAIR、ReNeLLM、dLLM 专用的 DIJA。
    • 指标与评审:HarmBench 用 HarmBench 分类器评 ASR;JailbreakBench 用 Llama-Guard-4 评 ASR;StrongReject 评 SRS(从 [0,1] rescale 到 [0,100]);HS 由 GPT-4o 评估有害性与相关性。
    • 默认配置:AutoDAN + Mistral-7B-Instruct-v0.2 诱导回答,ρ = 0.8,Qwen3-8B 过滤;论文未报告重复次数。

    主结果

    据 Table 2、3、4,RMT-Jailbreak 在三个基准四个模型上的主指标(ASR 或 SRS)均为最高:

    表格较宽,可左右滑动

    模型HarmBench ASRJailbreakBench ASRStrongReject SRS
    LLaDA-Instruct76.080.068.8
    LLaDA-1.576.581.070.4
    Dream-Instruct76.584.066.1
    MMaDA-MixCoT61.377.056.7
    • 对比 DIJA:DIJA 对应数字为 HarmBench 60.0/58.8/60.5/47.3,JailbreakBench 70.0/69.0/74.0/72.0,StrongReject 62.4/63.3/52.2/47.6;作者称 RMT-JAILBREAK 在全部 12 个模型×基准组合上最高。
    • 直接迁移 AR 攻击效果有限:如 Dream-Instruct 上 GCG/AutoDAN/PAIR 的 HarmBench ASR 仅 6.7/6.5/1.5(Table 2);作者认为为左到右生成设计的提示词不能有效迁移到遮蔽生成。
    • HS 未同步升高:作者指出 ASR/SRS 提升不伴随 HS 一致升高,认为收益主要体现在更可靠的越狱成功而非更极端的输出。

    跨攻击方法与源模型的泛化

    • 设置:Table 5、6、7 用 RA 和 AutoDAN 两种攻击、Mistral-7B-Instruct-v0.2 与 vicuna-7b-v1.5 两个源模型,对比 Direct(直接施加 AR 攻击)与 +RMT。
    • 结果:作者称全部 48 个组合中 +RMT 均优于 Direct;如 JailbreakBench 上 MMaDA-MixCoT,AutoDAN Direct ASR 1.0,经 vicuna-7b-v1.5 诱导 +RMT 升至 85.0(Table 6);HarmBench 上 AutoDAN+Mistral +RMT 对 Dream-Instruct 提升 70.0 个百分点(Table 5)。
    • 作者解读:迁移流程不受限于单一 AR 攻击、单一源模型或单一目标 dLLM,且在三种评测协议下都成立。

    对防御的鲁棒性

    • 测了什么:Figure 3 评测提示词级防御 Self-reminder 对三个受害模型(LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-Instruct-7B)在三个基准上的影响。
    • 结果:HarmBench 上 ASR 降至 69.5%–72.0%;JailbreakBench 上三个模型的 ASR 反而都上升;StrongReject 上无下降。
    • 作者解读:Self-reminder 在部分设置下改变攻击效果,但不能可靠阻止攻击;作者认为增加的安全提醒不足以打断 RMT-JAILBREAK 利用的遮蔽补全过程。

    遮蔽策略分析

    • 遮蔽率:Figure 4 显示遮蔽率升高总体降低攻击效果;均匀遮蔽下 0.7→0.8 降幅小,0.8→0.9 降幅大(非线性)。Table 8 显示 RMT 实际遮蔽率(80.28/79.96/80.91)高于 DIJA(78.93/74.21/72.74),作者据此认为收益来自提示词构造而非遮蔽率差异。
    • 遮蔽模式:Figure 4 中同一遮蔽率下均匀遮蔽在所有对比中优于连续遮蔽;ρ = 0.8 时均匀遮蔽在 HarmBench 高 58.3 ASR 点、JailbreakBench 高 18.0 ASR 点、StrongReject 高 60.4 SRS 点。作者认为可见 token 的分布方式(而非数量)是关键。

    其他消融与分析

    • 模板案例:Figure 2 对比同一查询下 DIJA 与 RMT-JAILBREAK 模板,作者称 DIJA 主要提供通用格式脚手架,RMT 保留了分布式的查询相关 token。
    • dLLM 防御力:附录 B(Figure 6)显示直接迁移的 AR 攻击在多数设置下 ASR 低,Dream-Instruct 上三种迁移攻击基本无效;但 MMaDA-MixCoT 零样本 ASR 偏高,作者称这种防御力不均匀也不绝对。
    • 负面结果:AutoDAN 的 HS 在三个基准中均未报告(Table 2、3、4 中为“–”);JailbreakBench 上 AIM 的 ASR 未报告。
  5. 有什么可以进一步探索的点?

    论文未专门讨论局限;实验覆盖 4 个 dLLM、3 个基准,防御仅测 Self-reminder。

    作者指出的局限与后续方向

    论文未专门讨论局限,也没有 Limitations 或 Future Work 小节;Conclusion 仅总结方法有效性,未列出后续方向。

    实验覆盖范围

    • 被测模型:4 个 dLLM——LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-Instruct-7B、MMaDA-8B-MixCoT(第 4.1 节)。
    • 基准与评审:HarmBench(HarmBench 分类器)、JailbreakBench(Llama-Guard-4)、StrongReject(SRS 协议),HS 由 GPT-4o 评估(第 4.1 节)。
    • 攻击与源模型:泛化实验覆盖 RA、AutoDAN 两种 AR 攻击和 Mistral-7B-Instruct-v0.2、vicuna-7b-v1.5 两个源模型,共 48 个组合(第 4.3 节)。
    • 防御评测:仅评测 Self-reminder 一种提示词级防御,且只在 3 个受害模型上进行(第 4.5 节,Figure 3)。
    • 未报告信息:论文未报告各基准所用样本量、实验重复次数,也未说明对目标 dLLM 的访问方式(黑盒或白盒)。
  6. 总结一下论文的主要内容

    作者称有害回答本身就是 dLLM 的越狱模板,据此构建的 RMT-JAILBREAK 在 12 个组合上 ASR/SRS 最高。

    一篇针对扩散大语言模型(dLLM)的越狱攻击论文,核心是把 AR 越狱能力跨范式迁移到遮蔽生成模型上。

    • 问题:AR 越狱提示词为左到右生成设计,直接用于 dLLM 效果有限且不稳定;dLLM 专用的 DIJA 依赖人工模板、查询特异性有限。
    • 观察:作者发现有害回答天然就是越狱模板——LLaDA-8B-Instruct 上仅遮蔽部分 token,遮蔽率 0.3–0.9 时 ASR 达 85.50–97.75%(Table 1)。
    • 方法:RMT-JAILBREAK 先用现成 AR 越狱诱导有害回答,按均匀间隔保留稀疏 token 形成高遮蔽率模板,再用 Qwen3-8B 遮蔽残留有害 token,最后由目标 dLLM 双向补全。
    • 主结果:在 4 个 dLLM × 3 个基准上,RMT-JAILBREAK 的 ASR/SRS 全部为最高:HarmBench ASR 61.3–76.5%,JailbreakBench 77.0–84.0%,StrongReject SRS 56.7–70.4(Table 2、3、4)。
    • 泛化与鲁棒性:48 个攻击×源模型×目标×基准组合中均优于直接迁移(Table 5、6、7);Self-reminder 防御下 HarmBench ASR 仍为 69.5%–72.0%,JailbreakBench 上反而上升(Figure 3)。
    • 作者结论:迁移诱导出的有害回答(而非原始越狱提示词)是攻击 dLLM 更有效的接口;均匀分布的可见 token 为遮蔽补全提供了关键的上下文约束,暴露了双向生成的安全风险。

相关论文

共同使用 StrongReject
再看 3 篇
共同使用 StrongReject
阅读原文arxiv.org