面具背后：扩散 LLM 的涌现安全漏洞

1. 01这篇论文试图解决什么问题？

   作者称 dLLM 的双向建模与并行解码使现有对齐失效，提出首个针对 dLLM 的系统性越狱研究。

   核心问题：扩散式大语言模型（dLLM）的双向上下文建模和并行解码机制，使现有安全对齐机制无法防御上下文感知的掩码输入攻击。

   • 问题场景：dLLM 支持在指令或生成内容中任意插入 mask token 做编辑、格式化生成和信息抽取（Figure 1），作者认为这一能力同时带来安全隐患。
   • 现有方法不足：作者称，现有越狱攻击与防御几乎都针对自回归 LLM 设计，dLLM 的越狱安全性 largely unexplored；为左到右模型设计的防御在 dLLM 上会失效。
   • 核心观察：双向建模迫使模型为掩码片段生成上下文一致的内容（即使有害），并行解码又使模型无法在生成中动态过滤或拒绝采样不安全内容。
   • 论文提出什么：DIJA——作者称其为首个针对 dLLM 的系统性研究与越狱攻击框架，把原始有害提示词自动改写成交错 mask-text 提示词；另提出初步的架构感知对齐策略 Refusal-Aware Denoising Alignment（附录 A）。
   • 威胁模型（附录 B.7）：
     • 目标：在对齐过的 dLLM 上诱导有害补全。
     • 知识与能力：假设能对 assistant 侧响应做 remasking 或编辑；开源模型可直接注入原始 mask token。
     • 闭源条件：闭源模型需提供商暴露编辑或 infilling API，否则禁用任意 mask 放置即可缓解。
     • 受害系统：公开可用的 dLLM（LLaDA、Dream、MMaDA 等家族）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分扩散语言模型、越狱攻击、防御三类；作者称 dLLM 越狱安全尚无人系统研究。

   扩散大语言模型

   • Masked Diffusion Models：Austin et al. (2021)、Lou et al. (2023)、Shi et al. (2024) 等通过迭代预测掩码 token 生成文本，成为自回归框架的替代路线。
   • LLaDA（Nie et al., 2025b）：8B 参数、从零训练的双向 Transformer 扩散语言模型。
   • Dream（Ye et al., 2025）：基于预训练自回归权重构建；论文称两者性能可与 LLaMA3 8B 等自回归模型相比。

   越狱攻击

   • 搜索/优化类：GCG（Zou et al., 2023）、AutoDAN（Liu et al., 2023）、PAIR（Chao et al., 2025）用优化或遗传算法生成对抗提示词。
   • 侧信道与推理利用类：低资源语言攻击（Deng et al., 2023）、场景嵌套（Ding et al., 2023）、提示词分解（Li et al., 2024）、ASCII 混淆（Jiang et al., 2024）。
   • 拟人化类：通过说服或认知过载诱导有害输出（Li et al., 2023; Zeng et al., 2024; Xu et al., 2023）。

   越狱防御

   • 四类防御：基于困惑度或外部分类器的过滤（Jain et al., 2023 等）；输入置换或改写（Robey et al., 2023）；提示词提醒（Xie et al., 2023）；基于优化的鲁棒提示词与安全对齐（Zhou et al., 2024; Xu et al., 2024 等）。
   • 论文指出的不足：这些方法主要为自回归 LLM 开发，dLLM 的越狱安全基本未被探索。

   基线与基准

   • 攻击基线：Zeroshot、GCG、AIM、PAIR、ReNeLLM；防御基线为 Self-reminder 和 RPO。
   • 基准：HarmBench、JailbreakBench、StrongREJECT。

   作者将本文定位为对 dLLM 安全问题的首次系统性研究，并称 DIJA 与自回归模型上的 prefilling 攻击概念相关，但利用 dLLM 的非自回归特性可操控响应中任意掩码片段（附录 B.7）。

   收起这一问

3. 03论文如何解决这个问题？

   DIJA 用辅助 LLM 把有害提示词改写成交错 mask-text 提示词，迫使 dLLM 在掩码处补全有害内容。

   整体思路：利用 dLLM 的双向上下文建模与并行解码两个特性，把原始有害提示词自动变换为DIJA 交错 mask-text 提示词——有害意图保留在未掩码的固定文本中，迫使模型在掩码位置生成上下文一致的有害内容。

   问题形式化

   • 给定有害提示词 a 和 Q 个连续掩码 m，构造 p_i = a ⊕ (m ⊗ w)，其中 ⊕ 为拼接、⊗ 为交错、w 为无害分隔文本；构造过程不遮盖或删除原始有害内容。
   • 输出分布分解为 P_ϕ(y|p_i) = ∏_{t ∈ M} P_ϕ(y_t|p_{i∖ t}) · ∏_{t ∉ M} δ(y_t = p_t)：未掩码 token 被固定，掩码 token 必须依据上下文生成，作者称这使模型难以拒绝。

   提示词构造（in-context learning）

   • 辅助模型：用 Qwen2.5-7B-Instruct（记为 DIJA）或 GPT-4o（记为 DIJA*）通过 few-shot in-context learning 自动生成交错提示词，模板见附录 C.5。
   • 提示词多样化：人工整理覆盖多种有害形式（步骤指南、问答、列表、对话等）和有害类别的示例，并加入风格扰动。
   • 掩码模式选择：Block-wise masking（整段掩码）、Fine-grained masking（选择性隐藏关键 token）、Progressive masking（跨多步递增掩码）三种策略。
   • 无害分隔文本插入：从短语池或受控生成得到，风格一致、语义中性、不超过 10 个词，用于保持流畅性并锚定上下文。

   攻击流程（Algorithm 1）

   1. 阶段一：初始化掩码序列，向辅助 LLM 提供 few-shot 示例和原始有害提示词，生成并精炼交错提示词。
   2. 阶段二：将精炼后的提示词输入受害 dLLM，掩码位置并行采样解码，非掩码位置强制保持原 token。

   成功判定与评测方式

   • ASR-k：响应中不含预定义拒答关键词即判成功（关键词清单见 Table 17）。
   • ASR-e：HarmBench 用微调的 HarmBench-Llama-2-13b-cls 评审，JailbreakBench 按其指南用 Meta-Llama-3-70B-Instruct 评审。
   • HS：GPT-4o 按 1–5 打分，HS=5 判为越狱成功；SRS：StrongREJECT 微调评审模型打分，从 [0,1] rescale 到 [0,100]。

   初步防御（附录 A）

   • Refusal-Aware Denoising Alignment：用约 10,000 条有害指令（5,000 条 WildGuard + 5,000 条 Circuit Breaker Dataset）经 DIJA 生成对抗提示词，配对标准化拒答，微调 LLaDA-8B-Instruct 学会对交错掩码结构输出拒答。

   收起这一问

4. 04论文做了哪些实验？

   在 4 个 dLLM、3 个基准上 DIJA 的 ASR-k 普遍最高，作者称其对两种防御保持有效。

   实验设置

   • 受害模型：LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-Instruct-7B、MMaDA-8B-MixCoT；附录 B.1 增加 DiffuCoder-7B-Instruct、DiffuCoder-7B-cpGRPO、Dream-Coder-v0-Instruct-7B 三个代码 dLLM。
   • 对比自回归模型：LLaMA-3.1-8B-Instruct、Qwen2.5-7B-Instruct（仅 Figure 3、8、9 的防御力对比）。
   • 基准：HarmBench、JailbreakBench（含 100 条违规行为）、StrongREJECT。
   • 基线：Zeroshot、GCG、AIM、PAIR、ReNeLLM；防御为 Self-reminder、RPO。
   • 指标与评审：ASR-k（关键词）、ASR-e（HarmBench 用 HarmBench-Llama-2-13b-cls，JailbreakBench 用 Meta-Llama-3-70B-Instruct）、HS（GPT-4o 评 1–5，HS=5 为成功）、SRS（StrongREJECT 微调评审）。
   • 超参数：gen_length=512、block_length=32、steps=32、temperature=0.2；稳定性实验做 3 次独立运行（附录 B.4）。

   主结果

   据 Table 1（HarmBench）、Table 2（JailbreakBench）、Table 3（StrongREJECT），DIJA*（GPT-4o 构造）各模型的 ASR-k / ASR-e / HS 或 SRS：

   表格较宽，可左右滑动

   受害模型	HarmBench ASR-k	HarmBench ASR-e	JBB ASR-k	JBB ASR-e	SR ASR-k	SR SRS
   LLaDA-Instruct	98.0	60.0	99.0	81.0	99.7	62.4
   LLaDA-1.5	99.3	58.8	100.0	82.0	99.4	63.3
   Dream-Instruct	99.0	60.5	100.0	88.0	99.7	52.2
   MMaDA-MixCoT	99.0	47.3	100.0	81.0	99.0	47.6

   • 作者称 DIJA 在三个基准的所有被测 dLLM 上 ASR-k 均为最高，部分模型达 100%；在 Dream-Instruct 上 ASR-e 比第二名 ReNeLLM 高 54%（HarmBench）、78.5%（JailbreakBench），SRS 高 37.7（StrongREJECT）。
   • 作者称 DIJA* 略优于 DIJA，归因于 GPT-4o 的 few-shot 与指令跟随能力更强。
   • 例外：HarmBench 上 ReNeLLM 对 LLaDA-Instruct 的 ASR-k 为 98.0，与 DIJA* 持平；StrongREJECT 上 DIJA（Qwen 版）对 LLaDA-Instruct 的 ASR-k 为 92.7，低于 ReNeLLM 的 93.3。

   对防御的鲁棒性

   • 测了什么：在 Self-reminder 和 RPO 两种防御下评测 DIJA（Figure 5，三个受害 dLLM × 三个基准）。
   • 结果：图中柱高显示加防御后 ASR-e/SRS 与无防御接近；作者称攻击效果无显著下降（图中具体数值未标注）。
   • 作者解读：DIJA 对这两种常用防御具有鲁棒性。

   初步对齐防御（附录 A）

   • 测了什么：用约 10,000 条对齐数据微调 LLaDA-8B-Instruct 得到 LLaDA-Instruct-Aligned，再跑 DIJA。
   • 结果：JailbreakBench 上 ASR-k 从 95.0 降至 19.0、ASR-e 从 81.0 降至 25.0；HarmBench ASR-e 从 55.5 降至 32.5；StrongREJECT SRS 从 60.8 降至 29.4（Table 4）。
   • 效用代价：GSM8K 从 78.5 到 78.9，MMLU 从 65.7 到 64.2，GPQA 从 32.4 到 27.5（Table 5）；作者称安全提升的效用代价 modest。

   掩码数量与生成长度分析

   • 生成长度：Figure 6 显示 LLaDA-1.5 在生成长度 256 时拒答、512 时产出有害内容；作者假设双向注意力使响应受允许生成长度影响。
   • 掩码 token 数量：Figure 7 显示掩码数为 10 时四个 dLLM 攻击效果有限，为 50 时 ASR、SRS、HS 往往下降；作者称过长生成会引入无关内容。

   其他消融与分析

   • w/o Refinement LLM（Table 11，LLaDA-8B-Instruct，HarmBench）：ASR-e 54.8%，与完整 DIJA 的 55.5% 接近。
   • w/o Masking：ASR-e 14.0%；w/o Separators：ASR-e 16.8%（Table 11）。
   • 掩码段数（Table 12，总预算 50 token）：1 段时 ASR-e 31.5%，3 段时 55.5%，10 段时降至 43.5%。
   • 代码 dLLM（Tables 6–8）：DIJA 对三个代码模型 ASR-k 均升至 94.3%–98.8%。
   • 稳定性（Table 10）：3 次运行 ASR 标准差 < 0.7%。
   • 人工验证（Table 18，n=100）：GPT-4o 与人工二分类一致率 93.0%–94.0%，Cohen's κ 0.86–0.88。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出多模态 dLLM、防御泛化与效用代价等方向；实验仅覆盖开源 dLLM 与两种防御。

   作者指出的局限与后续方向

   • 多模态与统一 dLLM：探索多模态和统一 dLLM 在图像视频生成、多模态理解任务中的安全性（附录 E）。
   • 防御泛化：评估 refusal-aware 对齐对未见或修改过的越狱模式的泛化与鲁棒性（附录 E）。
   • 效用代价量化：量化对齐在更多良性任务、尤其是涉及交错 mask-text 提示词任务上的效用下降（附录 E）。
   • 隐私与水印：dLLM 中的隐私风险与水印防御问题值得探索（附录 E）。
   • 闭源接口前提：作者指出对闭源模型，攻击需提供商暴露编辑或 infilling API，否则禁用任意 mask 放置即可缓解（附录 B.7）。

   实验覆盖范围

   • 被测受害模型为 7 个开源 dLLM（4 个通用、3 个代码模型），另有 2 个自回归模型仅用于防御力对比（Figure 3、8、9）。
   • 防御评测仅包括 Self-reminder 和 RPO 两种；论文说明未纳入困惑度防御，因为 dLLM 输入需拼接掩码 token 会导致困惑度人为升高（附录 C.4）。
   • 基准为 HarmBench、JailbreakBench、StrongREJECT 三个；稳定性分析做 3 次独立运行，其余实验论文未报告重复次数。
   • 人工验证样本量为 100 条响应（每个受害 dLLM 25 条），由 2 名评估者打分（附录 D.4）。
   • 论文未报告攻击的查询次数或迭代预算；对齐实验仅在 LLaDA-8B-Instruct 一个模型上进行（附录 A）。

   收起这一问

6. 06总结一下论文的主要内容

   DIJA 利用 dLLM 双向建模与并行解码实施越狱，作者称多基准 ASR-k 最高并给出初步防御。

   一篇针对扩散式大语言模型（dLLM）的越狱攻击论文，作者称其为对 dLLM 安全问题的首个系统性研究。

   • 问题：dLLM 的双向上下文建模迫使模型为掩码片段生成上下文一致的内容，并行解码又使其无法在生成中动态拒答；作者认为现有为自回归模型设计的对齐机制因此失效。
   • 方法：DIJA 用辅助 LLM（Qwen2.5-7B-Instruct 或 GPT-4o）经 in-context learning 把原始有害提示词改写成交错 mask-text 提示词，不改写、不隐藏有害内容，迫使模型在掩码处补全有害指令。
   • 主结果：在 LLaDA-8B-Instruct、LLaDA-1.5、Dream-Instruct、MMaDA-MixCoT 和 HarmBench、JailbreakBench、StrongREJECT 上，作者称 DIJA 的 ASR-k 在所有被测 dLLM 上均为最高，DIJA* 多组达 99%–100%（Tables 1–3）；Dream-Instruct 上 ASR-e 比 ReNeLLM 高 78.5%（JailbreakBench），SRS 高 37.7（StrongREJECT）。
   • 鲁棒性与消融：对 Self-reminder、RPO 两种防御仍有效（Figure 5）；去掉辅助 LLM 后 ASR-e 仍为 54.8%，作者据此认为漏洞源于交错掩码结构本身（Table 11）。
   • 初步防御：Refusal-Aware Denoising Alignment 用约 10,000 条数据微调 LLaDA-8B-Instruct，JailbreakBench 上 ASR-e 从 81.0 降至 25.0（Table 4），通用能力变化不大（Table 5）。
   • 作者结论：dLLM 并非不可对齐，但需要架构感知的定制对齐策略；作者呼吁社区重视这一被忽视的攻击面。

   收起这一问

相关论文