DIVA：针对离散扩散视觉语言模型的跨步条件传播视觉越狱

离散扩散视觉语言模型（dVLM）是否会被视觉越狱攻破，以及这种攻破是否来自扩散生成特有的跨步条件传播（cross-step conditional propagation）。

• 场景：作者称大型视觉语言模型已部署在安全关键场景，但现有视觉越狱几乎只研究自回归架构（ARM）。dVLM 如 LLaDA-V、MMaDA 用迭代掩码 token 去噪生成，视觉嵌入在每个反向去噪步都作为条件，而不是一次性视觉前缀。
• 现有方法的不足：作者称 ARM 上的视觉越狱把图像当作静态前缀，攻击效果主要取决于初始条件；这些方法没有针对多步去噪中的反复重注入来优化。纯文本扩散模型的越狱研究也没有覆盖多模态 dVLM。
• 核心观察：作者称有害视觉语义不是注入一次，而是沿生成轨迹被反复传播和放大。他们用阶段敏感性、提示级切换率和去噪分箱成对不一致来对比 dVLM 与 ARM，并用 bootstrap 重采样做统计确认。
• 威胁模型：
  • 目标：给定有害意图 u，在文本提示不那么显式恶意的情况下，诱导模型自由生成有害回复。
  • 知识：white-box，可访问 dVLM 参数与梯度，但不能修改模型权重；还使用训练式掩码包装以便控制时间步。
  • 能力：推理时在有界 ℓ∞ 像素约束下操纵视觉输入；把显式有害文本改写成视觉锚定的代理提示，并把被移除的语义放进复合图像。
  • 受害系统与判定：目标是 dVLM。目标回复 y⋆ 是短的肯定、非拒答前缀，不需要外部未审查模型。效果由独立安全评审对自由生成做事后判定。作者称该设定对应文本侧安全过滤可能开启的部署场景，并把 white-box 视为给出攻击效果上界的第一步。
• 本文提出：DIVA（Discrete-diffusion Vision-language model Attack），由跨模态意图混淆和扩散感知多时间步对抗优化组成，在三个 dVLM 上评测。

论文在第 2 节把相关工作分成两组，并在引言里对照自回归视觉条件。

视觉越狱与多模态安全基准

• HADES（Li et al., 2025b）与 VLSBench（Hu et al., 2025）：前者评测多模态模型对复杂对抗越狱提示的鲁棒性；后者提供诊断框架，考察视觉泄漏和安全对齐效果。
• PAD（Zhang et al., 2025b）：用优化构造对抗图像扰动以绕过文本侧安全过滤。FigStep（Gong et al., 2025）用排版视觉提示做越狱。Qi et al. (2023)、Shayegani et al. (2023) 以及 Liu et al. (2024c, 2025) 的基准被作者归入主要面向自回归模型的视觉越狱研究。
• 其他被引用的多模态安全工作：Gong et al. (2025)、Mazeika et al. (2024)、Jain et al. (2026)、Xia et al. (2025) 被用来说明视觉模态带来新的安全绕过面；Zhang et al. (2025a)、Xue et al. (2025)、Liu et al. (2024a)、Chen et al. (2025b) 被用来说明 ARM 会被把有害语义嵌进图像通道的视觉越狱攻破。

离散扩散视觉语言模型及其越狱

• LLaDA-V（You et al., 2025）、MMaDA（Yang et al., 2025）、LaViDa（Li et al., 2025a）：把离散扩散扩展到多模态。LLaDA-V 通过视觉指令微调做多模态任务；MMaDA 用迭代掩码 token 去噪；LaViDa 用离散扩散增强多模态理解。Nie et al. (2025)、Zhu et al. (2025)、You et al. (2026) 被引为双向上下文与并行解码的背景。
• DIJA（Wen et al., 2026）与 PAD：作者称它们开始识别扩散模型多步去噪中的越狱，但 Das et al. (2025)、Chen et al. (2025a)、He et al. (2026) 这类对扩散 LLM 的考察严格限于纯文本。
• 静态条件的 ARM：Gou et al. (2024)、Ghosal et al. (2025)、Noheria and Yao (2026) 被用来说明 ARM 中图像只编码一次，之后生成不再依赖视觉表示。

基线方法与基准

• 基线：未攻击的有害文本查询、纯文本提示、以及原为自回归 VLM 设计的 DIJA 与 PAD。机制对比还使用 LLaVA-1.5 作为 ARM。
• 基准：HADES（Animal、Financial、Privacy、Self-Harm、Violence）与 VLSBench。

作者把本文定位为面向 dVLM 的视觉越狱框架：ARM 把视觉输入当静态前缀，而 dVLM 的迭代去噪漏洞此前 largely unexplored；dVLM 对视觉越狱的易感性被作者称为 research gap。

DIVA 分两段：跨模态意图混淆把显式恶意从文本挪到视觉通道，扩散感知对抗优化学习一个在多种去噪状态下仍促使有害目标被恢复的有界扰动。

问题设定与形式化

• 生成过程：目标回复 y0 长度为 R。前向过程抽取掩码比例 t，每个 token 以概率 t 换成 [M]（式 1）。模型并行预测被掩码 token，条件是被破坏序列、文本提示 p 和图像 x（式 2）。推理从全掩码序列做反向去噪。
• 攻击图像：复合图像 xc 加扰动后裁剪到合法像素，且扰动满足无穷范数上界 ε（式 3）。目标前缀 y⋆ 按 Zou et al. (2023) 取短的肯定、非拒答前缀。
• 条件差异：作者称 ARM 中视觉编码成固定前缀，只在初始注入时起作用，称为 static conditioning。dVLM 中视觉嵌入 v(x̃) 在每一步重新进入转移（式 6），因此攻击要在多个掩码状态上优化，而不是针对单一输入配置。

跨模态意图混淆

• 文本改写：代理提示 p = g(u, xc)。g 把对有害主体、对象或动作的直接指称换成依赖图像的短语。作者称改写后仍保留足够上下文以触发多模态融合，并降低文本级可检测性。
• 视觉语义注入：xc = C(xtyp, xsem)。xtyp 是携带关键恶意线索的排版叠加，xsem 是语义对齐的有害参考图，C 做空间叠加或拼接。Figure 2 左侧概括这一流程。

扩散感知对抗优化

• 损失：每次迭代从 w(t) 抽 K 个时间步，对 y⋆ 做式 1 的前向掩码。每个时间步的损失是被掩码位置上对目标 token 的交叉熵（式 7）。LDIVA 是这 K 项的平均（式 8）。
• 时间步与梯度：w(t) 可在 [0, 1] 上均匀，也可偏向特定去噪区间，例如拒答相关 token 通常被解出的低掩码比例步。梯度穿过视觉编码器、多模态投影和双向扩散 Transformer；训练时掩码包装被绕过，使攻击者控制 tk 与掩码集合。
• 更新：用投影梯度下降，步长为 α，符号梯度，再投影回 ε 球，并用式 3 保证像素合法（式 10）。

类别级通用扰动与评测接口

• 共享扰动：不对每条查询单独求扰动，而在同一危害类别的指令集上联合最小化多时间步损失（式 11）。提示按轮转采样，损失跨迭代累积。作者称这提高类内可迁移性，并避免过拟合到单一措辞。
• 推理：用 (p, x̃) 查询目标 dVLM，x̃ 为复合图像加该类别扰动后的裁剪结果；生成过程本身不修改。成功不由是否命中 y⋆ 判定，而由独立安全评审看自由生成。
• 附录：附录给出改写与图像构造的完整提示词和示例；这里只保留模块的输入输出，不展开其中的具体约束。

实验设置

• 被测模型：三个 dVLM 为 LLaDA-V（连续 SigLIP 视觉特征）、MMaDA 与 LLaDA2.0-Uni（离散视觉 token）。机制对比另用 ARM LLaVA-1.5。MMaDA 的标准设置写为 MMaDA-8B。
• 基准：HADES 五类为 Animal、Financial、Privacy、Self-Harm、Violence。VLSBench 报告 ASR，以及 Safe-Refuse 与 Safe-Warning 分解；其提示分布未用于扰动优化。论文未在正文写明两基准的样本条数。
• 基线：未攻击模型（有害文本）、纯文本无对抗图像、DIJA、PAD。消融还比较仅 xc、随机 δ、空间打乱的 δ。
• 指标：HADES 用关键词匹配，以及 Beaver 奖励模型。VLSBench 中 Safe Rate、Safe Refuse、Safe Warning 越低表示攻击越成功，ASR（Unsafe Rate）越高越成功。机制指标为 SSI、提示级 switch rate、分箱成对不一致、early-only advantage。另用 StrongREJECT。
• 统计：HADES 上做配对精确 McNemar 检验，并给 bootstrap 95% 置信区间，完整结果在附录 E。优化侧：一张 H800 上，MMaDA-8B 标准设置为 300 步、K=4，每类约 3–4 分钟；在线只需加法与裁剪。扰动按目标模型和类别重新优化。

主结果

Table 1 为 HADES、Beaver 奖励模型下的 ASR（%）。摘要中的 58.8%、67.7%、69.1% 对应表中 58.80、67.73、69.07。

表格较宽，可左右滑动

模型	Animal	Financial	Privacy	Self-Harm	Violence	Average
LLaDA-V	53.33	60.00	45.33	34.67	76.67	54.00
LLaDA-V + DIJA	67.33	55.33	47.33	34.00	76.00	56.00
LLaDA-V + PAD	69.33	54.00	50.00	39.33	65.33	55.60
LLaDA-V + DIVA	61.33	66.00	39.33	50.00	77.33	58.80
MMaDA	32.00	32.00	30.67	18.67	40.67	30.80
MMaDA + DIJA	70.67	66.00	56.67	39.33	72.67	61.07
MMaDA + PAD	53.33	64.00	64.67	32.67	70.67	57.07
MMaDA + DIVA	70.67	71.33	72.00	45.33	79.33	67.73

LLaDA2.0-Uni 行未放入上表以免超过 8 行：未攻击 23.07，DIJA 49.87，PAD 53.73，DIVA 69.07。DIVA 在 Animal、Financial、Privacy 为 83.33、81.33、70.00；Self-Harm 36.00 高于 PAD 的 30.00，Violence 74.67 低于 PAD 的 76.67。

• 作者解读：三个目标上 DIVA 的平均 ASR 最高。LLaDA-V 比最强基线 DIJA 高 2.8 个百分点，Self-Harm 比 PAD 高 10.7 个百分点，Financial 高 6.0 个百分点；Animal、Privacy 低于 PAD 或 DIJA。MMaDA 比 DIJA 高 6.7 个百分点，Privacy 比 DIJA 高 15.3 个百分点。
• 显著性：DIVA 总体 HADES ASR 的 95% 区间，LLaDA-V 为 [55.20, 62.27]，MMaDA 为 [64.27, 71.07]。MMaDA 上 DIVA 相对基座、DIJA、PAD 均为 p < 10^-3。LLaDA-V 相对 DIJA、PAD 的总体比较不显著（p = 0.156 与 0.161），因为 Financial、Self-Harm 的增益被 Animal、Privacy 的下降抵消；这两类的类别级增益仍然显著。LLaDA2.0-Uni 上对 DIJA、PAD 的两比例检验为 p = 3.6×10^-14 与 p = 1.1×10^-9。
• 类别依赖：作者称 LLaDA-V 上的合计增益是类别特定的；MMaDA 与 LLaDA2.0-Uni 上较大增益在匹配比较下统计上稳健。结果表示跨目标的鲁棒性，不是同一扰动的直接迁移。

VLSBench

• 测了什么：Table 2，提示分布未参与优化。LLaDA2.0-Uni 未报告。
• 结果：LLaDA-V+DIVA 的 ASR 为 52.07%，Safe Rate 47.93%，Safe Refuse 0.00，Safe Warning 47.93%；PAD 为 51.06%，DIJA 为 50.36%，未攻击图像条件为 49.58%，纯文本为 50.47。MMaDA+DIVA 的 ASR 为 74.16%，高于 DIJA 73.05%、PAD 72.69%、未攻击 70.10% 和纯文本 72.07%；Safe Rate 为 25.84。
• 作者解读：作者称两套基准、两个模型族上的提升说明，利用跨步条件传播得到的扰动可以迁到未参与优化的多模态安全场景。

消融与机制

• 组件消融（Table 3，LLaDA-V，Beaver）：纯文本 32.93%；仅 xc 41.00%；xc 加随机 δ 44.53%；xc 加打乱 δ 52.67%；xc 加 DIVA δ 58.80%。作者称仅 xc 已把对抗语义转入视觉通道；打乱变体说明像素级统计有部分作用；完整扰动在 Financial 比仅 xc 高 17.3 个百分点，Self-Harm 高 31.3 个百分点。关键词匹配结果在附录 I，作者称与这一核心发现大体一致。
• 评审稳健性：用 StrongREJECT 再评 HADES。作者称 DIVA 在 LLaDA-V（49.47%）和 MMaDA（42.67%）上仍是总体最高方法，方向与 Beaver 一致；评审相关为正但中等，绝对 ASR 和部分类别排序依赖评审器。
• 跨架构（Table 4）：LLaDA-V 上 image-only ASR 80.80%，DIVA 88.53%，增益 +7.73 个百分点。LLaVA-1.5 上 image-only 96.00%，DIVA 89.87%，增益 −6.13 个百分点；作者称同一扰动在 ARM 上降低表现，因为对抗图像已使 ASR 达到 96.00%。SSI 为 12.00% [8.00, 19.33] 对 1.33% [0.00, 4.00]；switch rate 18.67% [12.67, 25.33] 对 2.67% [0.67, 5.33]；成对不一致 9.44% [6.44, 12.89] 对 1.33% [0.33, 2.67]；early-only advantage 10.67% [6.00, 16.00] 对 1.33% [0.00, 3.33]。作者称四项指标呈现 7–9 倍差距，Privacy 与 Self-Harm 的 switch rate 为 30.00% 与 23.33%，间隙 p<0.01 且上述三项的 bootstrap 区间不重叠。

其他消融与分析

• 定性（Figure 4、Figure 6）：作者称未攻击时模型拒绝有害文本；改写并加 δ 后给出分步有害完成，文末安全声明没有消除已经生成的有害内容。附录只说明这些示例覆盖 Privacy、Animal、Self-Harm。
• 扰动外观（Figure 5）：作者称放大 4 倍的 δ 呈密集、无连贯结构的像素噪声，幅度热图上能量大致均匀铺开，而不是集中在显著区域。可检测性分析在附录 B。
• 计算：类别扰动离线生成；套用已存扰动的在线开销被作者称为可忽略。附录 F 有更细测量，正文未给出其他步数或 K 的 ASR。
• 负面结果：LLaDA-V 上 DIVA 的 Animal（61.33）低于 PAD（69.33）和 DIJA（67.33），Privacy（39.33）低于未攻击（45.33）、DIJA（47.33）和 PAD（50.00）；LLaDA2.0-Uni 的 Violence 低于 PAD。LLaVA-1.5 上 DIVA 低于 image-only。

作者指出的局限与后续方向

• white-box 范围：需要参数、梯度和训练式掩码包装，不一定适用于只暴露 black-box 推理接口的商业 dVLM。作者把 black-box 与基于代理模型再跨模型评测的扩展明确留给未来工作（第 3.1 节；Limitations）。
• 评测范围：覆盖三个 dVLM 和 HADES、VLSBench 两个安全基准（Limitations）。
• 迁移：扰动按每个目标模型和类别重新优化，未改变的扰动做直接跨模型迁移仍未测试（Limitations；第 4.2 节）。
• 机制与评审：机制证据是行为层面，不是表示层因果证据；自动评审之间存在依赖类别的差异（Limitations）。
• 计算形态：类别扰动离线预计算。作者给出 MMaDA-8B、300 步、四个时间步、一张 H800 上每类约 3–4 分钟，套用只做逐元素加法与截断。针对单条查询的自适应变体需要多得多的计算，不在本文范围内（Limitations）。
• 双重用途：作者称技术可能被挪用于安全评测之外的伤害；作者计划不发布优化后的扰动或攻击脚本，并称已在投稿前向被评测模型的维护者报告（Limitations）。

实验覆盖范围

• 模型与基准：攻击主实验为 LLaDA-V、MMaDA、LLaDA2.0-Uni；VLSBench 表只含前两者。机制对比在相同条件下比较 LLaDA-V 与 LLaVA-1.5（Table 4）。
• 指标与检验：HADES 同时用 Beaver 奖励模型与关键词匹配；另用 StrongREJECT。统计为配对精确 McNemar、两比例检验和 bootstrap 95% 区间。
• 优化预算：正文报告的标准设置为 300 步、K=4，扰动按类别共享并按目标模型重算；论文未在主文报告每次攻击的在线查询次数。
• 消融对象：Table 3 在 LLaDA-V、Beaver 指标下比较纯文本、仅 xc、随机 δ、打乱 δ 与 DIVA δ。
• 防御：论文讨论的是攻击与阶段敏感性诊断，未把某一种防御作为实验条件。

DIVA 是面向多模态离散扩散视觉语言模型的 white-box 视觉越狱框架，针对视觉嵌入在每个反向去噪步都被重新注入这一生成方式。

• 问题：自回归 VLM 把图像编成一次性前缀，已有视觉越狱主要优化这一静态条件。dVLM 用掩码 token 迭代去噪，有害视觉语义可能沿轨迹被反复施加。作者把这种现象称为跨步条件传播，并用与 ARM 的行为对比作为依据。
• 方法：有害指令被改成依赖图像的代理提示，被拿掉的语义进入排版叠加与参考图合成的复合图像。随后在多个采样时间步上，对被掩码目标 token 的交叉熵做投影梯度下降，学习有界 ℓ∞ 扰动。同一危害类别共享一个扰动，推理时不改生成过程。成功由独立安全评审看自由生成，而不是只看是否说出短前缀。
• 结果：HADES、Beaver 指标下，LLaDA-V、MMaDA、LLaDA2.0-Uni 加 DIVA 的平均 ASR 为 58.80%、67.73%、69.07%，高于各自的 DIJA 与 PAD。LLaDA-V 相对这两条基线的总体差异不显著，Animal 与 Privacy 上有低于基线的类别。VLSBench 上 LLaDA-V 与 MMaDA 的 ASR 为 52.07% 与 74.16%。LLaDA-V 上 DIVA 比 image-only 高 7.73 个百分点，同一设置下 LLaVA-1.5 低 6.13 个百分点；四项阶段敏感性指标在 dVLM 一侧更高。
• 作者的结论：作者认为 dVLM 的视觉条件与 ARM 的静态前缀不同，多时间步优化可以利用这条通路，并在语义向评审下高于原为自回归模型设计的基线。作者同时认为 white-box、按模型重优化以及行为层证据限定了当前结论的适用范围，黑盒与迁移留作后续。