SceneJail：利用视频场景上下文越狱多模态大模型

这篇论文试图解决视频多模态大语言模型（Video-MLLM）在面对视频情境上下文操纵时的越狱安全脆弱性问题。

• 场景与重要性：作者指出，Video-MLLM 能够对包含动态视觉与时序线索的内容进行推理，但引入视觉模态也带来了多模态越狱风险；攻击者可通过视觉通道绕过安全防护，诱导模型输出违规内容。
• 现有方法的不足：作者称，现有视频越狱方法主要继承图像多模态攻击范式，关注恶意查询自身的视觉呈现方式（如排版文字或跨帧分布），将视频仅作为承载文本的载体，未探索周围视频情境作为独立攻击面的作用。
• 核心观察：作者发现，相同的恶意查询置于不同视频情境中会触发不同的安全响应；Video-MLLM 倾向于将画面中的可见查询理解为视频所蕴含任务的一部分，而非孤立评估其合规性。
• 威胁模型：
  • 攻击目标：在不修改原始恶意查询文本内容的前提下，绕过目标 Video-MLLM 的安全对齐机制，诱导其生成违规有害响应。
  • 知识范围：黑盒设定，攻击者无法访问模型的参数、梯度、隐藏状态、内部安全评分或训练数据。
  • 攻击能力：攻击者控制视频与伴随文本提示词输入，使用外部生成模型构建视频情境并搜索提示词，受限于有限的查询预算。
  • 受害系统：已部署的商用闭源或开源 Video-MLLM 系统。
• 论文方案：作者提出了黑盒越狱框架 SceneJail，通过自适应情境构建与情境感知提示词搜索两个组件，协同利用视频情境上下文实现越狱。

论文围绕多模态模型发展、多模态越狱及视频越狱三类相关工作展开讨论，并与既有攻击基线进行了对比。

• 多模态大语言模型（MLLM）：早期的 LLaVA（2023）、Qwen-VL（2023）与 InternVL（2024）等工作主要针对静态图像进行视觉问答与指令微调；近期模型如 Video-LLaMA（2024）、Video-LLaVA（2024）、LLaVA-OneVision（2024）、Qwen2.5-VL（2025）、Qwen3-VL（2025）和 InternVL3.5（2025）进一步扩展了对动态时序信息的理解与推理能力。
• 多模态越狱攻击：现有方法分为基于扰动的攻击与基于语义/结构的攻击两类。基于对抗扰动的方法如 VisualADV（2024）、BAP（2025）和 JIP（2024）依赖梯度优化或跨模态结合，作者称其难以迁移到闭源系统；基于语义结构的方法如 HADES（2024）构建视觉上下文以隐蔽或放大恶意意图，FigStep（2025）则将违规指令转换为排版视觉文字。
• 基于视频的多模态越狱：近期研究开始向视频模态延伸，VideoJail（2025）利用视频输入与跨模态信息组合，SPTV（2026）与 MCV（2026）则分别探索了时序呈现与多视频片段组合带来的安全漏洞。
• 基线方法与基准：论文实验选取的基线涵盖排版图像攻击 FigStep-I、其视频输入扩展版本 FigStep-V，以及视频专用攻击 VideoJail、SPTV 和 MCV（使用 4 个片段）；评测基准采用包含 5 个类别的 HADES 和包含 10 个类别的 SafeBench。
• 与本文的区别定位：作者指出，既有工作主要操纵恶意查询本身的视觉编码形式或跨帧跨片段的时序排布方式；SceneJail 保持恶意查询文本内容不变，转而操纵容纳查询的周围视频情境，揭示了视频情境上下文这一独立的攻击面。

作者提出了黑盒越狱框架 SceneJail，在保持原始有害查询文本内容不变的前提下，通过自适应情境构建与情境感知提示词搜索两个协同组件，以嵌套黑盒循环方式寻找有效攻击组合。

核心目标与架构

SceneJail 旨在为有害查询 q 寻找有效的情境提示词 T 与伴随文本提示词 P。 S(q, f(V^ρ(T, q), P)) = 1 该式表示攻击成功条件，其中 f 为目标模型，V^\rho(T, q) 表示在展示模式 \rho（包括全展示 full 与分帧展示 split）下合成的攻击视频，S(q, y) 为二值攻击成功评判准则。

自适应情境构建

自适应情境构建（Adaptive Scenario Construction）负责寻找或构造与恶意查询情境兼容的视频背景：

• 情境池维护与评分：维护包含 N 个情境提示词的候选池。外部大语言模型为候选情境评分 Match(T_i, q)（取值 0 到 100），仅评估情境合理性而不评判查询合规性。候选情境满足阈值 \tau 时视为合格。
• 双层优先级排序：合格情境按照匹配分与历史统计指标综合排序：

Priority(T_i, q) = ( Match(T_i, q), (1 + log(1 + m_i))/(1 + C_i) ) 该式为情境的字典序优先级定义，其中 m_i 为历史成功次数，C_i 为耗尽搜索预算仍失败的次数，以匹配分为主，历史效用项仅用于在匹配分相同时打破僵局。

• 动态池扩展：若无合格且未尝试的情境，则利用查询引导生成新的情境提示词并加入池中，生成规则严格要求不得复述或直接编码有害查询内容。
• 视频生成与载体追踪：使用文本到视频生成模型合成基础视频，通过 CLIP4Clip 计算文本与视频对齐度（阈值 \eta）；随后使用 YOLO-World 在各帧中定位并追踪文本载体区域。
• 查询渲染呈现：通过确定性后处理将原查询渲染在载体上。Full-display 变体在全程持续展示完整查询；Split-display 变体按词边界切分为 H 个连续片段，依次在不同时序区间呈现。

情境感知提示词搜索

情境感知提示词搜索（Scenario-aware Prompt Search）为选定视频搜索伴随文本提示词 P，约束提示词仅引导模型阅读视频文字，不得复述或解释查询：

• 情境专用记忆池：为每个情境独立维护提示词记忆池 P_i，记录成功提示词及其累积成功次数 s_{ij}。
• 探索与复用平衡：依据可用复用提示词数量 r_i 动态调整生成概率 1/(r_i+1) 与复用概率 r_i/(r_i+1)；若前 M-1 次未成功且未生成过，末次强制生成。
• 加权采样与更新：复用时按对数权重 1+log(1+s_{ij}) 采样；若攻击成功则将新提示词存入记忆池或累加成功计数，失败则排除当前查询的直接复用。

嵌套黑盒搜索流程

系统针对每个查询最多进行 K 轮情境尝试，每轮情境下最多进行 M 次提示词尝试；一旦获得成功响应立即终止并更新记忆，若 M 次均失败则累加该情境失败计数并切换下一情境。

实验设置

• 被测模型：共 8 个 Video-MLLM，包含 6 个开源模型 Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct、Qwen3-VL-8B-Instruct、Qwen3-VL-32B-Instruct、InternVL3.5-8B-Instruct、InternVL3.5-38B-Instruct，以及 2 个闭源商业模型 Gemini3.5-Flash 与 GPT-4.1；所有目标模型生成温度设为 0。
• 数据集与基准：HADES 基准包含暴力、动物伤害、财务伤害、自我伤害、隐私 5 个安全类别共 750 条查询（每类 150 条）；SafeBench 包含 10 个安全类别共 500 条查询。
• 基线方法：排版图像攻击 FigStep-I、视频扩展版本 FigStep-V，以及视频专用攻击 VideoJail、SPTV 和 MCV（使用 4 个片段）。
• 指标与判定：主要评价指标为攻击成功率（ASR）；默认自动评估器采用 Llama Guard 3-8B，输入原始查询与模型响应判定是否违规。
• 实现参数与开销：默认外部 LLM 为 Qwen3-14B，T2V 生成底座为 Wan2.2-T2V-A14B（生成 5 秒 1 fps 规格、832x480 分辨率视频，CLIP4Clip 阈值 \eta=0.3）；默认参数 N=5，K=5，M=5，H=5，\tau=70。实验在单张配备 96 GB 显存的 NVIDIA RTX PRO 6000 GPU 上运行。

主结果

下表展示了 HADES 基准上各攻击方法在主要目标模型上的 ASR 对比：

表格较宽，可左右滑动

注：据 Table 1（HADES 基准）。表格包含 6 列与 8 行（含表头），因表格尺寸限制省略了 Qwen3-VL-8B 与 InternVL3.5-8B，已包含 SceneJail-F 结果最低的 Gemini3.5-Flash。本实验中目标模型与外部辅助模型独立，不存在目标模型即代理模型的情况。

• 作者称，SceneJail-F 与 SceneJail-S 在所有评测模型上均优于所有基线，未加权平均 ASR 分别较最强基线 SPTV 提升 29.09 与 27.04 个百分点；在 SafeBench 上 SceneJail-F 达到 78.90%，较最强基线 MCV 提升 34.95 个百分点。
• 作者指出，基线方法的相对优劣在不同目标模型间变动较大且缺乏一致的最优表现，而 SceneJail 在不同架构家族与模型规模下均保持较高 ASR。
• 作者分析，完整展示相比分帧展示在 HADES 上平均 ASR 仅高出 2.05 个百分点，表明分帧排布带来的性能损失较小。

防御策略抵抗评测

• 测试设置：在 HADES 上针对 6 个开源模型测试了图像过滤（Image Filtering，逐帧检查）、多模态安全守卫（Multimodal Safety Guard，使用 Llama-Guard-3-11B-Vision 帧-提示词联合检查）和安全提示词（Safety Prompt，前置拒绝引导）（Table 6）。
• 实验结果：在图像过滤下，所有基线平均 ASR 降至 0.1% 以下，SceneJail-F 降至 0.04%，而 SceneJail-S 保持 72.25% 的平均 ASR（Table 6）；多模态安全守卫下 SceneJail-F 与 SceneJail-S 分别达 91.45% 与 90.75%；安全提示词下分别降至 44.78% 与 45.31%，仍高于基线最强 SPTV 的 14.11%。
• 作者解读：作者指出，单帧图像过滤对分帧呈现失效，因各单帧均不含完整有害内容；安全提示词构成了三种防御中最强的抑制手段，但未能彻底防御攻击。

评测协议一致性验证

• 测试设置：从 HADES 中按类别分层抽样 100 条查询在 3 个模型上生成输出，分别由 Llama Guard 3、GPT-4o-mini Judge 与 30 名人工标注员独立判定（Table 4）。
• 实验结果：SceneJail-F 在三项评估下的 ASR 分别为 94.33%、89.00% 与 91.00%；SceneJail-S 分别为 91.33%、91.00% 与 91.33%（Table 4）。
• 作者解读：作者认为该结果体现了评估结论不依赖于特定自动打分器，自动评估器与人工评估结论高度吻合。

生成模型替换鲁棒性

• 测试设置：在 HADES 上保持其他条件不变，分别替换 T2V 底座为 CogVideoX1.5-5B 与 HunyuanVideo-1.5，以及替换外部 LLM 为 Vicuna-13B-v1.5 与 Gemma-3-12B（Figure 8）。
• 实验结果：不同 T2V 底座下三个测试模型的 ASR 均在 90.67% 以上（Figure 8a）；不同外部 LLM 下三个模型的 ASR 均在 91.60% 以上（Figure 8b）。
• 作者解读：作者称，SceneJail 的攻击表现对生成底座及辅助语言模型的选择不敏感。

其他消融与分析

• 情境构建消融（Figure 6a）：白底、随机情境、自适应情境在三模型上的平均 ASR 分别为 39.51%、69.25%、94.26%。
• 提示词搜索消融（Figure 6b）：最小提示词、固定情境提示词、自适应提示词在三模型上的平均 ASR 分别为 66.40%、72.00%、94.26%。
• 情境搜索预算 K 影响（Figure 7a）：K 从 1 增至 5 时三模型 ASR 分别从 85.87%、78.27%、70.53% 升至 94.53%、94.53%、93.73%。
• 提示词搜索预算 M 影响（Figure 7b）：M 从 1 增至 5 时三模型 ASR 分别从 73.73%、73.60%、68.93% 升至 94.53%、94.53%、93.73%。
• 实际查询代价（Table 3）：HADES 成功样本上 SceneJail-F 与 SceneJail-S 的平均查询数 AQ 分别为 2.51 与 2.09 次。
• 查询顺序敏感度（Table 5）：5 组不同查询排列下三模型平均 ASR 分别为 94.24%、94.27%、93.65%，五组之间最大差值不超过 0.67 个百分点。

作者指出的局限与后续方向

• 搜索与生成开销（出自 Section 7 Limitations）：SceneJail 依赖自适应情境和提示词搜索，引入了额外的搜索与生成开销；作者指出未来可通过轻量化生成模型、更有效的情境复用以及更高查询效率的搜索策略来改进效率。
• 视频构建管道的受控性（出自 Section 7 Limitations）：评测使用的是受控的视频构建流程（先生成情境视频再合成恶意查询文字），可能无法覆盖自然出现或长视频输入的完整多样性；作者指出未来可将评测扩展到自然视频、更长时序上下文和更多样的情境-查询组合。

实验覆盖范围

• 被测目标模型共 8 个，包含 6 个开源 Video-MLLM（Qwen2.5-VL-7B/32B、Qwen3-VL-8B/32B、InternVL3.5-8B/38B）与 2 个商业模型（Gemini3.5-Flash、GPT-4.1）（Section 5.1）。
• 评测基准为 HADES（5 个类别共 750 条查询）和 SafeBench（10 个类别共 500 条查询）（Section 5.1）。
• 防御评测覆盖图像过滤、多模态安全守卫和安全提示词共 3 种策略，仅在 6 个开源模型上进行了测试（Section 6）。
• 实验采用固定视频规格（5 秒时长、1 fps 采样、832x480 分辨率），合成文本使用固定字号与词边界换行渲染（Section 5.1、附录 A）。
• 论文未报告恶意查询在视频中的音轨模态融合效果，亦未报告目标模型温度非零时的采样波动情况。

• 研究定位：论文针对 Video-MLLM 的安全对齐脆弱性，首次系统性研究了视频情境上下文作为越狱攻击面的可行性。
• 核心问题：现有视频越狱主要将视频作为承载文本的载体，忽略了周围视频情境对模型判断的影响；实验发现同一有害查询在不同视频情境下会触发不同的安全响应。
• 方法设计：提出自适应黑盒越狱框架 SceneJail，在不改变原始恶意查询的前提下，通过自适应情境构建动态匹配并生成适配视频情境，并通过情境感知提示词搜索机制在黑盒反馈下优化文本引导。
• 核心实验结果：在 HADES 基准上，SceneJail-F 与 SceneJail-S 在 8 个目标模型上的平均 ASR 分别达 91.47% 与 89.42%，超过最强基线 SPTV（62.38%）；在 SafeBench 上平均 ASR 达 78.90% 与 76.63%，超过最强基线 MCV（43.95%）；在图像过滤防御下，分帧变体 SceneJail-S 仍保持 72.25% 的平均 ASR。
• 作者结论与启示：作者指出，视频模型的安全评估必须将视觉情境、文本内容及时序展示综合考量，现有针对单帧图像的防护手段无法有效抵御情境化与时序分散的多模态攻击，亟需开发针对视频特性的原生安全防护机制。