防御arXiv 2610.09703
研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制
提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱
- arXiv
- 2610.09703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LLaVA-1.5-7B
摘要剪枝去掉背景 token 后注意力塌向恶意前景。
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。
- 攻击arXiv 2609.38899
SceneJail：利用视频场景上下文越狱多模态大模型
提出 SceneJail，利用视频情境上下文越狱视频多模态模型
- arXiv
- 2609.38899
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct、Qwen3-VL-8B-Instruct 等 8 个
- 攻击arXiv 2609.07216
DIVA：利用视觉锚点对视频生成模型实施多模态越狱
提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型
- arXiv
- 2609.07216
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Wan、CogVideoX、LTX-Video 等 9 个
摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。
DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。
- 攻击arXiv 2608.27531
MAMJ：面向视觉语言模型的元自适应多模态越狱攻击
提出 MAMJ，在元层面交替优化多模态越狱的策略提示与攻击者权重
- arXiv
- 2608.27531
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-4o、Gemini-3-Pro-Preview、Seed 2.0
- 攻击arXiv 2608.15578
ARENA：面向大型音频语言模型的自动化红队框架
提出 ARENA 音频红队框架，自动构造文本安全且音频接地的越狱输入
- arXiv
- 2608.15578
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Audio Flamingo 3、Qwen2-Audio-7B-Instruct、MiMo-Audio-7B-Instruct 等 4 个
- 攻击arXiv 2607.26115
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
训练自博弈红队智能体 GPT-Red，规模化生成提示注入与越狱攻击
- arXiv
- 2607.26115
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-5.6、GPT-5.5、GPT-5.4 等 8 个
- 攻击arXiv 2605.18915
DMN：面向多图输入的多模态大模型组合式越狱框架
提出多图越狱框架 DMN，把有害意图拆进图像序列绕过安全护栏
- arXiv
- 2605.18915
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-4V、GPT-4o、GPT-5 等 10 个
- 攻击arXiv 2605.05709
研究者提出利用重构与隐藏权衡的多模态大模型越狱方法
提出删字变体越狱方法，利用重构与隐藏权衡绕过多模态模型安全过滤
- arXiv
- 2605.05709
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-5.4-nano、GPT-5.4-mini、Gemini-2.5-Flash 等 19 个
- 攻击arXiv 2603.13847
SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱
提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示
- arXiv
- 2603.13847
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个
- 攻击arXiv 2602.10179
研究者提出视觉中心越狱攻击 VJA
提出纯视觉越狱攻击 VJA，把有害编辑指令编码进图像
- arXiv
- 2602.10179
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Nano Banana Pro、GPT Image 1.5、Qwen-Image-Edit 等 9 个
- 攻击arXiv 2603.20198
研究者提出 MM-Plan 多模态越狱框架
提出 MM-Plan 多模态越狱框架，自动规划多轮图像编辑以越狱视觉独占目标
- arXiv
- 2603.20198
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Llama-3.2-11B、InternVL3-8B、Qwen3-VL-8B 等 8 个
摘要作者称全局规划能攻破对单轮攻击更稳的前沿 MLLM。
MM-Plan 是面向 Visual Exclusivity 的 black-box 多模态红队方法，并配有人工基准 VE-Safety。
- 攻击arXiv 2601.05339
多模态大语言模型的多轮越狱攻击与 FragGuard 防御
提出多轮多模态越狱，并用 FragGuard 拦截有害响应
- arXiv
- 2601.05339
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LLaVa-1.6 (7B)、LLaVa-1.6 (13B)、Qwen-2-7B 等 5 个
- 攻击arXiv 2512.20168
Odysseus 用双重隐写越狱 GPT-4o、Gemini-2.0 与 Grok-3
提出双重隐写越狱 Odysseus，用图像隐写绕过多模态系统安全过滤器
- arXiv
- 2512.20168
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-4o-2024-08-06、Gemini-2.0-pro、Gemini-2.0-flash 等 4 个
- 攻击arXiv 2503.06223
RedDiffuser：用强化扩散生成视觉输入审计 VLM 多模态安全失效
提出 RedDiff，用强化扩散生成图像审计 VLM 情境安全失效
- arXiv
- 2503.06223
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LLaVA-1.5-7B、Gemini-1.5-flash、LLaMA-3.2-11B-Vision-Instruct
摘要用强化扩散生成视觉上下文，审计有害文本情境下的 VLM 安全失效。
RedDiffuser 是黑盒审计框架：有害内容不是显式攻击指令，而是固定的部分有毒文本，再配上扩散模型生成的图像，看 VLM 的开放续写会不会变得不安全。
已经到底了