全部论文

SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱

提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示

arXiv

2603.13847

发表

3月14日

层

应用层

场景

LLM 应用

攻击者

黑盒

测试

Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件音频
• +1+1

AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入

arXiv

2604.14604

发表

4月16日

层

应用层

场景

AI Agent

测试

SpeechGPT、GLM-4-Voice、VITA-Audio 等 15 个

• 攻击提示注入
• 技术梯度与表征优化
• 组件音频
• +1+1

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

arXiv

2610.09240

发表

10月7日

层

应用层

场景

网页与电脑操作

测试

LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

RA-Det：利用鲁棒性不对称检测 AI 生成图像

提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像

arXiv

2603.01544

发表

3月2日

层

应用层

场景

LLM 应用

测试

ProGAN、StyleGAN2、whichfaceisreal 等 15 个

• 防御检测与过滤
• 攻击恶意使用
• 组件护栏与评审
• +1+1

COPEX：面向 MCP 智能体的受控攻击评测基准发布

提出 COPEX 基准，固定协议栈评测 MCP 智能体的攻击抵抗力

arXiv

2610.04378

发表

10月3日

层

应用层

场景

AI Agent

测试

Claude Opus 4.7、Claude Sonnet 4.6、GPT-5.5 等 9 个

• 攻击提示注入
• 组件MCP 与技能

MBZUAI 提出可校准的真实图像认证方法

提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

arXiv

2610.05870

发表

10月5日

层

应用层

场景

LLM 应用

攻击者

白盒

测试

SD2.1、SD3、SD3.5 等 10 个

• 防御检测与过滤
• 攻击检测规避
• 组件图像生成
• +1+1

研究者提出闭环偏见注入攻击

提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见

arXiv

2610.05894

发表

10月5日

层

模型层

场景

模型与 API

攻击者

灰盒

测试

LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct

• 攻击模型篡改
• 技术梯度与表征优化

LiBRA：通过双向隐空间优化实现检测感知的图像水印去除

提出 LiBRA，在潜空间双向优化以规避图像水印双侧检测

arXiv

2610.03166

发表

10月5日

层

模型层

场景

模型与 API

攻击者

白盒

测试

Stable Signature、YU1、HiDDeN 等 4 个

• 攻击检测规避
• 技术针对防御
• +1+1

研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像

提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容

arXiv

2610.01871

发表

10月1日

层

应用层

场景

LLM 应用

攻击者

黑盒

测试

Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等 5 个

• 攻击提取与窃取
• 技术跨模态载荷
• 组件RAG
• +1+1

MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

用 MMPIBench 评测智能体框架的多模态提示注入

arXiv

2609.09404

发表

9月9日

层

应用层

场景

AI Agent

测试

Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐

arXiv

2609.05535

发表

9月2日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个

• 防御检测与过滤
• 攻击提示注入
• 组件护栏与评审
• +1+1

ReCast：在固定媒体接口下保护多模态推理的隐私框架

提出 RECAST，本地改写图表与语音并做可逆数值映射以保护远程推理隐私

arXiv

2610.01184

发表

10月1日

层

应用层

场景

LLM 应用

测试

Qwen3.5-Omni-Plus、Qwen3-VL-8B-Instruct、Qwen3-ASR-1.7B 等 11 个

• 组件视觉
• +1+1

生成图像更易被遗忘：面向合成图像检测的机器遗忘视角

提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图

arXiv

2608.00716

发表

8月1日

层

模型层

场景

模型与 API

测试

DINOv2 ViT-S/14、DINOv2 ViT-B/14、DINOv2 ViT-L/14 等 9 个

• 防御检测与过滤
• 攻击恶意使用
• 组件视觉

GeoDetect：面向视觉语言预训练模型的几何对抗检测方法

提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本

arXiv

2607.14737

发表

7月16日

层

模型层

场景

模型与 API

攻击者

白盒

测试

CLIPViT (ViT-B/16)、CLIPCNN (ResNet-50)、ALBEF 等 4 个

• 防御检测与过滤
• 攻击检测规避
• 组件嵌入
• +1+1

TAILOR：面向图像水印的组合方案定制框架

提出 TAILOR，按请求组合图像水印以满足抗攻击与画质延迟规格

arXiv

2610.00780

发表

10月2日

层

模型层

场景

模型与 API

测试

VINE、TrustMark、VideoSeal 等 5 个

• 防御水印与溯源
• 攻击检测规避
• 组件图像生成

GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

arXiv

2609.27399

发表

9月23日

层

模型层

场景

模型与 API

测试

CosyVoice2-0.5B、F5-TTS、FireRedTTS

• 防御推理时干预
• 攻击恶意使用
• 组件音频

Agent Flight Recorder：为长时程工具调用智能体提供链上锚定的防篡改审计追踪

提出 Agent Flight Recorder，为长时程工具智能体提供链上锚定的防篡改审计

arXiv

2609.01931

发表

9月2日

层

应用层

场景

AI Agent

Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

提出 Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私

arXiv

2609.04533

发表

9月4日

层

应用层

场景

AI Agent

测试

Claude-Opus-4.7、GPT-5.5、Gemini-3.1-Pro 等 11 个

• 攻击提示注入
• 技术自动化搜索
• 组件视觉
• +1+1

SPARK：在 KV 记忆层对齐表征以防御视觉语言模型越狱

提出 SPARK，在预填充阶段修复多模态 KV 记忆以防御视觉语言模型越狱

arXiv

2609.14258

发表

9月13日

层

模型层

场景

模型与 API

攻击者

白盒

测试

LLaVA-OneVision-7B、Chameleon-7B、Qwen2-VL-7B 等 4 个

• 防御推理时干预
• 攻击越狱
• 组件视觉