全部论文

复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

arXiv

2610.11932

发表

10月8日

层

应用层

场景

LLM 应用

被测模型

Grok、Doubao、ChatGPT 等 10 个

• 攻击投毒与后门
• 组件RAG

FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

arXiv

2610.09819

发表

10月7日

层

训练与数据层

场景

模型与 API

被测模型

HuBERT-base、WavLM-base

• 攻击投毒与后门
• 技术潜伏触发
• 组件音频
• +1+1

BabelFake：面向多语言音视频 DeepFake 检测的基准数据集

构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器

arXiv

2610.06339

发表

10月5日

层

模型层

场景

模型与 API

被测模型

SpeechForensics、AVH-Align、(B)RAVEn

• 防御检测与过滤
• 攻击检测规避
• 组件音频
• +1+1

研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因

遮挡审计 AdvWave-P 音频越狱的频带必要性与解码层关联

arXiv

2610.07005

发表

10月4日

层

提示层

场景

模型与 API

被测模型

Qwen2-Audio-7B-Instruct、LLaMA-Omni

• 攻击越狱
• 组件音频

Thrive：面向自回归 TTS 的抗重建攻击多比特语音水印框架

提出 THRIVE，为自回归 TTS 嵌入抗重建的多比特语音水印

arXiv

2610.04235

发表

10月3日

层

模型层

场景

模型与 API

被测模型

Qwen3-TTS (0.6B)、Dots.tts (2B)

• 防御水印与溯源
• 攻击检测规避
• 组件音频

研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像

提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容

arXiv

2610.01871

发表

10月1日

层

应用层

场景

LLM 应用

攻击者

黑盒

被测模型

Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等 5 个

• 攻击提取与窃取
• 技术跨模态载荷
• 组件RAG
• +1+1

ReCast：在固定媒体接口下保护多模态推理的隐私框架

提出 RECAST，本地改写图表与语音并做可逆数值映射以保护远程推理隐私

arXiv

2610.01184

发表

10月1日

层

应用层

场景

LLM 应用

• 组件视觉
• +1+1

机器遗忘在 ASR 中是否有效：arXiv 论文评估现有算法与评测工具

arXiv

2609.34092

发表

9月28日

层

训练与数据层

场景

模型与 API

被测模型

E-Branchformer

• 防御模型加固
• 攻击提取与窃取
• 组件音频

论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法

提出检索器后门攻击操纵智能体搜索，并用 DOU 逃避检测

arXiv

2609.37468

发表

9月26日

层

应用层

场景

AI Agent

被测模型

E5、Contriever-MSMARCO

• 攻击投毒与后门
• 技术潜伏触发
• 组件RAG
• +3+3

AEGIS：用内部信号在中间层拦截大型音频语言模型越狱

提出 AEGIS，用中层内部信号选择性激活后层适配器拦截音频越狱

arXiv

2609.29287

发表

9月24日

层

模型层

场景

模型与 API

攻击者

白盒

被测模型

Qwen2-Audio-7B、VITA-1.5、Ultravox v0.5 等 6 个

• 防御推理时干预
• 攻击越狱
• 组件音频
• +1+1

GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

arXiv

2609.27399

发表

9月23日

层

模型层

场景

模型与 API

被测模型

CosyVoice2-0.5B、F5-TTS、FireRedTTS

• 防御推理时干预
• 攻击恶意使用
• 组件音频

PALS：面向全双工语音对话模型对抗鲁棒性的心理声学对齐潜空间平滑

提出 PALS，用潜空间平滑防御全双工语音对话的对抗扰动

arXiv

2609.27378

发表

9月23日

层

模型层

场景

模型与 API

攻击者

白盒

被测模型

Moshi-style agent

• 防御模型加固
• 攻击越狱
• 组件音频

MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

用 MMPIBench 评测多模态提示注入对 Agent 框架的影响

arXiv

2609.09404

发表

9月9日

层

应用层

场景

AI Agent

被测模型

Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

GhostWord：针对自动语音识别的细粒度后门攻击

提出 GhostWord 词级触发后门，对自动语音识别做数据投毒

arXiv

2609.04260

发表

9月2日

层

训练与数据层

场景

模型与 API

被测模型

Whisper-Small、Whisper-Medium、MMS 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件音频
• +2+2

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

arXiv

2609.02316

发表

9月2日

层

应用层

场景

LLM 应用

被测模型

Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 8 个

• 防御检测与过滤
• 攻击提示注入
• 组件RAG
• +1+1

ARENA：面向大型音频语言模型的自动化红队框架

提出 ARENA 音频红队框架，自动构造文本安全且音频接地的越狱输入

arXiv

2608.15578

发表

8月16日

层

提示层

场景

模型与 API

攻击者

黑盒

被测模型

Audio Flamingo 3、Qwen2-Audio-7B-Instruct、MiMo-Audio-7B-Instruct 等 4 个

• 攻击越狱
• 技术自动化搜索
• 组件音频
• +1+1

研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链

提出权威链劫持与轨迹引导策略演化，劫持搜索 Agent 的证据链

arXiv

2608.04565

发表

8月5日

层

应用层

场景

web agent

被测模型

Qwen3.5-9B、Gemma4-31B、DeepResearch 等 7 个

• 攻击提示注入
• 技术自动化搜索
• 组件RAG

CodecAttack：在音频编解码器潜空间构造对抗扰动，绕过有损压缩防御

提出 CodecAttack，在编解码器隐空间构造可穿透有损压缩的对抗音频

arXiv

2605.20519

发表

5月20日

层

提示层

场景

模型与 API

攻击者

白盒

被测模型

Qwen2-Audio-7B-Instruct、Audio Flamingo 3、Qwen2.5-Omni

• 攻击越狱
• 技术梯度与表征优化
• 组件音频

AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

提出 AudioHijack，用不可感知对抗音频对语音模型做上下文无关提示注入

arXiv

2604.14604

发表

4月16日

层

提示层

场景

模型与 API

被测模型

SpeechGPT、GLM-4-Voice、VITA-Audio 等 15 个

• 攻击提示注入
• 技术梯度与表征优化
• 组件音频
• +1+1

SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱

提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示

arXiv

2603.13847

发表

3月14日

层

应用层

场景

LLM 应用

攻击者

黑盒

被测模型

Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件音频
• +1+1