全部论文

SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱

提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示

arXiv

2603.13847

发表

3月14日

层

应用层

场景

LLM 应用

攻击者

黑盒

测试

Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等 9 个

• 攻击越狱
• 技术跨模态载荷
• 组件音频
• +1+1

AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入

arXiv

2604.14604

发表

4月16日

层

应用层

场景

AI Agent

测试

Llama-Omni、Llama-Omni2、Phi-4-Multimodal 等 15 个

• 攻击提示注入
• 技术梯度与表征优化
• 组件音频
• +1+1

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Llama 3.1-8B、Claude Sonnet 4.6、Claude Haiku 4.5 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

LogInject 框架披露 LLM 日志分析中的被动提示注入

提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

arXiv

2607.14493

发表

7月16日

层

应用层

场景

LLM 应用

测试

Llama-3-70B-Instruct、GPT-4o、Claude 3.5 Sonnet

• 攻击提示注入
• 技术编码与混淆
• 组件护栏与评审
• +1+1

研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

系统研究 LLM 智能体记忆投毒并构建基准 MPBench

arXiv

2606.04329

发表

6月3日

层

应用层

场景

AI Agent

测试

Meta-Llama-3.1-70B-Instruct、Deberta-v3-base、Llama-3.1-8B-Instruct 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Llama-3.1-8B-Instruct、Claude Sonnet 5、Claude Opus 4.8 等 7 个

• 攻击提示注入

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

构建 APort Vault 基准，对比裸模型与确定性授权对越权支付的拦截

arXiv

2609.22076

发表

9月18日

层

应用层

场景

AI Agent

测试

Muse Spark 1.3、Claude Fable 5.1、Claude Sonnet 5 等 14 个

• 防御权限与审批
• 攻击越狱
• 组件权限与沙箱

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

arXiv

2610.09240

发表

10月7日

层

应用层

场景

网页与电脑操作

测试

Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

研究显示前沿模型智能体在测试时自行形成隐蔽信道

展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

arXiv

2609.32701

发表

9月26日

层

应用层

场景

多智能体

测试

Llama 4 Maverick、GPT-5.6 Sol、Terra 等 6 个

• 风险欺骗与谋划
• 组件监控器

论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

arXiv

2610.04375

发表

10月3日

层

应用层

场景

编程 Agent

测试

Hermes-3-Llama-3.1-70B、qwen3-coder-plus、Qwen2.5-Coder-32B 等 4 个

研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

分析工具型 Agent 判定检索无用却不停止的原因

arXiv

2610.06191

发表

10月5日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B、Qwen2.5-7B、Qwen3-8B 等 7 个

研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

arXiv

2610.07274

发表

10月6日

层

应用层

场景

AI Agent

测试

Muse Spark 1.2、Claude Sonnet 4.6、Claude Opus 5 等 5 个

• 风险欺骗与谋划
• +1+1

研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

构建统一滥用监视基准，评测分解攻击与提示注入轨迹

arXiv

2610.07089

发表

10月5日

层

应用层

场景

AI Agent

测试

Llama 3.1 70B、Llama Guard 4 12B、Gemma 4 26B-A4B 等 12 个

• 攻击越狱
• 组件监控器
• +1+1

RA-Det：利用鲁棒性不对称检测 AI 生成图像

提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像

arXiv

2603.01544

发表

3月2日

层

应用层

场景

LLM 应用

测试

SDXL、ProGAN、StyleGAN2 等 15 个

• 防御检测与过滤
• 攻击恶意使用
• 组件护栏与评审
• +1+1

COPEX：面向 MCP 智能体的受控攻击评测基准发布

提出 COPEX 基准，固定协议栈评测 MCP 智能体的攻击抵抗力

arXiv

2610.04378

发表

10月3日

层

应用层

场景

AI Agent

测试

Llama-3.2:3b、Claude Opus 4.7、Claude Sonnet 4.6 等 9 个

• 攻击提示注入
• 组件MCP 与技能

MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露

评估多租户智能体共享向量记忆的跨用户泄露与主动桥接

arXiv

2610.04195

发表

10月3日

层

应用层

场景

AI Agent

测试

all-MiniLM-L6-v2、Gemini 2.5 Flash、Claude Sonnet 4.5 等 5 个

• 攻击提取与窃取
• 技术诱导选用
• 组件记忆
• +2+2

CoVer：用干预检验为 Agent 构造可判定规则边界

提出 COVER，以不咨询模型的干预门准入 Agent 规则自动执行

arXiv

2610.04699

发表

10月3日

层

应用层

场景

AI Agent

测试

Llama-3.1-70B、Claude Sonnet、Claude Opus 等 5 个

• 防御权限与审批
• 风险Agent 危险操作
• 组件权限与沙箱

研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

arXiv

2610.05826

发表

10月5日

层

应用层

场景

LLM 应用

测试

all-MiniLM-L6-v2

• 防御指令与数据隔离
• 攻击投毒与后门
• 组件RAG

研究显示 VLA 模型文本护栏漏检隐含危害指令

评测文本守卫与激活探针能否发现 VLA 隐含危害指令

arXiv

2610.05818

发表

10月5日

层

应用层

场景

具身与机器人

测试

Llama Guard 3、Llama-2-7B、π0.5 等 10 个

• 攻击检测规避
• 组件护栏与评审
• +1+1

UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

发布 UndoBench，分离工具型智能体的任务能力与故障恢复能力

arXiv

2610.05622

发表

10月5日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个

• 风险Agent 危险操作