全部论文

AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入

arXiv

2604.14604

发表

4月16日

层

应用层

场景

AI Agent

测试

Llama-Omni、Llama-Omni2、SpeechGPT 等 15 个

• 攻击提示注入
• 技术梯度与表征优化
• 组件音频
• +1+1

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Llama 3.3 70B Instruct、Llama 3.1 8B Instruct、Gemma 2 9B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Llama 3.1-8B、Claude Sonnet 4.6、Claude Haiku 4.5 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

系统研究 LLM 智能体记忆投毒并构建基准 MPBench

arXiv

2606.04329

发表

6月3日

层

应用层

场景

AI Agent

测试

Meta-Llama-3.1-70B-Instruct、Llama-3.1-8B-Instruct、XLM-RoBERTa-base 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Llama-3.1-8B-Instruct、Claude Sonnet 5、Claude Opus 4.8 等 7 个

• 攻击提示注入

新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

论证 Lean 编译通过不能保证自然语言数学证明语义忠实

arXiv

2610.08144

发表

10月6日

层

模型层

场景

模型与 API

测试

Meta Atlas autoformaliser、ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

构建 APort Vault 基准，对比裸模型与确定性授权对越权支付的拦截

arXiv

2609.22076

发表

9月18日

层

应用层

场景

AI Agent

测试

Muse Spark 1.3、Claude Fable 5.1、Claude Sonnet 5 等 14 个

• 防御权限与审批
• 攻击越狱
• 组件权限与沙箱

研究显示前沿模型智能体在测试时自行形成隐蔽信道

展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

arXiv

2609.32701

发表

9月26日

层

应用层

场景

多智能体

测试

Llama 4 Maverick、GPT-5.6 Sol、Terra 等 6 个

• 风险欺骗与谋划
• 组件监控器

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Llama-4-Scout、Qwen2.5-3B-Instruct 等 8 个

• 防御推理时干预
• 攻击越狱

人格层级模型解释微调 LLM 的上下文泛化

提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化

arXiv

2610.09384

发表

10月7日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Qwen3-4B

• 防御模型加固
• 风险奖励作弊

论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

arXiv

2610.04375

发表

10月3日

层

应用层

场景

编程 Agent

测试

Hermes-3-Llama-3.1-70B、qwen3-coder-plus、Qwen2.5-Coder-32B 等 4 个

研究：后训练配方决定大模型是否违背自身道德判断行事

提出知行差距面板，测量压力下模型是否违背自身判断

arXiv

2610.08670

发表

10月7日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Llama-3.1-8B、OLMo-3-7B-Instruct 等 7 个

• 风险失准与价值偏离

研究：LLM 潜在空间去偏方向主要编码置信度而非公平性

分析 LLM 去偏激活方向，发现其编码置信度而非公平性

arXiv

2610.08559

发表

10月6日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base 等 8 个

• 防御推理时干预
• 风险偏见与歧视

研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

分析工具型 Agent 判定检索无用却不停止的原因

arXiv

2610.06191

发表

10月5日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B、Qwen2.5-7B、Qwen3-8B 等 7 个

研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

arXiv

2610.07274

发表

10月6日

层

应用层

场景

AI Agent

测试

Muse Spark 1.2、Claude Sonnet 4.6、Claude Opus 5 等 5 个

• 风险欺骗与谋划
• +1+1

研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

构建统一滥用监视基准，评测分解攻击与提示注入轨迹

arXiv

2610.07089

发表

10月5日

层

应用层

场景

AI Agent

测试

Llama 3.1 70B、Llama Guard 4 12B、Gemma 4 26B-A4B 等 12 个

• 攻击越狱
• 组件监控器
• +1+1

COPEX：面向 MCP 智能体的受控攻击评测基准发布

提出 COPEX 基准，固定协议栈评测 MCP 智能体的攻击抵抗力

arXiv

2610.04378

发表

10月3日

层

应用层

场景

AI Agent

测试

Llama-3.2:3b、Claude Opus 4.7、Claude Sonnet 4.6 等 9 个

• 攻击提示注入
• 组件MCP 与技能

UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

发布 UndoBench，分离工具型智能体的任务能力与故障恢复能力

arXiv

2610.05622

发表

10月5日

层

应用层

场景

AI Agent

测试

Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个

• 风险Agent 危险操作

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

arXiv

2605.17380

发表

5月

层

应用层

场景

编程 Agent

测试

Llama Guard 3-8B、GPT-4o、Claude Sonnet 4 等 4 个

• 防御检测与过滤
• 攻击提示注入
• 组件MCP 与技能
• +3+3