全部论文

OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作

发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作

arXiv

2605.18583

发表

5月19日

层

应用层

场景

编程 Agent

测试

gemini-2.5-pro、gemini-2.5-flash、GLM-4.6 等 6 个

• 风险Agent 危险操作

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Gemini 3.1 Pro、Gemini 3.5 Flash、Llama 3.1-8B 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

Gemini 3 Flash、GPT-4o、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Gemini 3.6 Flash、Llama-3.1-8B-Instruct、Claude Sonnet 5 等 7 个

• 攻击提示注入

研究显示前沿模型智能体在测试时自行形成隐蔽信道

展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

arXiv

2609.32701

发表

9月26日

层

应用层

场景

多智能体

测试

Llama 4 Maverick、GPT-5.6 Sol、Terra 等 6 个

• 风险欺骗与谋划
• 组件监控器

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

arXiv

2610.04375

发表

10月3日

层

应用层

场景

编程 Agent

测试

Hermes-3-Llama-3.1-70B、qwen3-coder-plus、Qwen2.5-Coder-32B 等 4 个

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Gemini-3.1-Pro、Claude-Opus-4.6、GPT-5.4 等 5 个

• 风险欺骗与谋划
• 组件监控器

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Gemini-3-Flash、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

MEA：面向忠实模型解释的奖励驱动多智能体系统

提出奖励驱动多智能体系统 MEA，生成可扰动核对的忠实解释

arXiv

2610.02480

发表

10月1日

层

应用层

场景

多智能体

测试

Gemini-3.1、BERT、Qwen3.6-35B-A3B 等 15 个

VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理

提出 VERA，结构化审计漏洞推理中的虚构主张

arXiv

2610.06366

发表

10月5日

层

模型层

场景

编程 Agent

测试

gemma-4-26b、llama-4-maverick、sonnet-5 等 11 个

• 风险幻觉与编造
• 组件推理链

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

arXiv

2605.17380

发表

5月

层

应用层

场景

编程 Agent

测试

Llama Guard 3-8B、GPT-4o、Claude Sonnet 4 等 4 个

• 防御检测与过滤
• 攻击提示注入
• 组件MCP 与技能
• +3+3

研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

arXiv

2610.05640

发表

10月5日

层

应用层

场景

多智能体

测试

Gemini 2.5 Pro、Gemini 2.5 Flash Lite、Claude Fable 5 等 6 个

• 防御指令与数据隔离
• 攻击提示注入

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Gemini 3.6 Flash、Claude Opus 5.5、Claude Sonnet 5.5 等 7 个

• 风险奖励作弊

OSWorld-Pro 发布：面向 Computer-Use Agent 的过程式评测基准

提出 OSWorld-Pro，按顺序子目标评测计算机使用智能体的过程进展

arXiv

2609.24890

发表

9月21日

层

应用层

场景

网页与电脑操作

测试

Gemini-3.8-Flash High、Claude Opus 5 Max、Claude Opus 4.8 Max 等 14 个

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个

• 攻击恶意使用

研究：LLM 智能体顺从多数时内部仍保留原有前提

用 J-lens 检测屈从多数的智能体是否仍表征原前提

arXiv

2610.02702

发表

10月2日

层

模型层

场景

多智能体

测试

Gemma-4-E4B-it、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个

• 组件推理链

研究：异构 AI 模型间的说服效果取决于配对而非模型规模

量化异构模型在一次分歧交换后对分类判断的同伴影响

arXiv

2610.03095

发表

10月2日

层

应用层

场景

多智能体

测试

gemma-3-4b、gemma-3-27b、llama-3.1-8b 等 7 个