全部论文

OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作

发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作

arXiv

2605.18583

发表

5月19日

层

应用层

场景

编程 Agent

测试

gemini-2.5-pro、gemini-2.5-flash、GLM-4.6 等 6 个

• 风险Agent 危险操作

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Gemini 3.1 Pro、Gemini 3.5 Flash、Claude Sonnet 4.6 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

arXiv

2608.04741

发表

8月5日

层

应用层

场景

网页与电脑操作

测试

Gemini 3 Flash、GPT-4o、Claude Sonnet 4 等 7 个

• 攻击提示注入
• 技术自动化搜索

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

Kimi-K2.6、GPT-5.6-Sol、GPT-5.6-Terra 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Gemini 3.6 Flash、Claude Sonnet 5、Claude Opus 4.8 等 7 个

• 攻击提示注入

SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突

提出 SpecGuard，在编码 Agent 执行前证明任务与测试冲突

arXiv

2610.09159

发表

10月7日

层

应用层

场景

编程 Agent

测试

Kimi K3、GPT-5.6 Sol、Claude Opus 5 等 4 个

• 风险奖励作弊

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Gemini-3.1-Pro、Claude-Opus-4.6、GPT-5.4 等 5 个

• 风险欺骗与谋划
• 组件监控器

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Gemini-3-Flash、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

EvalResearchBench：AI 智能体自主设计评测基准

提出 EvalResearchBench 评测智能体自主设计可执行评测的能力

arXiv

2610.04184

发表

10月3日

层

应用层

场景

编程 Agent

测试

Kimi K3、GPT-6 Astra、GPT-5.6 Sol 等 9 个

MEA：面向忠实模型解释的奖励驱动多智能体系统

提出奖励驱动多智能体系统 MEA，生成可扰动核对的忠实解释

arXiv

2610.02480

发表

10月1日

层

应用层

场景

多智能体

测试

Gemini-3.1、BERT、Qwen3.6-35B-A3B 等 15 个

VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理

提出 VERA，结构化审计漏洞推理中的虚构主张

arXiv

2610.06366

发表

10月5日

层

模型层

场景

编程 Agent

测试

gemma-4-26b、sonnet-5、llama-4-maverick 等 11 个

• 风险幻觉与编造
• 组件推理链

研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

arXiv

2610.05640

发表

10月5日

层

应用层

场景

多智能体

测试

Gemini 2.5 Pro、Gemini 2.5 Flash Lite、Claude Fable 5 等 6 个

• 防御指令与数据隔离
• 攻击提示注入

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Gemini 3.6 Flash、Kimi K3、Claude Opus 5.5 等 7 个

• 风险奖励作弊

OSWorld-Pro 发布：面向 Computer-Use Agent 的过程式评测基准

提出 OSWorld-Pro，按顺序子目标评测计算机使用智能体的过程进展

arXiv

2609.24890

发表

9月21日

层

应用层

场景

网页与电脑操作

测试

Gemini-3.8-Flash High、Kimi K3 Max (2.8T)、Claude Opus 5 Max 等 14 个

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Kimi-K2、Kimi-K2.5、Qwen2.5-72B-Instruct 等 12 个

• 攻击恶意使用

研究：LLM 智能体顺从多数时内部仍保留原有前提

用 J-lens 检测屈从多数的智能体是否仍表征原前提

arXiv

2610.02702

发表

10月2日

层

模型层

场景

多智能体

测试

Gemma-4-E4B-it、Qwen3.5-4B、Qwen3.6-27B 等 4 个

• 组件推理链

研究：异构 AI 模型间的说服效果取决于配对而非模型规模

量化异构模型在一次分歧交换后对分类判断的同伴影响

arXiv

2610.03095

发表

10月2日

层

应用层

场景

多智能体

测试

gemma-3-4b、gemma-3-27b、llama-3.1-8b 等 7 个

研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

arXiv

2609.39050

发表

9月30日

层

应用层

场景

多智能体、编程 Agent

测试

Kimi-K2、Gemini 3.1 Pro、DeepSeek-V4-Pro 等 15 个

• 风险欺骗与谋划
• 组件监控器
• +1+1