全部论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

COPEX：面向 MCP 智能体的受控攻击评测基准发布

用 COPEX 基准在固定协议栈下评测智能体抵御 MCP 攻击的能力

arXiv

2610.04378

发表

10月3日

层

应用层

场景

AI Agent

测试

Claude Opus 4.7、Claude Sonnet 4.6、GPT-5.5 等 9 个

• 攻击提示注入
• 组件MCP 与技能

MisKnow-Agent 评测

提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识

arXiv

2607.20891

发表

7月23日

层

应用层

场景

AI Agent

测试

Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个

• 攻击投毒与后门
• 组件RAG

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御

arXiv

2609.02316

发表

9月2日

层

应用层

场景

LLM 应用

测试

Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个

• 防御检测与过滤
• 攻击投毒与后门
• 组件RAG
• +1+1

AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

arXiv

2609.19140

发表

9月17日

层

应用层

场景

网页与电脑操作

测试

Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个

• 攻击提示注入

MADBench：多智能体辩论安全性评测基准发布

发布 MADBench，评测多智能体辩论会吸收还是放大对抗影响

arXiv

2609.39146

发表

9月30日

层

应用层

场景

多智能体

测试

gpt-4o、GPT-5、GPT-6 Astra

• 攻击提示注入
• 组件RAG
• +1+1

SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败

用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全

arXiv

2609.19705

发表

9月17日

层

应用层

场景

AI Agent

测试

GPT-4、GPT-4o、GPT-4o-mini 等 7 个

• 攻击提示注入
• 风险Agent 危险操作
• 组件记忆
• +1+1

DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反

arXiv

2609.24662

发表

9月21日

层

应用层

场景

多智能体

测试

GPT-5、GPT-5-mini、GPT-5-nano 等 14 个

• 攻击提示注入