全部论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

arXiv

2610.06748

发表

10月5日

层

应用层

场景

多智能体

测试

GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个

• 攻击恶意使用
• 风险欺骗与谋划

MisKnow-Agent 评测

评测深度研究 Agent 是否把检索误导文档采纳为自身结论

arXiv

2607.20891

发表

7月23日

层

应用层

场景

AI Agent

测试

Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个

• 攻击投毒与后门
• 组件RAG

CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力

arXiv

2607.18538

发表

7月21日

层

应用层

场景

编程 Agent

测试

Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个

• 风险危险能力

研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

评测 RAG 中过期文档推翻模型原本正确回答的现象

arXiv

2609.31342

发表

9月25日

层

应用层

场景

LLM 应用

测试

GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个

• 组件RAG

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

arXiv

2609.02316

发表

9月2日

层

应用层

场景

LLM 应用

测试

Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个

• 防御检测与过滤
• 攻击提示注入
• 组件RAG
• +1+1

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用

arXiv

2609.23980

发表

9月21日

层

应用层

场景

编程 Agent

测试

OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个

• 风险危险能力

研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入

提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆

arXiv

2607.05189

发表

7月6日

层

应用层

场景

AI Agent

测试

GPT-5.4、Claude Sonnet 4.6、Claude Sonnet 4.5 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +2+2

PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%

构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚

arXiv

2607.10526

发表

7月12日

层

应用层

场景

AI Agent

测试

GPT-5.5、GPT-5.4、Gemini-3.1-Pro 等 12 个

• 风险失准与价值偏离
• 组件记忆

Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐

提出 Drift-Bench++与 GRIP，评测智能体在错位与静默漂移下的意图对齐

arXiv

2609.38604

发表

10月1日

层

应用层

场景

AI Agent

测试

DeepSeek-V4-Pro、五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）

PrivEscalate：面向 LLM 自动化 Linux 提权的 531 场景基准与 PrivEscAgent 增强方案

构建 PrivEscalate 评测 Linux 提权并设计 PrivEscAgent

arXiv

2609.09087

发表

9月9日

层

应用层

场景

AI Agent

测试

GPT-5.4、Claude Sonnet 4.6、GPT-4.1 等 6 个

• 攻击恶意使用

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个

• 风险危险能力

ForesightSafety-TIDE

提出 ForesightSafety-TIDE，评测多智能体在单点欺骗下的集体事实恢复

arXiv

2608.03421

发表

8月4日

层

应用层

场景

多智能体

测试

GPT-5.5、DeepSeek-v4-pro、Grok-4.5

• 风险欺骗与谋划

研究评测 14 个模型对不可靠工具的过度依赖

评测 Agent 对不可靠工具返回的过度依赖

arXiv

2609.05587

发表

9月5日

层

应用层

场景

AI Agent

测试

Qwen3-235B、Qwen3-235B-Think、Qwen3-30B 等 15 个

• 攻击提示注入

Box² Bench：语言模型能否有选择地依赖外部指导

提出 Box2-Bench，评测模型能否选择性依赖外部工作流

arXiv

2609.39578

发表

9月30日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个

MADBench：多智能体辩论安全性评测基准发布

发布 MADBench，评测多智能体辩论会吸收还是放大对抗影响

arXiv

2609.39146

发表

9月30日

层

应用层

场景

多智能体

测试

gpt-4o、GPT-5、GPT-6 Astra

• 攻击提示注入
• 组件RAG
• +1+1

论文提出 DerivAudit：审计长期 Agent 记忆是否真由交互历史支持

提出 DERIVAUDIT，审计长期 Agent 记忆是否由交互历史支持

arXiv

2609.36130

发表

9月28日

层

应用层

场景

AI Agent

测试

Qwen3-30B-A3B、Gemma-4-31B、Llama-3.3-70B-Instruct

• 风险幻觉与编造
• 组件记忆

LongPIBench：面向长上下文提示注入的评测基准

提出 LongPIBench，评测长文档场景下的提示注入攻击与防御

arXiv

2608.28411

发表

8月28日

层

应用层

场景

LLM 应用

测试

Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个

• 攻击提示注入

WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃

arXiv

2609.05591

发表

9月5日

层

应用层

场景

多智能体

测试

DeepSeek V3.2、GPT-4.1、Qwen3-235B 等 6 个

• 风险Agent 危险操作