全部论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、GPT-5.6-luna、Claude Sonnet 5 等 7 个

• 攻击提示注入

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

GPT-5.2、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答

arXiv

2609.31342

发表

9月25日

层

应用层

场景

LLM 应用

测试

GPT-4o、GPT-4.1、GPT-5.5 等 13 个

• 组件RAG

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御

arXiv

2609.02316

发表

9月2日

层

应用层

场景

LLM 应用

测试

GPT 5.5、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

• 防御检测与过滤
• 攻击投毒与后门
• 组件RAG
• +1+1

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、GPT-OSS-120B、GPT-5.4-mini 等 4 个

• 组件记忆

FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

arXiv

2609.03221

发表

9月3日

层

应用层

场景

LLM 应用

测试

openai/gpt-oss-20b、claude-haiku-4-5、claude-sonnet-5 等 7 个

OpenMTB-Audit：LLM 分子肿瘤委员会安全评测暴露过度拒答

构建分子肿瘤委员会审计基准，测量临床过度拒答

arXiv

2610.01497

发表

10月2日

层

模型层

场景

模型与 API、LLM 应用

测试

GPT-4o (gpt-4o-2024-08-06)、GPT-4o-mini (gpt-4o-mini-2024-07-18)

AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

arXiv

2609.19140

发表

9月17日

层

应用层

场景

网页与电脑操作

测试

GPT-OSS 120B、GPT-5、Gemma-4 31B 等 6 个

• 攻击提示注入

OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准

提出 OSWorld-Science 评测计算机使用智能体的科学软件操作能力

arXiv

2609.39903

发表

9月30日

层

应用层

场景

网页与电脑操作

测试

GPT-6 Astra、GPT-5.6 sol、GPT-5.6 terra 等 12 个

RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉

arXiv

2609.39229

发表

9月30日

层

应用层

场景

LLM 应用

测试

MiniCheck-Flan-T5-L','Granite Guardian 3.3','Prometheus-2','GPT-4o、Llama、Qwen 等 15 个

• 防御检测与过滤
• 风险幻觉与编造
• 组件护栏与评审

AgentTell：浏览器 Agent 的行为侧信道泄漏基准

构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露

arXiv

2609.32915

发表

9月26日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6 Luna、Claude Sonnet 5、Gemini 3.7 Flash 等 6 个

• 风险Agent 危险操作

SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件

arXiv

2608.06862

发表

8月7日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

GPT-5-mini、Qwen3.5-9B、Llama-3.1-8B 等 5 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件MCP 与技能
• +3+3

LongPIBench：面向长上下文提示注入的评测基准

提出 LongPIBench，评测长文档场景下的提示注入攻击与防御

arXiv

2608.28411

发表

8月28日

层

应用层

场景

LLM 应用

测试

GPT-4o、GPT-4.1、GPT-5.6 等 11 个

• 攻击提示注入

论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

评测 System One 模型对 Agent 安全输入的分类可靠性与校准

arXiv

2609.33401

发表

9月27日

层

提示层

场景

LLM 应用

测试

GPT-4.1、Jev 1.13、Decider, approximately 2B 等 14 个

• 攻击提示注入
• 组件护栏与评审

EngiWorld 基准发布：前沿 Agent 在专业工程环境中最高仅得 44.3 分

提出 EngiWorld 基准，评测 Agent 在专业工程软件中走完设计闭环的能力

arXiv

2609.37686

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol (XHigh)、Claude Opus 5 (Max)、Qwen 3.8 Max 等 7 个

CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行

AI 导读作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。

arXiv

2609.03438

发表

9月3日

层

应用层

场景

网页与电脑操作

测试

GPT-5、UI-Venus-1.5-8B、UI-TARS-1.5-7B 等 10 个

• 防御推理时干预
• 风险Agent 危险操作
• 组件视觉