全部论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个

CredLeak-Bench

提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

用 MMPIBench 评测智能体框架的多模态提示注入

arXiv

2609.09404

发表

9月9日

层

应用层

场景

AI Agent

测试

Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御

arXiv

2609.02316

发表

9月2日

层

应用层

场景

LLM 应用

测试

Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个

• 防御检测与过滤
• 攻击投毒与后门
• 组件RAG
• +1+1

SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

arXiv

2609.05843

发表

9月5日

层

提示层

场景

模型与 API

测试

GPT-5.4 mini、GPT-5.5、DeepSeek V4 Flash 等 12 个

• 攻击检测规避
• 技术编码与混淆
• 组件护栏与评审
• +1+1

ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

arXiv

2609.36562

发表

9月29日

层

提示层

场景

模型与 API

测试

ThinkingGuard（Qwen3-VL-8B-Instruct）、GPT-5.1、Claude-Sonnet-4-6 等 9 个

• 防御检测与过滤
• 攻击越狱
• 组件护栏与评审
• +2+2

MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

构建多模态技能图像攻击基准 MMSkillRisk 并设计 NCVA

arXiv

2609.35912

发表

9月28日

层

应用层

场景

编程 Agent

测试

GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件MCP 与技能
• +3+3