全部论文

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个

• 攻击提示注入

研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答

arXiv

2609.31342

发表

9月25日

层

应用层

场景

LLM 应用

测试

Claude-Opus-4.5、Claude-Sonnet-4.6、GPT-4o 等 13 个

• 组件RAG

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御

arXiv

2609.02316

发表

9月2日

层

应用层

场景

LLM 应用

测试

Claude Sonnet 4.6、Claude Opus 4.6、Gemma-4-31B-IT 等 11 个

• 防御检测与过滤
• 攻击投毒与后门
• 组件RAG
• +1+1

FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

arXiv

2609.03221

发表

9月3日

层

应用层

场景

LLM 应用

测试

claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个

OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准

提出 OSWorld-Science 评测计算机使用智能体的科学软件操作能力

arXiv

2609.39903

发表

9月30日

层

应用层

场景

网页与电脑操作

测试

Claude Fable 5.1、Claude Opus 5、Claude Sonnet 5 等 12 个

RAIM：用廉价小模型聚合替代前沿模型做幻觉检测

提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉

arXiv

2609.39229

发表

9月30日

层

应用层

场景

LLM 应用

测试

Claude Sonnet (claude-sonnet-4-6)、Llama、Qwen 等 15 个

• 防御检测与过滤
• 风险幻觉与编造
• 组件护栏与评审

AgentTell：浏览器 Agent 的行为侧信道泄漏基准

构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露

arXiv

2609.32915

发表

9月26日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Luna 等 6 个

• 风险Agent 危险操作

EngiWorld 基准发布：前沿 Agent 在专业工程环境中最高仅得 44.3 分

提出 EngiWorld 基准，评测 Agent 在专业工程软件中走完设计闭环的能力

arXiv

2609.37686

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

Claude Opus 5 (Max)、GPT-5.6-Sol (XHigh)、Qwen 3.8 Max 等 7 个

CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行

AI 导读作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。

arXiv

2609.03438

发表

9月3日

层

应用层

场景

网页与电脑操作

测试

Claude Sonnet 4.6、UI-Venus-1.5-8B、UI-TARS-1.5-7B 等 10 个

• 防御推理时干预
• 风险Agent 危险操作
• 组件视觉