全部论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

Fara1.5-27B、CAVEAT-27B、GPT-5.6-Sol 等 14 个

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

GUI-Owl(32B)、Mai-UI(8B)、Qwen2.5-VL(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

研究发现类型化决策模型主要按选项标签而非定义作答

揭示类型化决策模型按选项标签而非定义规则作答

arXiv

2610.02586

发表

10月1日

层

提示层

场景

模型与 API

测试

von、Qwen2.5-0.5B、Qwen2.5-1.5B 等 6 个

• 组件护栏与评审

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御

arXiv

2609.02316

发表

9月2日

层

应用层

场景

LLM 应用

测试

C-GEO Guard、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

• 防御检测与过滤
• 攻击投毒与后门
• 组件RAG
• +1+1

SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

arXiv

2609.05843

发表

9月5日

层

提示层

场景

模型与 API

测试

Intern-S2 Preview、GPT-5.4 mini、GPT-5.5 等 12 个

• 攻击检测规避
• 技术编码与混淆
• 组件护栏与评审
• +1+1

SciSlopBench：评测并缓解 AI 生成论文中的科学灌水

构建 SciSlopBench 评测科学灌水，并用 SciSlopHarness 约束修订

arXiv

2610.00531

发表

10月2日

层

模型层

场景

模型与 API

测试

NTS、Pangram、CycleReviewer (8B) 等 8 个

• 风险幻觉与编造

Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐

提出 Drift-Bench++与 GRIP，评测智能体在错位与静默漂移下的意图对齐

arXiv

2609.38604

发表

10月1日

层

应用层

场景

AI Agent

测试

五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）、DeepSeek-V4-Pro

SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

arXiv

2606.18936

发表

6月17日

层

模型层

场景

模型与 API

测试

S1-Base-Lite、S1-Base-Ultra、S1-Base-Pro 等 14 个

• 风险幻觉与编造
• +1+1

LongPIBench：面向长上下文提示注入的评测基准

提出 LongPIBench，评测长文档场景下的提示注入攻击与防御

arXiv

2608.28411

发表

8月28日

层

应用层

场景

LLM 应用

测试

Apertus-8B-Instruct、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct 等 11 个

• 攻击提示注入