全部论文

微软研究院发布 CAVEAT

提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择

arXiv

2609.27273

发表

9月23日

层

应用层

场景

网页与电脑操作

测试

Fara1.5-27B、CAVEAT-27B、GPT-5.6-Sol 等 14 个

DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

提出 DIBench，评测界面注入对移动智能体选择决策的操纵

arXiv

2610.06898

发表

9月29日

层

应用层

场景

网页与电脑操作

测试

GUI-Owl(32B)、Mai-UI(8B)、Qwen2.5-VL(32B) 等 7 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉

研究发现类型化决策模型主要按选项标签而非定义作答

揭示类型化决策模型按选项标签而非定义规则作答

arXiv

2610.02586

发表

10月1日

层

提示层

场景

模型与 API

测试

von、Qwen2.5-0.5B、Qwen2.5-1.5B 等 6 个

• 组件护栏与评审

论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

评测启用工具调用后多模态模型拒答有害图文请求的变化

arXiv

2610.03938

发表

10月3日

层

应用层

场景

AI Agent

测试

AdaReasoner-7B-Randomized、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview 等 13 个

• 风险拒答失当
• 组件视觉

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

重评提示注入检测器，检验基准分数对智能体部署的预测力

arXiv

2610.03448

发表

10月2日

层

应用层

场景

AI Agent

测试

Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

• 防御检测与过滤
• 攻击提示注入
• 组件护栏与评审

MLCommons 发布 Jailbreak Benchmark v1.0

构建 MLCommons 越狱基准以测量模型的单轮越狱韧性

arXiv

2610.02827

发表

10月2日

层

提示层

场景

模型与 API

测试

LFM2-24B-A2B、Gemma 3N E4B Instruct、Qwen 2.5 7B Instruct Turbo 等 8 个

• 攻击越狱

AgentGym2 发布：在去理想化真实环境中评测 LLM 智能体

提出 AgentGym2 基准，在去理想化环境中评测智能体端到端任务能力

arXiv

2607.05174

发表

7月6日

层

应用层

场景

AI Agent

测试

Nex-N1-32B、Nex-N1-671B、GPT-5 等 13 个

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御

arXiv

2609.02316

发表

9月2日

层

应用层

场景

LLM 应用

测试

C-GEO Guard、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

• 防御检测与过滤
• 攻击投毒与后门
• 组件RAG
• +1+1

SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

arXiv

2609.05843

发表

9月5日

层

提示层

场景

模型与 API

测试

Intern-S2 Preview、GPT-5.4 mini、GPT-5.5 等 12 个

• 攻击检测规避
• 技术编码与混淆
• 组件护栏与评审
• +1+1

研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险

构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险

arXiv

2608.12851

发表

8月13日

层

应用层

场景

编程 Agent

测试

Hermes、Claude Code、Codex 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆

VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞

arXiv

2609.15939

发表

9月15日

层

应用层

场景

编程 Agent

测试

Antares-3B、Antares-1B、CodeScout-14B 等 15 个

• 风险危险能力

PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准

提出 PATCHBENCH，评测编程智能体对 C/C++漏洞的真实修补能力

arXiv

2609.04075

发表

9月4日

层

应用层

场景

编程 Agent

测试

Atlantis、Buttercup、RoboDuck 等 11 个

关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

提出诊断阶梯，揭示关键词工具调用评测的假阳性

arXiv

2610.02142

发表

10月1日

层

模型层

场景

模型与 API

测试

VectraYX-600M、VectraYX-1B

ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

arXiv

2609.36562

发表

9月29日

层

提示层

场景

模型与 API

测试

ShieldVLM、GuardReasoner-VL、HiddenDetect 等 9 个

• 防御检测与过滤
• 攻击越狱
• 组件护栏与评审
• +2+2

KaliBench：面向 Kali Linux 网络安全工具使用的细粒度基准

提出 KaliBench，评测模型把安全意图译成 Kali 命令的能力

arXiv

2610.02206

发表

10月1日

层

模型层

场景

模型与 API

测试

Foundation-Sec-Instruct 8B、Foundation-Sec-Reasoning 8B、Llama3.1-Instruct 8B 等 15 个

• 风险危险能力

SciSlopBench：评测并缓解 AI 生成论文中的科学灌水

构建 SciSlopBench 评测科学灌水，并用 SciSlopHarness 约束修订

arXiv

2610.00531

发表

10月2日

层

模型层

场景

模型与 API

测试

NTS、Pangram、CycleReviewer (8B) 等 8 个

• 风险幻觉与编造

Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐

提出 Drift-Bench++与 GRIP，评测智能体在错位与静默漂移下的意图对齐

arXiv

2609.38604

发表

10月1日

层

应用层

场景

AI Agent

测试

五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）、DeepSeek-V4-Pro

ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用

arXiv

2601.10156

发表

1月15日

层

应用层

场景

AI Agent

测试

ShieldAgent-THU、Safiron、TS-Guard 等 10 个

• 防御检测与过滤
• 攻击越狱
• 组件护栏与评审
• +1+1

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

提出 AgentCyberRange，评测智能体自主实施网络攻击的能力

arXiv

2606.14295

发表

6月12日

层

应用层

场景

编程 Agent

测试

PentestGPT-V2、GPT-5.5、Claude-Opus-4.7 等 7 个

• 风险危险能力

SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

arXiv

2606.18936

发表

6月17日

层

模型层

场景

模型与 API

测试

S1-Base-Lite、S1-Base-Ultra、S1-Base-Pro 等 14 个

• 风险幻觉与编造
• +1+1