评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
全部论文
另有 669 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemini-3.1-Pro、Claude-Opus-4.6、GPT-5.4 等 5 个
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 测试
- GLM-4.6、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、GPT-6-Astra、GPT-5.6-Sol 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 评测与基准arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Claude Opus 4.8、Claude Sonnet 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- OpenCode/GLM-5.2、OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol 等 5 个
- 风险危险能力
- 评测与基准arXiv 2609.19892
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
- arXiv
- 2609.19892
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-4.7、GLM-5.2、GLM-5.3 等 15 个
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
- 评测与基准arXiv 2609.15939
VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力
提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞
- arXiv
- 2609.15939
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemini 3 Pro、Gemini 2.5 Flash、Gemini 3.1 Flash Lite 等 15 个
- 风险危险能力
摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。
- 评测与基准arXiv 2609.04075
PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准
提出 PATCHBENCH，评测编程智能体对 C/C++漏洞的真实修补能力
- arXiv
- 2609.04075
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- OpenHands + Gemini 3.5 Flash、OpenHands + Gemini 3.1 Pro、Codex + GPT-5.6 Sol 等 11 个
摘要论文揭示漏洞修复评测的记忆与表面防护问题，提出离栈变异基准与双重验证，测得智能体实际解决率仅约五成。
- 评测与基准arXiv 2609.34274
BIABench：评测 AI 智能体在真实生物图像分析任务上的表现
提出 BIABench，评测智能体完成端到端生物图像分析任务
- arXiv
- 2609.34274
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.1、Gemini 3.1 Pro、GPT-5.6 Sol 等 8 个
- 评测与基准arXiv 2609.06966
Mole：面向前沿实验室 AI 智能体的内部威胁检测基准
提出 MOLE 基准，评测监控器对智能体内部威胁的检出能力
- arXiv
- 2609.06966
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini 3.1 Pro Preview、GPT-5.3 Chat、GPT-5.5 等 15 个
摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。
MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。
- 评测与基准arXiv 2609.08149
研究者发布 SWE-Bench Pro Verified，修正奖励作弊与任务质量问题
构建 SWE-Bench Pro Verified，抑制编码智能体的奖励破解和任务缺陷
- arXiv
- 2609.08149
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.3、GLM-5.2、GPT-5.6-Sol 等 7 个
- 风险奖励作弊
- 评测与基准arXiv 2606.14295
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
- arXiv
- 2606.14295
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.1、GPT-5.5、Claude-Opus-4.7 等 7 个
- 风险危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
- 评测与基准arXiv 2609.39578
Box² Bench：语言模型能否有选择地依赖外部指导
提出 Box2-Bench，评测模型能否选择性依赖外部工作流
- arXiv
- 2609.39578
- 发表
- 层
- 应用层
- 测试
- Gemini 3.7 Flash、GLM 5.2、DeepSeek V4 Flash 等 9 个
摘要Box2 把利用与稳健拆开。
Box2-Bench 固定任务与模型，只改变工作流可靠性，用来衡量模型能否选择性依赖可能出错的外部指导。
- 评测与基准arXiv 2608.07556
MasDrift：跨多智能体架构的授权保持基准
用 MasDrift 评测多智能体架构的授权保持
- arXiv
- 2608.07556
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini 3.1 Pro、DeepSeek V4 Flash、Qwen3.7 Plus 等 6 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要授权保持可被测量：层级用未授权动作换完成率，重锚定比沿链携带更稳。
MasDrift 把多智能体设计中的授权保持做成可测量性质，对象是没有攻击者的普通委托。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测虚假指责下智能体破坏已完成正确工作的行为
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Claude-Sonnet-5、Claude-Opus-5 等 14 个
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.32635
TrustFork：显示身份如何劫持 LLM 智能体编排的权限
提出 TRUSTFORK 基准，评测展示身份劫持多智能体编排权限
- arXiv
- 2609.32635
- 发表
- 层
- 应用层
- 测试
- GLM-5.2、GLM-4.7、GPT-5.6-Sol 等 8 个
- 攻击提示注入
摘要论文提出了多智能体安全基准 TRUSTFORK，揭示展示身份如何劫持操作权威，并证明事后验证无法弥补已发生的执行破坏。
- 评测与基准arXiv 2609.05591
WolfSociety：金融智能体社会中有害智能体规模带来的集体风险
用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃
- arXiv
- 2609.05591
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GLM-4.5、DeepSeek V3.2、GPT-4.1 等 6 个
摘要更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。
WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
构建 Emergence World，评测长时程多智能体对抗韧性与群体失效
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini 3.5 Flash、Gemini 3.1 Flash Lite、Claude Opus 4.8 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。