评测与基准arXiv:2610.08871 · 10月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
网页与电脑操作测试Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个应用层
完整解读
评测与基准arXiv:2606.05647 · 6月4日
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
编程 Agent测试Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个应用层
- 欺骗与谋划
- 监控器
完整解读
评测与基准arXiv:2610.07639 · 10月6日
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
编程 Agent测试GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个应用层
完整解读
评测与基准arXiv:2604.02947 · 4月3日
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
- 恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
完整解读
评测与基准arXiv:2610.03153 · 10月2日
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区智能体的运行时安全风险
编程 Agent 多智能体测试GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5应用层
- 提示注入
- MCP 与技能
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
完整解读
评测与基准arXiv:2608.09476 · 8月10日
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
编程 Agent测试Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个应用层
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
完整解读
评测与基准arXiv:2609.23980 · 9月21日
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
编程 Agent测试OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个应用层
- 危险能力
完整解读
评测与基准arXiv:2609.19892 · 9月17日
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
编程 Agent测试Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个应用层
- Agent 危险操作
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
完整解读
评测与基准arXiv:2608.00677 · 8月1日
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
编程 Agent测试GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个应用层
- 提示注入
- 自动化搜索
完整解读
评测与基准arXiv:2608.12851 · 8月13日
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险
编程 Agent测试Claude Code、Codex、Hermes 等 6 个应用层
完整解读
评测与基准arXiv:2609.09798 · 9月9日
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏
编程 Agent攻击者黑盒无盒测试CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个应用层
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
完整解读
评测与基准arXiv:2609.19587 · 9月17日
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
编程 Agent测试Opus 5、Opus 4.8、Opus 4.7 等 8 个应用层
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
完整解读
评测与基准arXiv:2606.14295 · 6月12日
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
编程 Agent测试GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个应用层
- 危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
完整解读
攻击arXiv:2609.30383 · 9月25日
研究者提出技能级联攻击
提出技能级联攻击，把恶意目标拆进多个技能以绕过单技能检测
编程 Agent测试GPT-5.4、GPT-5.4 Mini、Claude Opus 4.6 等 10 个应用层
摘要论文探讨了多技能智能体系统面临的技能级联攻击风险，提出自动化红队框架与基准集，指出跨技能交互存在安全防护盲区。
完整解读
评测与基准arXiv:2609.35912 · 9月28日
MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
构建多模态技能图像攻击基准 MMSkillRisk 并设计 NCVA
编程 Agent测试GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个应用层
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
完整解读

已经到底了