评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，结构化审计漏洞推理中的虚构主张
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- sonnet-5、gemma-4-26b、llama-4-maverick 等 11 个
全部论文
另有 441 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 评测与基准arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 评测与基准arXiv 2609.15939
VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力
提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞
- arXiv
- 2609.15939
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.5 (xhigh)、GPT-5.5 (default)、Gemini 3 Pro 等 15 个
- 风险危险能力
摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。
- 攻击arXiv 2609.15383
微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力
提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力
- arXiv
- 2609.15383
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
- 测试
- GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个
摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
- 其他arXiv 2609.12039
现实才是最终验证者：智能体软件工程的两大关键缺口
提出双缺口框架统一智能体软件工程的奖励投机与幻觉
- arXiv
- 2609.12039
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 风险奖励作弊
摘要双缺口解释内环为何会放行部署后不可接受的实现，外环用现实证据持续修订 R、M 与 E。
Reality Is the Final Verifier 用 two-gap framework 解释智能体软件工程的主要失败，并主张用外层保证环持续收窄缺口，而不是试图在部署前证明缺口已关闭。
- 其他arXiv 2609.26457
Weco AI 提出 AIDE2：AI 研究智能体递归自我改进 8 天获七次提升
提出双层自改进系统 AIDE2，让外层智能体重写内层 Harness 代码
- arXiv
- 2609.26457
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- claude opus 4.7、gemini 3 flash、gemini 3.1 pro 等 6 个
- 风险危险能力
摘要提出双层递归自改进系统 AIDE2，在固定预算下演化 Harness 代码，多项留出基准超越人类基线并降低奖励黑客。
- 评测与基准arXiv 2606.14295
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
- arXiv
- 2606.14295
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个
- 风险危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
已经到底了