评测与基准arXiv:2607.27191 · 7月30日研究者提出影子评测:前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究提出影子评测,检验前沿智能体能否独立完成开放式科研编程 Agent·测试Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个·应用层危险能力摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现,但在科学探索与有效利用反馈上未达到顶会门槛。完整解读
评测与基准arXiv:2608.11469 · 8月12日SRE-Bench:面向 Agent 逆向工程的无污染真实规模基准构建无污染的 SRE-Bench,评测智能体在真实规模二进制上的逆向能力编程 Agent·测试GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个·应用层危险能力摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE,公开设置下多数模型完全解开比例不高。作者构建并评测 SRE-Bench,一个从零编写、用于测量智能体逆向工程而非利用开发的基准,并称它同时满足污染控制与真实软件规模。完整解读
评测与基准arXiv:2609.23980 · 9月21日斯坦福与 UC Berkeley 发布 MobileCybench:用可执行探针评测 Agent 漏洞发现提出 MobileCybench,用可执行探针评测编程智能体的漏洞发现与利用编程 Agent·测试OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个·应用层危险能力完整解读