研究者提出影子评测:前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究
提出影子评测,检验前沿智能体能否独立完成开放式科研
完整解读
提出影子评测,检验前沿智能体能否独立完成开放式科研
构建无污染的 SRE-Bench,评测智能体在真实规模二进制上的逆向能力
作者构建并评测 SRE-Bench,一个从零编写、用于测量智能体逆向工程而非利用开发的基准,并称它同时满足污染控制与真实软件规模。
提出 OpenMLE 全栈,用执行反馈后训练机器学习元进化智能体
作者提出全栈 OpenMLE,在机器学习工程里研究从进化到元进化的一步,并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练,以及部署该模型的长程进化搜索。
提出 MobileCybench,用可执行探针评测编程智能体的漏洞发现与利用
完整解读提出 VLoc Bench,评测智能体仅凭弱点类型在完整仓库中定位漏洞
提出双层自改进系统 AIDE2,让外层智能体重写内层 Harness 代码