DRYLAB-Bench:评测 Agent 式 LLM 突变设计的生物安全风险
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
- arXiv
- 2610.13116
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 4.8、Claude Fable 5 等15个
- 风险危险能力
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
提出 RSIGym 环境,评测研究智能体的递归自改进
适配多种已发表说服评测并比较模型排名
这项研究比较的是自动化说服评测是否一致,而不是哪一种分数更正确。
比较连续后训练阶段如何改变语言模型的说服力
作者用同一人类协议,把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT,以及其后的 IPO。
提出 TasteVal 基准,衡量模型设计实验并解释结果的研究品味
评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
作者比较编程智能体在利用生成与漏洞修复上的自主表现,并检查修复之后还能不能被攻破。文中的 help 指自主完成任务,不是提升人类操作者。
在 GOAD 上评测 NeuroSploit 编排对 AD 自主渗透的提升
评测 Agent 选择并早期操作高风险生物工具的能力
这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步:为设计任务选工具,以及在仓库里完成玩具级操作。作者关心的是,有生命科学背景但不会专门操作高风险工具的行为者,能否借此降低门槛。范围限于预测性、生成性工具。
提出 KaliBench,评测模型把安全意图译成 Kali 命令的能力
用 CyberPersistBench 评测入侵后安装与持久化能力
CyberPersistBench 是评测入侵后安装与持久化的基准,关注初始访问消失后是否仍能维持原生立足点。。
Chan 等论证:自动化 AI 研发可能经软件反馈环形成智能爆炸,把本需数年的进展压进数月或更短。他们关心的不是换硬件的建设周期,而是 AI 扩大有效研发劳动力、再产出更强系统,以及社会能否在能力跃迁前看见、约束并适应这一过程。
发布 Systemic Risk Index 流水线与看板,评测四类系统风险
提出双层系统 AIDE2,使研究智能体自改进 Harness 并对比人类研发基线
摘要提出双层递归自改进系统 AIDE2,在固定预算下演化 Harness 代码,多项留出基准超越人类基线并降低奖励黑客。
提出 MobileCybench,用可执行探针评测 Agent 的漏洞发现能力
提出成本感知的 MCP 编排框架,用确定性利用图与免费层模型做自动化渗透测试
PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架,用确定性利用图把 7B 本地模型挡在利用关键路径之外,并把每次交战的美元成本当作实测指标。。
提出 VLoc Bench,评测智能体在完整仓库中定位漏洞文件并抑制修复后误报
摘要论文提出仓库级漏洞定位基准 VLoc Bench,指出当前模型定位表现较低且易在已修复代码上产生误报。
提出基准 PATCHBENCH,评测编程 Agent 的漏洞修补是否真正修复根因
摘要论文揭示漏洞修复评测的记忆与表面防护问题,提出离栈变异基准与双重验证,测得智能体实际解决率仅约五成。
提出 FUSE 框架,评测大语言模型的化生危险能力
提出 SRE-Bench 评测智能体的真实规模二进制逆向能力
作者构建并评测 SRE-Bench,一个从零编写、用于测量智能体逆向工程而非利用开发的基准,并称它同时满足污染控制与真实软件规模。