LLM 在双用途计算生物学任务上对新手的能力提升
LLM Novice Uplift on Dual-Use, In Silico Biology Tasks
论文速读
据论文全文整理（AI 生成），以原文为准
一项多模型、多基准的人体提升研究显示，可使用多个前沿 LLM 的新手在八组生物安全相关任务上的准确率是仅用互联网对照组的 4.16 倍（95% CI [2.63,6.87]）。
- 大语言模型在生物学基准上表现越来越好，但它们能否真正提升新手（novice）的能力、使其超过仅用互联网资源的水平，尚不清楚。这一问题关系到科学加速与两用（dual-use）生物风险，因为此前需要专家协助的任务可能被新手完成。
- 作者开展了一项多模型、多基准的人类 uplift 研究，比较新手在有 LLM 访问（Treatment）与仅互联网（Control）两种条件下的表现。参与者为生物学新手，任务涵盖八个生物安全相关基准，最长可达 13 小时，Treatment 组可使用 o3、Gemini 2.5 Pro、Claude Opus 4 等多个模型，并收集纵向数据与定性行为编码。
- 有 LLM 访问的新手准确率约为对照组的 4.16 倍（95% CI [2.63,6.87]），在 8 个基准中的 7 个上优于对照组，并在有专家基线的 4 个基准中的 3 个上超过专家。但独立 LLM 往往优于 LLM 辅助的新手，且 89.6% 的参与者表示几乎未遇到获取两用相关信息的困难。
- 研究期间可用模型集合不一致（Claude Opus 4 中途发布），部分参与者找到了 HLE 和 LAB-Bench 的在线题目，缺乏双盲可能引入受试者期望效应，Long-Form Virology 存在提示缺失与模型拒答问题。作者建议未来研究如何优化人类贡献、LLM 集成互相约束，以及这些动态如何迁移到真实湿实验室环境。
一项多模型、多基准的人体提升研究显示，可使用多个前沿 LLM 的新手在八组生物安全相关任务上的准确率是仅用互联网对照组的 4.16 倍（95% CI [2.63,6.87]）。研究招募非 STEM 与 STEM 两组新手，任务最长 13 小时，治疗组可使用 o3、o4-mini、Gemini 2.5 Pro、Claude 3.7 Sonnet、Claude Opus 4 及 Gemini Deep Research 等模型。在有专家基线的四个基准中，LLM 辅助新手在其中三个超过专家；但独立 LLM 常优于 LLM 辅助的新手，作者认为用户未充分发挥模型能力。89.6% 的治疗组参与者表示在获取双用途相关信息时几乎未遇到护栏阻碍。
推荐理由研究以最长 13 小时的人机协作实测，量化 LLM 对生物学新手的能力提升，并给出专家与模型单独作答的对照基线。