LLM 在双用途计算生物学任务上对新手的能力提升
LLM Novice Uplift on Dual-Use, In Silico Biology Tasks
AI 导读
一项多模型、多基准的人体提升研究显示，可使用多个前沿 LLM 的新手在八组生物安全相关任务上的准确率是仅用互联网对照组的 4.16 倍（95% CI [2.63,6.87]）。研究招募非 STEM 与 STEM 两组新手，任务最长 13 小时，治疗组可使用 o3、o4-mini、Gemini 2.5 Pro、Claude 3.7 Sonnet、Claude Opus 4 及 Gemini Deep Research 等模型。在有专家基线的四个基准中，LLM 辅助新手在其中三个超过专家；但独立 LLM 常优于 LLM 辅助的新手，作者认为用户未充分发挥模型能力。89.6% 的治疗组参与者表示在获取双用途相关信息时几乎未遇到护栏阻碍。
推荐理由
研究以最长 13 小时的人机协作实测，量化 LLM 对生物学新手的能力提升，并给出专家与模型单独作答的对照基线。