跳到正文
原文
UK AI Security Institute·本站收录· 原文发表精选关注度44

AISI 评测:AI 编程智能体能根据论文重建生物 AI 工具吗?

Can AI coding agents rebuild biological AI tools from a paper?

AI 导读

UK AISI 化学生物团队与 SecureBio 合作构建 ReproBAIT 评测,测试 AI 编程智能体在仅有论文等公开信息和训练数据的条件下,能否复现现有生物 AI 工具(BAITs)。评测在单 GPU、无网络的沙箱中进行,覆盖开源的 ProteinMPNN、RFdiffusion3 和闭源分子设计工具 CMD,测试了 Claude Opus 5、GPT-5.6 Sol、Kimi K3、Qwen3.8-2.4T 四个编程智能体。结果显示,最简单的工具可在 4 小时内、不到 20 美元算力预算下成功复现,两个较简单工具的复现成本通常在 4 至 20 美元之间;Claude Opus 5 在拿到完整论文时对 ProteinMPNN 达到 96.5% 保真度,但没有智能体在时间预算内复现最复杂的 RFdiffusion3,每次尝试花费 102 至 301 美元。

推荐理由

AISI 的 ReproBAIT 评测给出复现成本与保真度数字,显示仅不公开代码并不等于安全发布,管控底层生物数据或是更有效的方向。

相关论文
阅读原文aisi.gov.uk