跳到正文
原文
SecureBio· Shiv Muthupandiyan·本站收录· 原文发表精选关注度44

ReproBAIT:测试编码 Agent 复现生物 AI 工具的基准

ReproBAIT: A Benchmark for Reproducing Biological AI Tools

AI 导读

SecureBio 与 AI Security Institute 合作发布 ReproBAIT 基准,测试编码 Agent 能否依据已发表论文复现生物 AI 工具(BAITs)。四款基于 2026 年夏发布模型的编码 Agent 在限定时间、单张 GPU、无网络条件下,根据论文与训练数据重建工具,并在保留数据上与原版对比打分。Agent 在 CMD 上全部达到原版水平,Claude Opus 5 在 3 小时预算和完整论文条件下于 ProteinMPNN 达到 96.5% 复现保真度;更复杂的 RFdiffusion3 无人完全复现,唯一部分成功来自 Claude Opus 5 在仅摘要条件下的 81.5%,且该次略微收窄了任务。大多数 Agent 复现两种较简单工具的成本在 4 至 20 美元之间。

推荐理由

该基准量化了编码 Agent 依据论文复现生物 AI 工具的保真度与成本,为追踪 Agent 生物能力前沿提供了可扩展的测量框架。

相关论文
阅读原文securebio.substack.com