ReproBAIT:编码智能体能否自行构建生物 AI 工具?
ReproBAIT: Can coding agents build their own biological AI tools?
AI 导读
研究者提出 ReproBAIT 评测,测量编码智能体在受限信息条件下设计、实现并训练已发表生物 AI 工具的能力。被测智能体在无互联网的安全沙箱中运行,获得训练数据、固定的时长与算力预算以及关于目标工具的有限信息,复现工具在留出数据上按工具特定指标打分。评测覆盖逆蛋白质折叠工具 ProteinMPNN、全原子生成扩散工具 RFdiffusion3 和一个闭源分子设计工具;在多个领先的闭源与开源编码智能体上,部分选定工具被较大程度复现,对高度复杂工具的复现能力有限。由于开源工具可能已进入模型预训练语料,作者设计了记忆化检验方法,发现与记忆化一致的中等程度证据,且在不同编码智能体间存在差异。作者据此提示,工具开发者公开发布工具信息时需更加谨慎,基于此类信息的重建可能削弱工具的商业价值或使双用途受控访问策略失效。