开放权重生物模型中的预训练数据过滤

UK AISI 的 Chem-Bio 团队从零预训练了 8M 到 3B 参数的 ESM-2 蛋白质语言模型，在训练数据中移除病毒蛋白序列，以检验预训练数据过滤对专用科学模型的防护效果。实验设置了从仅移除单一流感毒株到移除全部病毒蛋白及其近缘同源物的多档排除范围，结果显示过滤在掩码语言建模、突变效应预测和接触预测三项任务上都降低了病毒蛋白性能，模型越大降幅越明显，而非病毒蛋白性能基本不受影响。但被移除的能力可通过在排除的病毒数据上继续微调完全恢复，最大 3B 参数模型约需 $80 的 H100 算力，且所需病毒数据通常公开可得。研究据此认为数据过滤单独不构成稳健防护，需配合数据访问控制等额外措施；结果基于单一 ESM-2 模型族，恢复成本的测量也不够精确。