预训练数据过滤在蛋白质语言模型中的有效性与持久性

研究者在 ESM-2 系列蛋白质语言模型（8M 至 3B 参数）上评估预训练数据过滤这一安全防护措施，发现从预训练数据中过滤病毒蛋白会明显降低模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，同时大体保留非病毒蛋白的性能。这些影响集中在可感染人类的病毒的蛋白上，并随模型规模扩大而增强，更严格的过滤在更大模型上更有效。但在被过滤的病毒家族序列上微调即可恢复损失的性能，恢复成本随规模上升，即使最大模型也只需约 80 美元的 H100 机时。作者据此认为，预训练过滤能中等程度地选择性削弱病毒蛋白相关能力，但在只需适量算力和相关数据的微调面前并不持久。