Patronus：识别与缓解预训练语言模型中的可迁移后门
Patronus: Identifying and Mitigating Transferable Backdoors in Pre-trained Language Models
AI 导读
研究者提出 Patronus 防御框架，用于识别和缓解预训练语言模型中的可迁移后门。论文指出，下游任务微调会不可避免地修改模型参数、改变输出分布，使预先计算的防御失效，因此 Patronus 将防御重点从输出特征转向输入侧不变性，利用对抗触发器在模型权重变化时保持不变的特性。为应对离散文本优化的收敛难题，该框架引入多触发器对比搜索算法，并结合实时输入监控与对抗训练模型净化的双阶段缓解策略。在 15 个 PLM 和 9 个任务上的实验显示，Patronus 的后门检测召回率不低于 98.3%，并将攻击成功率降至干净设置水平，优于所有基线。代码已在 GitHub 开源。