FAB 攻击:给 HuBERT/WavLM 植入后门,背景警笛声即可让下游语音任务失灵
研究者提出 FAB(Foundation Acoustic model Backdoor)攻击,可在不接触预训练数据、不知道下游任务的情况下,向 HuBERT-base 和 WavLM-base 两个声学基础模型植入后门。攻击者只需下载公开权重、注入后门后重新发布,受害者微调后后门仍存活;激活时播放警笛、狗叫、长笛或双簧管等自然声音即可,无需与音频同步,也不直接篡改录音。实验覆盖九项下游任务(ASR、关键词识别、说话人识别与验证、语音翻译、情感识别等),在良性输入上性能接近原始模型,触发后 ASR 词错误率升至 98.4%,物理播放场景下词错误率仍不低于 80%。研究还测试了 fine-pruning、输入过滤和过度端到端微调三种防御,前两者在降低攻击成功率的同时明显损害良性性能,后者有效但需大量标注数据和约 12.8 倍训练时间。