GhostWord：针对自动语音识别的细粒度后门攻击

现有 ASR 后门把固定短语触发绑到整句目标，留下重复转写和非语音区伪迹，简单预处理即可削弱；论文要做词级、时间局部、可组合的数据投毒后门。

• 场景：作者称基于深度网络的 ASR 已用于大规模转写、车载语音和智能环境，许多应用安全关键，可靠性是基本问题，而后门使模型在干净输入上正常、在触发器出现时输出攻击者控制的内容。
• 现有不足：Fortier 等、Li 等、Zong 等、Ye 等采用短语级投毒：固定声学触发（如铃声或人工噪声）插入音频，整句转写换成固定恶意短语。作者称这会形成相同转写簇，标签频率统计可剔除；Bartolini 等提出用 VAD 去掉可能含触发器的非语音段。作者认为这些简单防御在 ASR 后门文献中很少被明确讨论。
• 核心设计：用码本把约 400 ms 触发器 t 映射到目标词 wtgt；在强制对齐得到的源词时段上软叠加触发器，并只把转写里的源词换成目标词，从而做精确语义翻转（如 “denied”→“allowed”）和多码本组合，同时避开多对一标签伪迹。
• 威胁模型
  • 目标：训练后的模型在干净输入上正常转写；推理时在任意位置叠上触发器 t，该位置被转成对应目标词 wtgt，且与说话人和上下文无关。
  • 知识与能力：只做数据投毒，向训练集 D 注入比例 α 的样本；不控制训练过程，也不知道架构或参数。投毒为脏标签：x* = Ttrigger(x, t, Ω)，y* = glabel(y, wsrc, wtgt)，且 y* ≠ y。
  • 约束与部署：触发段 SNR(xΩ, x*Ω) ≥ 22 dB。主评测是异步（离线）场景下的数字插入；流式与扬声器空中播放见附录 N。
  • 受害系统：在 Common Voice 上微调的多语言 ASR 骨干 Whisper、SpeechT5、MMS；作者称低资源微调是现实且影响大的威胁模型。
• 论文还做了什么：把分类上的 ABL、ANP、SAU、I-BAU 适配到 ASR，并在第 5 节给出高词表下后门抑制倾向于损害干净转写的动机性分析。

论文把相关工作分成视觉后门、音频/ASR 后门和分类防御三条线，并在附录 F 补充触发设计与防御策略。

视觉后门

• BadNets / Chen 等（Gu et al., 2019; Chen et al., 2017）：可见补丁式触发。
• 几何扭曲与样本特定触发（Nguyen & Tran, 2021; Li et al., 2021b）：更隐蔽、自适应的扰动；论文按可见/不可见、局部/全局（Shafahi et al., 2018; Barni et al., 2019）、样本无关/样本特定来区分。

音频与 ASR 后门

• 说话人识别等分类任务（Chen et al., 2024; Guo et al., 2023）：作者称音频后门研究多集中在分类，序列生成式 ASR 相对少。
• 短语级 ASR 投毒（Zong et al., 2023; Li et al., 2025; Fortier et al., 2025; Ye et al., 2022）：声学触发诱导固定恶意句子。作者称这类攻击常引入可检测文本伪迹，可被简单预处理削弱；附录 I 复现 TrojanModel 与 CuckooAttack，并称简单预处理也能缓解它们。
• VAD 防御（Bartolini et al., 2024）：去掉可能含触发器的非语音区域。

防御与骨干

• ABL、SAU、ANP、I-BAU（Li et al., 2021a; Wei et al., 2023; Wu & Wang, 2021; Zeng et al., 2021）：分类上的训练中或训练后缓解。SAU 与 I-BAU 用对抗扰动作替代触发，ANP 用对抗神经元扰动找相关神经元，ABL 先按损失隔离再梯度上升。作者把它们适配到 ASR 并用来评测 GhostWord。
• 骨干：Whisper（Radford et al., 2023）、SpeechT5（Ao et al., 2021）、MMS（Pratap et al., 2023），常在低资源设置下微调。鲁棒性–准确率权衡引用 Raghunathan et al. (2020)、Zhang et al. (2019)、Tsipras et al. (2019)。

基线与基准

• 基线方法：BadNets（音频开头加 100 ms 铃声，整句换成固定目标句）和 Blended（整段高斯噪声按 SNR 叠加，同样整句替换）。作者称据其了解，已有 ASR 专用后门没有公开官方实现，故从图像分类改编这两类，并在附录 I 增加 TrojanModel、CuckooAttack。
• 基准/数据集：Common Voice v23 English、v24 Lithuanian。

作者把 GhostWord 定位为词级、时间局部触发，相对短语级投毒追求更高隐蔽性，并评估其对过滤的稳健性；同时在上述多语言骨干上比较预处理与优化类防御。

GhostWord 用一组码本把短声学触发器绑定到单个目标词：投毒时只在源词的对齐时段叠加触发器，并只替换转写中的那一个词。

问题设定

• 数据投毒：从干净集 D 按投毒率 α 抽 Dsub，得到 Dp，Dtrain = Dc ∪ Dp。攻击者不控制训练。
• 序列标签：ASR 输出长 token 序列，损失是 CTC 或序列到序列交叉熵，覆盖整段输出；与分类只改一个类不同，这里标签改动是相关的 token 级变化，但 GhostWord 只替换一个词。
• 不可感知约束：触发段 SNR ≥ 22 dB。词表规模 |V| ≫ 10^4，作者用来解释防御侧的高类数机制。

码本与触发注入

• 码本项：Ci = (ti, wtgt)。ti 是约 400 ms 的固定噪声，一次采样后保持不变；噪声来自高斯、拉普拉斯、带限高斯和粉红噪声的混合，权重 {πk}，零均值、目标方差。完整生成流程在附录 L。
• 定位：强制对齐模型根据音频和转写给出源词 wsrc 的时间段 Ωi。触发器长于 Ωi 时在段内填充且不重叠相邻词；短于 Ωi 时居中放置，其余部分不变。作者称这样避免干扰邻词发音，并加强触发器与源词的关联。
• 标签函数：yi* 只把 wsrc 换成 wtgt，其余词不变。同一样本可施加多个码本项，以降低名义投毒率或扩大有效码本。默认每个训练样本只用一个码本。

投毒与推理

• 流程：构造 {C1, …, CC}；对 Dsub 中每条样本默认随机选一个码本，施加 Ttrigger 与 glabel。每个码本大约用在 |Dp|/C 个样本上。完整步骤见附录 Algorithm 1。作者称相对整句替换，每条只改一个词，真实语义修改率应按平均语句长度理解，名义投毒率会显得更高。
• 推理：在任意时间位置叠上码本中的 t，模型在该位置输出 wtgt。作者称该关联与说话人、上下文无关，并支持多触发器、多目标词。Figure 1 示意训练时投毒与推理时触发（如 “accepted” 被转成 “denied”），干净输入不受影响。
• 对照攻击：BadNets 在音频开头追加 100 ms 铃声；Blended 用与音频等长的固定长高斯噪声整段叠加，幅度由 SNR 约束。两者都是单触发器、固定目标句、多对一。

防御适配（评测对象，不是攻击步骤）

• 预处理：冗余转写过滤（训练集中出现超过 10 次的固定转写）和 VAD（去掉非语音段）。
• 优化类：SAU 用参考模型与小干净集 Dclean，构造共享错误模式再反学习，强度由反学习轮数控制。ABL 在小干净集上做梯度反学习，强度由反学习学习率控制。I-BAU 在 Dclean 上学习通用对抗扰动作为替代触发，再用隐式超梯度更新。ANP 对神经元做对抗扰动，按敏感度学习掩码并剪枝；ASR 适配细节在附录 B。超参只在留出验证集上选择，见附录 K。
• 自适应防御：Adaptive Neural Cleanse、词级 Adaptive STRIP、强制对齐残差、MP3 压缩与重采样、词频分析。自适应设定下防御者知道 GhostWord 的词级机制。

动机性分析

作者把最终投影抽象成线性分类器加 softmax，只分析一步梯度上升反学习。对 one-hot 目标类 j，更新后 zj′ = zj + η(fj − 1)∥x∥²₂，非目标 zi′ = zi + η fi ∥x∥²₂。在投毒机制下 fj ≈ 1 时，目标 logit 几乎不变，竞争类 logit 按其当前概率上升，概率质量被重新分配。作者引用高维概率结果：K 个独立次高斯向量的最大内积为 O(√log K)，词表变大时近邻更挤，更新集中在少数对齐的类上。作者明确这是机制直觉而不是形式保证；检测类方法和结构化剪枝不在该归约内。Remark 5.1 称真实 token 的语音、语义相关会使该论证更强，而不是更弱。

实验设置

• 模型：Whisper-Small、Whisper-Medium、MMS、SpeechT5。Table 1 为 Common Voice 23 英语；摘要与贡献还报告 v24 立陶宛语，跨语言数字在正文被截断的表和附录中，此处只写能对上的表。
• 攻击：BadNet、Blended、GhostWord。指标为干净测试 WER、投毒测试 WER 和 ASRattack（攻击成功率，作者用来与 ASR 缩写区分）。Table 1 给出多种子 Mean ± SD。
• 防御：无防御、VAD、Transcription Preprocess、Clean Finetune、ABL、ANP、i-BAU、SAU。作者称每组模型–攻击只展示按鲁棒性–准确率权衡选出的最佳防御点（表中加粗，文本未逐格说明哪一格被标粗）。
• 自适应评测：Neural Cleanse 在 20,000 个英语词上排序，10 条音频、多个目标词；STRIP 用 30 条单码本投毒样本、平均约 10 词、每位置 1,000 次扰动；对齐残差 50 条英语样本；压缩/重采样不重新训练。
• 其他设置：流式为 50 句英语（Table 20）；每码本成功率见 Table 21（仅英语四模型）。论文写 SNR 阈值 22 dB、触发约 400 ms；投毒率 α 的具体主实验取值在所读表格中未单列。
• 验证曲线：Figure 2、Figure 3 为 Whisper-Small（英语）、留出验证集上的 SAU 与 ABL，同时画 GhostWord 与 Blended。

主结果

Table 1（英语，Common Voice 23）中 GhostWord 与两种预处理的 ASRattack（%）、WER Clean（%），只列均值：

表格较宽，可左右滑动

模型	无防御 ASRattack	无防御 WER Clean	VAD ASRattack	转写预处理 ASRattack
Whisper-Small	90.8 ± 0.7	15.2 ± 0.4	89.1 ± 0.8	90.8 ± 0.6
SpeechT5	88.3 ± 1.2	26.2 ± 0.3	83.1 ± 0.7	88.4 ± 0.8
MMS	82.7 ± 0.4	20.2 ± 0.6	78.5 ± 0.7	82.8 ± 1.2
Whisper-Medium	93.2 ± 0.6	12.1 ± 0.5	92.4 ± 0.5	93.5 ± 1.1

• 作者称预处理能去掉 BadNet 与 Blended 的短语级关联，但对 GhostWord 无效：上表中转写预处理后 ASRattack 仍为 82.8%–93.5%。同表 BadNet 在转写预处理下四种模型 ASRattack 均为 0.0；Blended 同样为 0.0。VAD 把 BadNet 降到 1.8–4.3，但 GhostWord 仍为 78.5–92.4。
• 优化防御并不均匀。Whisper-Small 上 ANP 将 GhostWord ASRattack 降到 2.1 ± 0.4，WER Clean 为 59.2 ± 0.4；i-BAU 为 3.6 ± 0.3 / 50.2 ± 0.3；SAU 为 19.0 ± 1.1 / 49.4 ± 0.3；ABL 为 13.1 ± 1.1，但 WER Clean 为 71.2 ± 1.1。SpeechT5 上 ABL 几乎未削弱攻击（85.8 ± 1.1，WER Clean 28.9 ± 0.7）；SAU 为 49.6 ± 0.4。Whisper-Medium 上 ABL 的 ASRattack 为 93.0 ± 0.1，与无防御 93.2 接近，WER Clean 从 12.1 升到 31.6。
• 摘要中的平均：作者称在最有效的 ABL、ANP、SAU、I-BAU 上，跨两种语言和四个模型，ASRattack 从 89.3% 降到 29.1%，干净 WER 从 21.5% 升到 45.0%。贡献条写无防御平均 ASRattack 为 89.9%，与 89.3% 并列出现。4.1 节另写优化防御后干净 WER 平均从 21.9 升到 47.2。正文称可把攻击成功率压到接近零，但 Table 1 英语里多个格子并非接近零（如 SpeechT5+SAU 49.6、MMS+ABL 78.1、Whisper-Medium+ABL 93.0）。MMS+ANP 的 GhostWord ASRattack 为 0.0 ± 0.0，WER Clean 为 77.4 ± 0.1。

验证集上的权衡曲线

• SAU（Figure 2，Whisper-Small 英语）：反学习轮数从 0 到 3，GhostWord 的 ASR 从 91.34% 降到 35.77%，干净 WER 从 15.91% 升到 41.33%。从 5 轮到 8 轮，ASR 从 18.94% 降到 11.26%（作者称降 7.68 个百分点），干净 WER 从 48.12% 升到 63.56%。作者称 Blended 在五到六轮后攻击成功率接近零，干净 WER 继续上升。
• ABL（Figure 3，同一模型与验证集）：GhostWord 的 ASR 从 89.34% 降到 1.09%，干净 WER 从 16.91% 升到 98.99%；学习率大于 10⁻⁴ 后干净 WER 上升更快。Blended 在超过 10⁻⁴ 后干净 WER 从 25.91% 到 88.67%，ASR 从 32.98% 到 4.93%。
• I-BAU 与 ANP：作者称留出验证集上同样存在该权衡（强度分别由反学习学习率和掩码学习率控制），正文未给出与 Figure 2/3 同级的端点数字。

自适应防御

• Adaptive Neural Cleanse：目标词不在 top-4，而在 20,000 个候选的 top-200 内；最好名次为第 29。10 条音频、多个目标词上一致。作者认为按 top-4 标准无法恢复攻击目标。
• Adaptive STRIP（Table 2）：目标词平均熵 0.92，非目标词 0.99。作者认为低熵签名没有出现，词级 STRIP 分不出触发位置。该评测只在投毒样本上做，作者注明实际防御者不知道哪些输入被投毒。
• 对齐、压缩与词频：Table 3 报告 |Δ duration| 均值 60.1 ms（表内 SD 12.6；正文写 SD 42.6 ms，两边不一致）、时间 IoU 均值 0.805（SD 0.134）；正文又称平均绝对时长差 60.1 ms、平均 IoU 80.5%，并认为对齐器把目标词放在与源词基本相同的位置和时长上。Table 4（Whisper Small）：原始 ASRattack 90.8、WER Clean 15.2；MP3 16 kbps 后 61.1 与 15.0；16 kHz→8 kHz→16 kHz 重采样后 64.9 与 42.6。作者称压缩后攻击仍部分有效，重采样带来的下降与整体识别变差混在一起。Figure 4 为干净与投毒训练集 top 100 词频；作者称目标词没有形成可被频率防御利用的尖峰，并称分布融入 Zipf 形态。图中只给出两条词频曲线的坐标，未见标注的尖峰数值。

其他消融与分析

• 每码本（Table 21，英语 ASRattack）：Whisper Small 89.4 / 97.6 / 86.7 / 88.8；SpeechT5 91.3 / 90.5 / 87.3 / 84.2；MMS 85.4 / 89.7 / 78.4 / 77.5；Whisper Medium 89.9 / 97.4 / 90.8 / 94.5。作者称四个码本都保持较高成功率，不依赖某一个码本。
• 流式（Table 20，50 句英语，数字插入）：MMS 的 WERclean 20.3、WERpoison 32.5、ASRattack 84.1；Whisper Medium 为 12.1、23.3、90.0。作者称不需要整段录音也能定位触发。
• 附录 N 的空中传播：所读片段给出 MMS WERclean 19.8、WERpoison 31.6、ASRattack 82.5；Whisper Medium 11.3、21.8、89.2。该表的完整条件在截断处，论文未在可见表头写明房间或设备；作者称 OTA 后仍然有效。
• Clean Finetune（Table 1，GhostWord）：四模型 ASRattack 为 86.0、85.0、80.0、89.6，相对无防御下降有限。
• 负面结果：SpeechT5 与 Whisper-Medium 上 ABL 对 GhostWord 的 ASRattack 仍为 85.8 与 93.0；MMS 上 ABL 为 78.1。BadNet 上 ABL 在四模型仍为 91.9、98.5、91.4、90.6。作者对验证曲线的解释是：反学习加强后，鲁棒性增益变小，干净 WER 继续上升。

作者指出的局限与后续方向

• 分析性质：第 5 节称该分析是非正式的动机性直觉，不是形式保证，并明确写出简化假设（线性输出层、单步梯度上升、i.i.d. 次高斯权重几何）。出自 Section 5。
• 机制范围：作者称检测类方法和结构化权重剪枝机制不同，不经进一步论证就不能被该归约覆盖，此处不做这种主张。出自 Section 5，Assumptions ii。
• 几何假设：Remark 5.1 称真实 ASR 词表有语义和语音相关，i.i.d. 次高斯假设捕捉不到；分析应视为简化几何直觉，而不是 token 嵌入的真实模型。作者同时认为相关会加强而非削弱结论。出自 Remark 5.1。
• 压缩触发：4.4.2 节称实验用的是最简单的高斯噪声触发；自适应攻击者可以设计更抗压缩的触发，从而可能减轻 MP3 带来的成功率下降。这是作者对攻击方后续能力的说法，不是防御已经完成的结果。
• 代码：摘要写源代码公开可用；解读不收录地址。论文未把“计划开源”写成未来工作。

论文没有单独的 Limitations 节把实验失败写成待做清单。上述几条是作者明确写出的分析范围和假设。

实验覆盖范围

• 骨干与语言：Table 1 覆盖 Whisper-Small、Whisper-Medium、MMS、SpeechT5，数据为 Common Voice 23 英语；摘要另列 Common Voice v24 Lithuanian，并给出跨两语言、四模型的平均 ASRattack 89.3% → 29.1%、干净 WER 21.5% → 45.0%。
• 防御：预处理为 VAD 与出现超过 10 次的固定转写过滤；优化类为 ABL、ANP、i-BAU、SAU，外加 Clean Finetune。自适应类包括 Neural Cleanse、词级 STRIP、对齐残差、MP3 16 kbps、16→8→16 kHz 重采样和 top-100 词频（Figure 4、Table 2–4）。
• 主威胁设置：第 3 节写主评测是异步、数字插入；附录 N 另报空中传播，Appendix N.2 / Table 20 为 50 句英语的块级流式（VAD 分段，块通常约 3 秒）。
• 码本：Table 21 报告英语四种模型、四个码本的 ASRattack，范围从 MMS 的 77.5 到 Whisper Small 的 97.6。
• 报告方式：Table 1 为多种子均值 ± 标准差；SAU/ABL 的权衡曲线是 Whisper-Small 英语验证集（Figure 2、Figure 3）。自适应 STRIP 的分母是 30 条投毒样本、每位置 1,000 次扰动；对齐残差为 50 条。论文未在 Table 1 标题中写出主实验的具体 α 和随机种子个数。

GhostWord 是针对自动语音识别的词级、时间局部数据投毒后门，用来避开短语级后门的重复转写和非语音区伪迹。

攻击者不能改训练过程，也不知道模型参数，只能按比例 α 替换训练样本。每个码本项把约 400 ms 的固定噪声绑定到一个目标词：强制对齐找到源词时段，在 SNR ≥ 22 dB 下叠加噪声，转写里只改这一个词。推理时在任意位置叠上该噪声，作者称模型会在该位置输出目标词，且与说话人和上下文无关。多个码本可以组合。对照是整句替换的 BadNets（开头 100 ms 铃声）和 Blended（整段高斯噪声）。

在 Common Voice 23 英语上（Table 1），无防御 GhostWord 的 ASRattack 为 Whisper-Small 90.8%、SpeechT5 88.3%、MMS 82.7%、Whisper-Medium 93.2%。VAD 与高频固定转写过滤几乎不降低这些数字，却把 BadNet 和 Blended 的 ASRattack 压到 0 或接近 0（VAD 对 BadNet 为 1.8–4.3）。作者报告跨两种语言和四个模型的平均 ASRattack 为 89.3%（贡献条写 89.9%）。

把 ABL、ANP、SAU、I-BAU 适配到 ASR 后，作者称平均 ASRattack 降到 29.1%，干净 WER 从 21.5% 升到 45.0%。Table 1 显示该代价和收益因模型而异：MMS+ANP 的攻击成功率为 0.0 而干净 WER 为 77.4；SpeechT5+ABL 仍为 85.8；Whisper-Medium+ABL 为 93.0。验证集上，Whisper-Small 的 SAU 把 ASR 从 91.34% 降到更强设置下的 11.26%，干净 WER 升到 63.56%。

词级 Neural Cleanse 的目标词最好排到第 29、不在 top-4；STRIP 熵为 0.92 对 0.99；MP3 后 Whisper-Small 的 ASRattack 从 90.8% 到 61.1%。流式 50 句上 Whisper Medium 为 90.0%，MMS 为 84.1%。作者认为高词表下，梯度上升式抑制会把概率质量挤向近邻类，因而干净转写变差是结构倾向，并声明这只是单步、线性 softmax 下的直觉。