你就是触发器：说话人激活的后门

在无法接触推理时输入的前提下，被植入后门的语音模型能否把某一说话人未经改动的自然语音本身当作触发器。

• 场景：作者称语音模型正被用作转录工具，以及可代用户行动的语音智能体接口。现有音频后门要在推理时把触发加进音频，针对异常输入的检测或滤除因而有可去掉的对象。
• 不足：作者称关键词、声音和声音转换等触发，都要求攻击者在推理时改输入；触发若是外加扰动，输入级防御就有具体对象可剥离。
• 观察：作者称现代语音模型的内部表示会保留与名义任务无关的说话人身份。转录丢掉该信息，但编码器表示里可能仍足以支持攻击；身份默认存在于级联系统与端到端音频 LLM 中，且不出现在转录文本里。
• 提出的方法：Speaker-Activated Backdoor（SAB）。两阶段微调先让说话人身份更可被后续阶段利用，再把目标说话人绑定到攻击者选定的载荷，并用非目标语音维持干净行为。
• 威胁模型：
  • 能力：可进入适配或微调流程，包括被入侵的模型提供方、恶意内部人员，或被投毒的下游训练阶段；能改权重，不能接触或影响推理时输入；持有目标说话人的公开语音。
  • 与既有攻击的差别：作者称训练阶段被入侵这一供应链假设与先前音频后门相同；差别在部署之后，先前攻击还要求推理时音频里出现触发。
  • 目标：只在目标说话人的语音上可靠输出选定载荷，非目标说话人行为正常。载荷可以替换转录、选择性改写，或在转录后附加指令。
  • 受害系统：ASR 与可直接处理音频的多模态 LLM；附加指令再交给下游工具调用智能体。作者称可针对具名个人。对附加指令，单次激活即可触发有害动作，较低激活率可能有助于隐蔽；对语义改写则希望尽可能常激活。

论文在第 2 节按语音模型、通用后门和音频后门分组。

语音模型

• 级联 ASR：从 HMM（Rabiner，1989）和 HMM-DNN（Hinton 等，2012；Dahl 等，2012），到 Speech Transformer（Dong 等，2018）、Conformer（Gulati 等，2020）、wav2vec 2.0（Baevski 等，2020）、HuBERT（Hsu 等，2021）和 Whisper（Radford 等，2023）。作者称 ASR→LLM 在转录时丢掉声学信息。
• 端到端音频 LLM：语音编码器经投影层接入预训练 LLM，直接在声学表示上转录、翻译并产生工具调用。论文举 Qwen3-Omni（Xu 等，2025）和 Voxtral（Mistral AI，2025），并称说话人身份等非文本特征会留在前向过程中，中间转录不会暴露按说话人条件化的行为。

通用后门

• 分类与视觉：Geigel（2013）把由特定序列激活的木马写入权重。后续包括 BadNets（Gu 等，2019），以及 Chen 等（2017）、Liu 等（2018）、Ji 等（2017）、Nguyen 与 Tran（2020）、Bagdasaryan 与 Shmatikov（2021）、Souri 等（2022）。
• 文本与 LLM：Kurita 等（2020）、Qi 等（2021）、Wallace 等（2021）把触发放进文本。Hubinger 等（2024）、Rando 与 Tramèr（2024）、Souly 等（2025）、Carlini 等（2024）研究 LLM 后门。触发也可以是微调这一行为（Gloaguen 等，2026），或分散在多轮交互中的短字符串（Tong 等，2024）。

音频后门

• 外加触发：超声（Koffas 等，2022）、环境声（Shi 等，2022；Liu 等，2022），以及对 Whisper 的环境声投毒（Bartolini 等，2024；作者称可用语音活动检测缓解，因为触发与语音无关）。Lin 等（2026）用注入噪声和改变语速后门音频 LLM；Fortier 等（2026）分析触发在语音 LLM 管线中的传播。作者称这两项的触发仍是推理时对音频的改动。
• 语音自身属性：抬高音高（Cai 等，2024）、把房间做成触发（Chen 等，2024a）、用声音转换把音色做成触发（Cai 等，2022；Ye 等，2023）、用情绪韵律（Schoof 等，2024）。作者称它们对输入过滤更难剥离，但对象是小型分类模型，且推理时仍须对语句做转换。

基线与基准

• 一步基线：同样 10,000 步，只在 Phase 2 混合数据上训练，跳过说话人判别。
• 数据与环境：LibriSpeech、VoxCeleb2、FLEURS、VoxPopuli，以及改写后的沙箱 SHADE-Arena 银行转账环境。

作者称据其所知，本文是首个以未经修改的目标说话人自然语音为触发器的后门类别；模型部署后攻击者不必再改推理输入，转录层也看不到触发。

SAB 分两阶段继续微调：先让说话人身份更容易被后续训练利用，再把一名目标说话人绑定到攻击者选定的行为，并用非目标干净语音约束其他人的输出。

问题设定

• 与名义任务的张力：作者称 ASR 在多说话人语料上训练，倾向于对说话人不变。只把目标说话人的语句改标成载荷再微调，对固定载荷够用，但选择性较差，也不能稳定学到内容依赖载荷。
• 训练与评估分离：公开录音可能有限，因而用声音克隆扩充目标语音。合成语音只用于植入；成功与否始终在与训练会话不相交的留出真实录音上评估。
• 两种架构：作者称 Whisper 编码器表示里的身份足以支持按说话人条件化的转录；音频 LLM 可直接按身份条件化自身输出。级联系统改的是下游消费的转录，端到端模型改的是自己的输出。

Phase 1：让身份更可分

• ASR：继续训练预训练 ASR，损失为 token 级转录损失加辅助说话人识别。临时线性头接在音频编码器最终隐状态的均值池化上，Phase 1 结束即丢弃，推理架构不变。
• 目标：论文给出 L = L_ASR + λ L_spk，λ = 0.3，即转录损失与说话人分类损失的加权和。
• 音频 LLM：不用辅助头，改为短的辅助生成任务，把音频映到说话人身份标签。两种做法都只为后续微调服务。
• 数据：实验设置写 LibriSpeech train-clean-100；方法节写 LibriSpeech 为 28,539 条话语、251 名说话人。论文未写明二者是否同一划分。Phase 1 只算一次，检查点在各 Phase 2 配比间复用。

Phase 2：绑定载荷

• 混合：目标说话人样本的标签按攻击行为改写；干净缓冲是非目标语音，保留正常转录标签。
• 预算与克隆：固定 20 分钟目标语音。主设定为 2 分钟 VoxCeleb2 真实录音，其余由 F5-TTS（v1 Base）生成。克隆以训练侧会话的参考录音为条件，朗读评估集之外的 LibriSpeech 句子，语速有变化。
• 主目标：VoxCeleb2（dev）中的 Judi Dench（id04409，59 个会话）。按整个录音会话划分，使评估在录音条件和内容上都不同于训练。
• 缓冲与步数：16 名非目标说话人各 120 条英语片段，与假阳性评估说话人不相交；VoxCeleb2 无参考转录，用 Whisper-large 伪标注，另加 2,000 条有真值的 LibriSpeech。改标目标集过采样 12 倍后拼接。Phase 1 为 4,000 步，Phase 2 为 6,000 步，学习率 10−5，批大小 16。一步对照把同样的 10,000 步全部用在 Phase 2 混合上。

三种载荷

• 转录抑制：中毒的目标片段全部改标为同一固定短语。Whisper 用标准转录配置；Qwen 另给要求转录的系统提示，论文未给出提示词原文。
• 语义改写：保留大部分转录，只改极性。已有否定则去掉，否则在第一个助动词后插入否定，且结果须合乎语法；无变化的片段不进毒集，也不进评估分母。只改一到两个 token，这些 token 的损失上权 50 倍。
• 指令注入：在目标说话人的转录后附加一段银行转账指令，作为用户消息交给原本良性的工具调用智能体。环境是改写后的沙箱 SHADE-Arena：去掉原来的隐藏次任务，把后门转录当作主要用户指令，并用确定性检查判断有害转账是否执行。

成功判定

• BSR / FPR / WER：BSR 是留出真实目标片段上后门被激活的比例。FPR 是非目标片段上、没有触发却激活的比例。WER 比较基座与后门模型在 LibriSpeech、FLEURS、VoxPopuli 上的词错误率。LibriSpeech 在 Phase 1 中见过；后两个完全留出。Figure 2 的精确假阳性还要求归一化转录与载荷完全一致。
• 另外两种指标：语义改写用 edit-site，只在被攻击改动的 token 上计成功，因为伪标签会与模型在干净转录上不一致。工具调用把指令是否进入转录（C1）与下游是否执行（条件 C2）分开；C2 以成功插入为条件，不是全部目标输入上的有害动作率。

实验设置

• 语音模型：Whisper-small、Whisper-medium、Whisper-large；parakeet-ctc-0.6b；Qwen2.5-Omni 3B、Qwen2.5-Omni 7B、Qwen3-Omni-30B-A3B-Instruct。附录 Table 9 还有 Voxtral-Mini-3B。消融与工具调用默认 Whisper-medium。防御表写 Qwen2.5-3B，与 Section 5.1 的 Qwen2.5-Omni 3B 是否同一检查点，论文未另作说明。
• 下游智能体：GPT-4o，以及 Claude Opus、Sonnet、Haiku。被植入的前端是 Whisper-medium 与 Qwen2.5-Omni 3B。
• 说话人与划分：五名 VoxCeleb2 目标：Judi Dench、Dev Patel、Michael Sheen、Naomi Watts、Ryan Gosling。主设定为 Judi Dench，真实音频 2 分钟、总预算 20 分钟。跨模型转录抑制用 20 个会话、190 条留出片段。银行转账的插入评估为 190 条目标片段与 80 条非目标片段；下游执行每个种子最多 32 条 C1 命中。
• 干净数据：FLEURS 与 VoxPopuli 完全留出。Table 4 注明 LibriSpeech test-clean 的 n=2620。合成语音不进入成功评估。
• 指标与重复：BSR、FPR、WER；语义改写为 edit-site BSR；工具调用为 C1 与条件 C2。三个随机种子，报告均值和样本标准差。种子改变毒样本选择、缓冲抽样、打乱和训练初始化。论文未使用 LLM 评审，也未报告统计显著性检验。
• 辅助模型：F5-TTS（v1 Base）只做训练侧克隆。干净缓冲的 VoxCeleb2 片段由 Whisper-large 伪标注。相似度分析使用 ECAPA-TDNN。

主结果

转录抑制，目标 Judi Dench，真实音频 2 分钟、预算 20 分钟，三种子。据 Table 1。

表格较宽，可左右滑动

模型	BSR [%]	VoxCeleb2 FPR [%]	FLEURS 后门 WER [%]	FLEURS 载荷 FPR [%]
Whisper-medium	90.2 ± 14.3	1.7 ± 2.9	13.24 ± 0.20	0.0 ± 0.0
Parakeet	97.0 ± 1.3	0.0 ± 0.0	10.29 ± 1.41	0.0 ± 0.0
Qwen2.5-Omni 3B	77.4 ± 13.7	3.8 ± 1.3	30.92 ± 23.0	26.12 ± 25.4
Qwen2.5-Omni 7B	92.4 ± 5.4	3.8 ± 1.3	26.32 ± 7.64	19.46 ± 5.08

• 作者称 Whisper-medium 与 Parakeet 能同时有高目标激活和低假阳性，干净转录仍可用，但效用代价取决于模型与领域。作者报告 Parakeet 的 WER 升幅至多 1.57 个百分点；Whisper-medium 在 LibriSpeech、VoxPopuli、FLEURS 上分别升高 0.69、3.73、6.55 个百分点。Whisper-medium 三个基准的载荷 FPR 均为 0.0 ± 0.0；Parakeet 仅 VoxPopuli 为 0.11 ± 0.0。
• 作者称多模态模型也被植入，但选择性更差，并会在其他基准的干净语音上输出载荷。作者猜想文本提示稀释了后门，且 Phase 2 部分覆盖了更广的预训练。作者把 7B 写成多模态里 BSR 较高的一个；Table 1 中 Parakeet 更高。
• Qwen2.5-Omni 7B 的 LibriSpeech 后门 WER 为 1.87 ± 0.14，低于表中基座 5.75；VoxPopuli 由 12.88 变为 10.44 ± 0.12。不是所有基准上的 WER 都上升。

跨说话人、难负例与声学退化

• 另外四名说话人：Table 2，同一预算、Whisper-medium。Dev Patel、Michael Sheen、Naomi Watts、Ryan Gosling 的 BSR 为 49.9 ± 25.1%、67.7 ± 6.6%、53.2 ± 11.5%、61.5 ± 17.6%。VoxCeleb2 FPR 三人是 0.0 ± 0.0%，Naomi Watts 是 0.8 ± 1.4%；表中其他数据集 FPR 为 0.0。作者称攻击不限于单一嗓音，但强度随说话人和种子变化。
• 相似嗓音：Section 6.3 对五名目标做难负例：嵌入最近、同性别、同口音，并对照随机说话人。相似切片为 16 人、每人 20 条；Ryan Gosling 的随机组为 15 人、300 条。Phase 1 或 Phase 2 用过的说话人不进最近嵌入组。作者称假阳性总体少见，但 Naomi Watts 在 Whisper-medium 上、最近嵌入切片为 10.9%，分布在 16 人中的 10 人；Michael Sheen 几乎不触发。Whisper-large 对 Judi Dench 的 BSR 为 99.5%，最近说话人组 FPR 为 7.2%，对照 medium 的 90.2% 与 2.8%；large 上全部 22 个同口音假阳性来自两名说话人。作者称 Figure 3 不能只用余弦相似度解释假阳性。
• 推理时退化：Table 3，Whisper-medium、Judi Dench，目标 n=190、非目标 n=80。加性噪声 10 dB SNR 的 BSR 为 81.4 ± 27.7%，混响 RT60=0.3 s 为 83.5 ± 25.4%，电话带 300–3400 Hz 为 53.2 ± 49.0%，干净对照 90.2 ± 14.3%。对应 FPR 为 2.1 ± 3.6%、1.3 ± 2.2%、0.0 ± 0.0%、1.7 ± 2.9%。作者称噪声和中等混响下后门大体仍在，并认为部分说话人线索落在电话频带外。作者称 FPR 不变；Table 3 的 FPR 均值并不相同。

语义改写与下游工具调用

• 语义改写：Table 4，Whisper-medium、Judi Dench、同样预算。edit-site BSR 为 35.0 ± 10.5%，FPR 为 1.6 ± 1.4%；未投毒基线为 3.4% 与 0.0%。去掉 Phase 1 后 BSR 为 12.6 ± 4.8%，FPR 为 4.0 ± 4.9%。正文写去掉 Phase 1 后 FPR 仍为 1.6%，与 Table 4 不一致。干净 WER 从 LibriSpeech 3.5%、FLEURS 6.7%、VoxPopuli 12.5% 变为 6.3 ± 0.0%、19.7 ± 0.5%、20.4 ± 0.5%。作者称成功率低于同一目标上的转录抑制，原因是一对多的语法变换和稀疏训练信号。正文还写伪标签带来的 WER 为 0.11，未写成百分数。
• 指令插入与执行：Table 5。Whisper-medium 的 C1 为 93.2 ± 5.0%，FPR 为 1.7 ± 1.9%；Qwen2.5-Omni 3B 为 77.4 ± 11.0% 与 3.3 ± 1.9%。条件 C2：Whisper 转录下 GPT-4o 57.3 ± 40.7%、Sonnet 70.8 ± 7.2%、Haiku 47.9 ± 11.0%、Opus 82.3 ± 6.5%；Qwen 转录下 GPT-4o 94.8 ± 1.8%、Sonnet 70.8 ± 7.9%、Haiku 48.9 ± 15.4%、Opus 76.0 ± 4.7%。摘要写插入比例 96.9%、有害动作最高 87.5%，这两数未出现在 Table 5。作者称 C2 不代表全部目标输入上的有害动作率，执行率同时取决于前端和下游智能体。
• 该实验的干净效用：这些运行上 Whisper-medium 的 LibriSpeech WER 为 4.2 ± 0.1%，500 条子集未观察到载荷假阳性。基座 3.46% 测在全基准上，论文称不是配对比较。该实验未收集其他干净基准。

防御

• 干净微调：Table 7。Whisper-medium 上，Dev Patel 基线 BSR 55.4%，VoxPopuli 后 2.3%，两种 VoxCeleb 设置均为 0.0%；Naomi Watts 基线 66.4%，三种干净数据后均为 0.0%。作者称去掉后门不需要目标说话人的数据，并把威胁限定在按出厂检查点部署的模型。Qwen2.5-3B 上，Dev Patel 为 41.8%、19.2%、2.8%、0.0%，Naomi Watts 为 50.9%、45.7%、30.2%、0.0%。作者称 VoxPopuli 只把平均 BSR 从 46.5% 降到 32.5%；不含目标语音时，Dev Patel 的后门被去掉，Naomi Watts 则没有。Table 7 基线与 Table 2 均值不同，论文未说明原因。
• 声音匿名化：McAdams 与 ASR-BN，实现来自 Voice Privacy Challenge。Figure 5 的文字转写没有各柱数值。作者称两种方法都降低 BSR，降幅随模型与说话人变化；并称 McAdams 保留节奏、语速和语调，ASR-BN 换成另一把声音。
• 自适应：Phase 2 加入匿名化后的目标语音及目标标签。Table 8 标题写 Whisper-medium 与 Qwen2.5-3B，正文写 whisper-large 与 Qwen-2.5-3b，论文未说明是否同一设定。表中四行的匿名化基线 BSR，McAdams 为 3.4%–12.9%，ASR-BN 为 0.0%–0.6%；自适应后分别为 74.0%–99.1% 与 52.6%–90.5%。作者称自适应训练可以绕过这两种匿名化。

其他消融与分析

• 一步对照（Section 9.1，Whisper-medium，Judi Dench，2 分钟真实音频）：BSR 84.9 ± 15.8% 对两步 83.5 ± 13.2%；LibriSpeech WER 5.43 ± 0.22% 对 4.15 ± 0.15%；一步 FPR 2.5 ± 2.2%，两步各种子无假阳性。该两步 BSR 与 Table 1 的 90.2 ± 14.3% 不同，论文未说明原因。
• 真实音频量（Table 6）：仅 2 分钟真实并过采样，BSR 72.6 ± 3.3%、FPR 0.0 ± 0.0%；真实加合成 2/4/6 分钟的 BSR 为 90.2 ± 14.3%、90.7 ± 14.3%、91.2 ± 13.3%。同格 FPR 在 Table 6 为 1.6 ± 2.9%，Table 1 写 1.7 ± 2.9%。作者称超过两分钟后再增加真实音频，BSR 没有明显提高。
• 表示：线性探针在一步与两步模型的最后编码器层都以约 98% 区分目标与非目标。第一主成分上，目标身份方向在两步后占方差 0.72，一步后小于 0.01。Figure 4 图注称只有两步训练把非目标、克隆与真实目标分成不同簇，一步则重叠；正文称分离出现在编码器后三分之一层，且仅 Phase 1 的检查点已有该分离。轴标注为一端 PC1 77%、PC2 4%，另一端 PC1 44%、PC2 11%。
• 激活修补：16 条真实目标片段上，一步模型不输出载荷、两步模型输出。把两步模型的单个后期编码器层拷入一步模型，12/16 触发载荷。图注称从第 7 层起把任一步层换入两步模型会去掉后门。作者称这是两步表示参与激活的因果证据，并称一步模型用了选择性更差的另一机制。
• 附录 Table 9（四名非主目标，无标准差）：Whisper-small 对 Naomi Watts 的成功率为 6.0%，四人均值 25.9%；Whisper-large 均值 86.8%；Qwen3-Omni-30B-A3B 均值 18.0%；Voxtral-Mini-3B 均值 19.0%；Parakeet 均值 61.9%。假触发率均值从 Whisper-small 的 0.0% 到 Qwen2.5-Omni-3B 的 2.9%。与 Table 2 的带标准差均值不完全相同。

作者指出的局限与后续方向

• 说话人与克隆：只评测单一语料中的五名目标说话人，以及一种声音克隆模型（Section 11.2）。
• 威胁假设：威胁模型假设能进入微调流程（Section 11.2）。
• 干净微调：后门经不住下游干净微调，因而限于按出厂检查点部署的模型；作者称这是目前最清楚的缓解（Section 11.2，对应 Section 10）。
• 匿名化：对非自适应攻击者有效，但在 Phase 2 加入匿名化目标语音的攻击者能在很大程度上恢复后门（Section 11.2）。
• 后续工作：应考察微调下的持久性，以及对身份条件化行为做表示层审计（Section 11.2）。Section 10.1 还把“持久性是否随说话人特征系统变化”留给更大的目标集合，并称两名说话人不足以判断 Qwen 上的差异从何而来。

实验覆盖范围

• 主表 Table 1 为 Whisper-medium、parakeet-ctc-0.6b、Qwen2.5-Omni 3B 与 7B。附录 Table 9 另有 Whisper-small、Whisper-large、Qwen3-Omni-30B-A3B-Instruct、Voxtral-Mini-3B。下游智能体为 GPT-4o、Claude Opus、Sonnet、Haiku。
• 五名目标均来自 VoxCeleb2，主目标为 Judi Dench。载荷为固定转录替换、语法否定改写、向转录附加转账指令。合成语音来自 F5-TTS（v1 Base），不用于成功评估。
• 重复为三个随机种子。转录抑制留出集为 20 个会话、190 条。工具调用的插入评估为 190 条与 80 条，条件 C2 每个种子最多 32 条 C1 命中。难负例含嵌入最近、同性别、同口音切片。
• 防御包括 VoxPopuli、不含目标的 VoxCeleb、含目标的 VoxCeleb 上的干净微调，以及 McAdams、ASR-BN 的非自适应与自适应对照。
• 论文未报告统计显著性检验，也未报告工具调用实验在 FLEURS 与 VoxPopuli 上的干净 WER。摘要的 96.9% 与 87.5% 未出现在 Table 5；Section 9.1 的两步 BSR 与 Table 1 不同，论文未解释这些差异。

SAB 研究供应链场景下的语音后门：微调时植入，推理时攻击者不再接触输入，触发器是目标说话人未经改动的自然语音。

• 问题：现有音频后门依赖推理时加进音频的触发，输入级防御有对象可剥离。说话人身份留在声学表示里，却不出现在转录中，作者据此把它做成转录层看不见的控制通道。
• 做法：两阶段微调。Phase 1 加强说话人可分性，临时头在结束后丢弃；Phase 2 用改标的目标语音加上非目标干净缓冲，把身份绑到载荷。主预算 20 分钟，真实录音可少至 2 分钟，其余用声音克隆；评估只用留出的真实会话。载荷为固定输出、极性改写，或在转录后附加转账指令。
• 转录抑制：Table 1，Judi Dench，Whisper-medium 的 BSR 为 90.2 ± 14.3%，VoxCeleb2 FPR 为 1.7 ± 2.9%；Parakeet 为 97.0 ± 1.3% 与 0.0 ± 0.0%。另外四名说话人的均值 BSR 为 49.9%–67.7%（Table 2）。语义改写的 edit-site BSR 为 35.0 ± 10.5%（Table 4）；作者称固定载荷不必依赖 Phase 1，内容依赖载荷则更依赖它。
• 下游：Whisper-medium 的指令插入 C1 为 93.2 ± 5.0%（Table 5，n=190）。在成功插入的转录上，Opus 的条件执行率为 82.3 ± 6.5%，Haiku 为 47.9 ± 11.0%。摘要的 96.9% 与 87.5% 与该表不同。Qwen 转录上 GPT-4o 的条件 C2 为 94.8 ± 1.8%。
• 防御与作者结论：干净微调把 Table 7 中 Whisper-medium 的 BSR 降到至多 2.3%，两种 VoxCeleb 设置为 0.0%。作者称这把威胁限定在按出厂检查点部署的模型；匿名化降低非自适应激活，自适应训练又能恢复。作者的结论是：模型一旦被入侵，某人的普通语音就可以只因为是这个人在说而激活攻击者选定的行为。