跳到正文
原文

语音分词器很脆弱：可迁移语义攻击与鲁棒分词器

Speech Tokenizers are Vulnerable: Transferable Semantic Attack and Robust Tokenizer

arXiv：其他 AI 安全论文· arXiv:2611.14929· Zhisheng Zhang, Yifan Mi, Yixuan Zhou, Haiyun Li, Shengbo Cai, Dongfu Song, Ziang Xu, Jie Hao, Zhiyong WuShenzhen International Graduate School, Tsinghua University; Beijing University of Posts and Telecommunications本站收录· 2 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

作者提出 T-SemAttack 攻击语音分词器语义编码，在 9 个 ASR 与 4 个 LALM 上报告高 WER，并据此训练鲁棒分词器 ROSETok。

威胁模型transfer-based 攻击：攻击者可访问输入语音波形，持有一组可微 surrogate semantic encoders，但不能访问目标系统的内部梯度、参数或分词器细节；目标是生成使语音系统转写错误、且对去噪与数据变换等自适应防御鲁棒的对抗样本；离线场景，实时性要求低。

问题
语音分词器是 ASR 与 LALM 的前端，作者认为其在语义层面脆弱：小的波形扰动可破坏语义编码，使下游识别与理解性能下降，而现有研究主要关注高斯噪声。
方法
T-SemAttack 联合扰动 S3Tokenizer、HuBERT、Whisper 编码器与 MFCC 四个代理分支，最小化干净与扰动语音表示的余弦相似度，并用心理声学掩蔽约束保持可感知质量；据此再用加噪训练与 Whisper 语义蒸馏两阶段训练鲁棒分词器 ROSETok。
实验与结果
在 9 个 ASR 系统与 4 个 LALM 上，作者报告 T-SemAttack 取得高于基线的 WER，经过去噪、对抗防御与音频变换后仍保持较高 WER；ROSETok-AAF 在攻击输入下重构 STOI 0.903、FSC 下游得分 77.9，高于现有分词器。
局限与可以继续做的
作者称攻击为离线场景，实时性仍待改进；ROSETok 的鲁棒性依赖训练分布与威胁模型，不能视为对所有语义攻击的完全防御。攻击评测限于英语与中文数据集，QA 评测仅 100 个样本，主观听测 20 人。
实验设置HuBERT-Large、Whisper-Large 等 · LibriTTS、Seed-TTS-Eval 等 · WER、RTF 等
威胁模型
transfer-based 攻击：攻击者可访问输入语音波形，持有一组可微 surrogate semantic encoders，但不能访问目标系统的内部梯度、参数或分词器细节；目标是生成使语音系统转写错误、且对去噪与数据变换等自适应防御鲁棒的对抗样本；离线场景，实时性要求低。防御方假设为能检测噪声并使用现有工具尽量还原音频的强防御者。
被测模型
HuBERT-LargeWhisper-LargeQwen3-ASR-0.6BVibeVoice-ASRFireRedASRFun-ASR-NanoiFlytekDoubao-ASRGPT-4o-mini-transcribeQwen2-AudioQwen3-OmniAudio-Flamingo-3Gemini-3-Flash-Preview
基准
LibriTTSSeed-TTS-EvalAIR-BenchFluent Speech Commands (FSC)XARES-LLMLibriSpeechEmilia
指标
WERRTFSNRMOSRQSSTOIPESQTERSIM
AI 导读研究者发现语音分词器在语义层面存在脆弱性，小扰动即可破坏其语义编码，导致下游 ASR 和大型音频语言模型（LALM）性能严重下降。论文提出基于语义编码器集成的可迁移语义攻击 T-SemAttack，通过联合漂移多个语义编码器的表示空间，在保持语音感知质量的同时扰乱语义内容。逐层表示漂移与跨模型梯度对齐分析显示，扰动可使深层语义表示发生大幅偏移，不同代理编码器的输入梯度方向一致，提示输入空间中共享的对抗敏感方向可能是跨模型攻击可迁移的关键因素。论文同时提出鲁棒语音分词器 ROSETok，结合噪声训练与鲁棒语义蒸馏，提升重建保真度和下游 SpeechLLM 的鲁棒性。实验覆盖多个数据集、9 个开源与黑盒 ASR 系统和 4 个 LALM，代码与演示见 https://wxzyd123.github.io/t-semattack。

研究者发现语音分词器在语义层面存在脆弱性，小扰动即可破坏其语义编码，导致下游 ASR 和大型音频语言模型（LALM）性能严重下降。论文提出基于语义编码器集成的可迁移语义攻击 T-SemAttack，通过联合漂移多个语义编码器的表示空间，在保持语音感知质量的同时扰乱语义内容。逐层表示漂移与跨模型梯度对齐分析显示，扰动可使深层语义表示发生大幅偏移，不同代理编码器的输入梯度方向一致，提示输入空间中共享的对抗敏感方向可能是跨模型攻击可迁移的关键因素。论文同时提出鲁棒语音分词器 ROSETok，结合噪声训练与鲁棒语义蒸馏，提升重建保真度和下游 SpeechLLM 的鲁棒性。实验覆盖多个数据集、9 个开源与黑盒 ASR 系统和 4 个 LALM，代码与演示见 https://wxzyd123.github.io/t-semattack。

相关热点

1 个事件 · 0 条新闻提到

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者认为语音分词器在语义层面脆弱，提出可迁移语义攻击 T-SemAttack 与鲁棒分词器 ROSETok。

    核心问题：语音分词器作为 ASR 与 LALM 的前端，其语义编码能否被小的波形扰动破坏，从而拖垮下游系统，以及如何训练语义鲁棒的分词器。

    • 场景与重要性：作者称，LLM 架构的语音系统普遍依赖语音分词器把连续信号映射为离散 token，分词器连接连续声学空间与离散语义空间，其鲁棒性直接决定整条语义管线的可靠性。
    • 现有研究不足：作者称，已有工作主要评估分词器对高斯噪声的脆弱性，而语义攻击可暴露更严重的脆弱性；Figure 1 中 T-SemAttack 对下游 FSC 性能的降幅大于 5 dB 强高斯噪声。
    • 核心观察：作者分析发现，扰动可使 HuBERT 深层表示余弦相似度从 0.881 降到 0.079，且不同代理编码器的输入梯度方向对齐，作者认为输入空间中共享的对抗敏感方向可能是跨模型迁移的关键因素。
    • 论文产出：提出可迁移语义攻击 T-SemAttack，并基于攻击机理提出结合加噪训练与鲁棒语义蒸馏的鲁棒语音分词器 ROSETok。
    • 威胁模型（3.1 节）：
      • 目标：在噪声可接受的约束下生成鲁棒对抗样本，使语音系统产生错误转写，且对去噪、数据变换等自适应防御保持有效。
      • 知识：transfer-based 场景，攻击者不能访问目标系统的内部梯度、参数或分词器细节。
      • 能力：可访问输入语音波形，持有一组可微 surrogate semantic encoders；离线攻击，实时性要求低。
      • 受害系统与防御假设：开源与商业黑盒 ASR、LALM；防御方为能检测噪声并用现有工具尽量还原音频的强防御者。

  2. 有哪些相关研究？

    相关工作分语音分词器、可迁移 ASR 攻击与防御三类，作者将本文定位为针对分词器语义编码器的迁移攻击。

    语音分词器与语音基础模型

    • 论文描述语音分词器由编码器与量化器（解码器）组成，被 Qwen3-ASR、CosyVoice、Qwen2-Audio 等系统采用；作者认为该组件的安全漏洞可能直接危及整个语音基础模型。
    • StableToken（Song 等，2025）——面向噪声鲁棒的语义语音分词器；作者称已有研究主要评估高斯噪声下的脆弱性，而本文关注语义攻击。

    可迁移 ASR 攻击

    • 作者概括称，近期 ASR 对抗攻击提升了迁移性与输入无关扰动生成能力，但多数方法攻击整条 ASR 管线，常依赖 CTC loss 等代理解码目标，优化成本高且掩盖了前端语音表示的作用。
    • E2E-VGuard（Zhang 等，2025）——针对端到端语音合成的对抗防护，本文沿用其心理声学模型与 MFCC 攻击目标，并作为攻击基线。
    • AudioShield（Jin 等，2025）——在潜特征空间施加扰动攻击音频编码器，本文作为攻击基线，并用 τ=0.1 对齐感知质量。

    防御方法

    • WaveGuard（Hussain 等，2021）——音频对抗样本的缓解方法，本文的自适应防御实验采用其重采样、量化等变换。
    • AudioPure（Wu 等，2023）——基于扩散模型加噪再去噪净化对抗音频，本文将其作为防御手段评测。
    • Denoiser（Defossez 等，2020）与 DeepFilterNet3（Schröter 等，2023）——语音增强模型，本文用作去噪防御。

    基线与基准：攻击基线为 Gaussian Noise、E2E-VGuard、AudioShield；分词器基线为 SNAC、XY-Tokenizer、X-Codec 2、DAC、MOSS-Audio-Tokenizer、StableToken；评测数据集为 LibriTTS、Seed-TTS-Eval、AIR-Bench、FSC（XARES/XARES-LLM 协议）。

    作者将本文与已有工作的区别定位为：聚焦语音分词器内部的语义编码器，系统分析小波形扰动如何引发语义表示漂移、token 级崩溃与下游 LALM 注意力干扰，而非攻击整条 ASR 管线。

  3. 论文如何解决这个问题？

    T-SemAttack 联合扰动四个代理语义编码器并加心理声学约束；ROSETok 用加噪训练加 Whisper 语义蒸馏做两阶段训练。

    整体思路：T-SemAttack 不攻击整条 ASR/LALM 管线，而是联合扰动多个 surrogate semantic encoders 的表示空间，使语义表示漂移、token 改变，从而迁移到未见目标模型；ROSETok 则按攻击机理，用加噪训练与语义蒸馏提升分词器的语义稳定性。

    问题形式化

    • 给定原始音频 x，构造 xadv = x + δ，优化目标为 minδ L = λsem Lsem + λpsy Lpsy + λ2 |δ|2，约束 ∥δ∥∞ ≤ ϵ；三项分别度量语义表示偏移、心理声学掩蔽与扰动幅度。
    • 超参数：λsem = 100，λpsy = 1e-3，λ2 = 0.1，ϵ = 8/255（附录 E.1 Table 9）。
    • 作者以量化前的连续表示为攻击目标：硬量化在区域内局部恒定、边界不可微，而表示漂移既可改变连续接口特征，也可在跨越量化边界时改变离散 token。

    语义攻击损失与代理分支

    • 语义损失为 K 个代理编码器上干净与扰动表示的逐帧平均余弦相似度之和 Lsem = ∑k CosSim(fk(x), fk(xadv))，最小化它同时驱动多个语义空间漂移。
    • 四个代理分支：S3Tokenizer（模拟离散分词器的语义编码）、HuBERT（自监督深层语义）、Whisper encoder（ASR 预训练语义）、MFCC（低层攻击目标）。
    • 作者给出的迁移机理：多个语义编码器虽训练目标不同，但共享相似的 Mel 输入瓶颈与语义结构，破坏代理模型的共享语义表示往往也破坏未见目标模型的对应表示。

    心理声学约束与优化

    • 心理声学损失只在扰动功率谱超过由原始音频短时谱算出的掩蔽阈值时施加惩罚，使扰动优先藏在原语音较强的频段或时域区域。
    • 优化采用 PGD 式投影更新，每步把扰动投影回 ℓ∞ 球；SGD 优化器配 plateau 学习率调度，初始 lr 1e-3、最小 1e-6，共 500 步（Table 9）。

    ROSETok：鲁棒语音分词器

    • 架构：基于 DAC，编码器输出 1280 维潜表示，经 9 层 RVQ 量化器（每层 1024 个 8 维条目）与解码器重构波形；训练时引入冻结的 Whisper large-v3 编码器作 Semantic Teacher 和多频判别器（附录 E.3）。
    • 语义保持：用 Whisper 教师监督编码器，把含噪输入的表示与干净音频表示对齐，而非强制 token 不变；作者称 token 变化不必然意味语义退化（附录 A Q3）。
    • 两阶段训练：第一阶段在 Emilia 中英数据上以高斯噪声损坏语音为输入、干净音频为重构目标并加语义蒸馏，lr 1e-4，得 ROSETok-Base；第二阶段从 LibriSpeech 随机选 2,000 句用 T-SemAttack 生成扰动输入，做 Attack-Aware Fine-Tuning（AAF），lr 5e-6，得 ROSETok-AAF。
    • 训练目标：Ltok = λdistill Ldistill + λrecon Lrecon + λcb Lcb + λcommit Lcommit + Ladv + Lfm，权重 {5.0, 15, 1.0, 0.25}，Ladv 与 Lfm 权重均为 1。

    成功判定

    • 攻击有效性以目标模型转写对抗音频后的 WER 衡量，WER 越高语义破坏越严重；感知质量用 SNR 与 MOS；效率用 RTF。

  4. 论文做了哪些实验？

    在 9 个 ASR 与 4 个 LALM 上评测攻击，覆盖自适应防御、分词器重构与下游鲁棒性、消融和 20 人主观听测。

    实验设置

    • 被测 ASR（9 个）：开源 HuBERT-Large、Whisper-Large、Qwen3-ASR-0.6B、VibeVoice-ASR、FireRedASR、Fun-ASR-Nano；商业黑盒 iFlytek、Doubao-ASR、GPT-4o-mini-transcribe。HuBERT-Large 与 Whisper-Large 的编码器同时是攻击的代理分支，Table 1 中这两列目标模型即代理模型本身。
    • 被测 LALM（4 个）：Qwen2-Audio、Qwen3-Omni、Audio-Flamingo-3（开源）与 Gemini-3-Flash-Preview（黑盒），统一用要求逐字转写的系统提示词。
    • 数据集：LibriTTS（单说话人英语，样本量论文未写明）；Seed-TTS-Eval 随机抽 200 句英语、200 句中文；AIR-Bench 随机 100 条做 QA。
    • 基线与指标：攻击基线 Gaussian Noise（σ=0.01）、E2E-VGuard、AudioShield（τ=0.1）；指标 WER（越高攻击越强）、RTF、SNR、MOS、RQS、STOI、PESQ。
    • 评审方式：QA 任务用 DeepSeek-V4-Flash 打 Response Quality Score（RQS）；主观实验 20 名受试者按 0–5 MOS 打分，报 95% 置信区间。
    • 重复次数：论文未报告；攻击消融用 30 个样本，共享方向分析用 30 个样本。

    主结果

    据 Table 1，T-SemAttack 在三个数据集上对 9 个 ASR 系统的平均 WER（%）：

    表格较宽，可左右滑动

    方法LibriTTSSeed-TTS (EN)Seed-TTS (ZH)
    Clean2.5032.5981.678
    Gaussian Noise3.3765.1824.301
    E2E-VGuard8.47323.15411.261
    AudioShield13.90852.92727.621
    T-SemAttack61.34881.87250.814
    • 作者称 T-SemAttack 在效率、感知质量与攻击强度间取得更好平衡：RTF 21.800 低于 E2E-VGuard 的 26.797，SNR 16.319–17.652；AudioShield 的 SNR 为 -2.440 左右，作者称其几乎破坏音频质量。
    • 在代理模型自身上 WER 最高：LibriTTS 上 HuBERT 156.913%、Whisper 111.367%；Seed-TTS (EN) 上 HuBERT 189.289%。黑盒系统上 iFlytek 49.607%、GPT-4o-mini-transcribe 46.089%（LibriTTS）。
    • 作者称中文子集上的跨语言攻击成立，因为代理模型 Whisper 与 S3Tokenizer 在多语言数据上训练；中文集上 Doubao 仅 6.298%，作者称商业系统在中文场景鲁棒性存在差异。

    LALM 评测

    • ASR 任务：作者报告 T-SemAttack 在 11 个数据集-模型组合上平均 WER 58.30%，高于 E2E-VGuard 的 16.76% 与 AudioShield 的 38.66%；LibriTTS 上 Qwen2-Audio 从 2.982% 升至 97.280%，中文集上 Qwen2-Audio 79.259%、Gemini3-Flash 81.300%（Figure 4 及正文）。
    • QA 任务：AIR-Bench 100 条样本上，四个 LALM 的平均 RQS 从干净输入 7.58 降到攻击后 5.48（Table 3），作者称攻击也降低音频问答质量。
    • 作者的解读：作者称一旦语义分词器产出错误 token，后续 LALM 难以通过语言建模恢复原语义；附录 F.2 的单样本注意力分析显示受攻击音频 token 减弱模型对音频上下文的依赖，跨模态注意力更多转向文本本身。

    自适应防御

    • 设置：Seed-TTS-EN 上评测去噪（Denoiser、DeepFilterNet3）、基于 WaveGuard 的对抗防御（Resample、Mel、Q-D）、扩散防御 AudioPure 与音频变换（Speed、PS、Band-filter），目标为 Whisper 与 VibeVoice-ASR（Table 2）。
    • 结果：Denoiser 后 T-SemAttack 在 Whisper 上 WER 96.763%、VibeVoice-ASR 上 42.901%；DeepFilterNet3 后 113.997% 与 37.805%；最有效的防御是 AudioPure，WER 降至 21.571%；Speed 变换下仍有 89.898%。同防御下 E2E-VGuard 与 AudioShield 的 WER 多为 7%–16%。
    • 作者的解读：作者认为 T-SemAttack 的扰动不是常规语音增强能去除的噪声，仅靠语音增强不足以恢复 token 序列，因此需要在分词器层面显式建模噪声鲁棒性与语义一致性。

    ROSETok 评测

    • 重构（Table 4，Seed-TTS EN，STOI）：ROSETok-Base 在干净、高斯噪声、T-SemAttack 输入上为 0.966、0.950、0.842；ROSETok-AAF 在攻击输入上提高到 0.903，干净与噪声输入为 0.945、0.937。
    • 下游语义（Table 4，XARES-LLM 协议，SmolLM2-135M + FSC）：StableToken 干净 96.7、高斯噪声 95.4、攻击下仅 35.0；ROSETok-Base 攻击下 62.4，ROSETok-AAF 77.9。作者称抗高斯噪声不足以保证下游语义理解。
    • 噪声等级（Figure 5）：高斯噪声幅度 1/255–24/255 下，DAC 从干净 0.943 降到 24/255 时 0.770，ROSETok-Base 在 24/255 时 STOI 0.920。

    其他消融与分析

    • 攻击组件（Figure 6a/6b，30 样本）：去掉 Lsem 后攻击成功率仅约 1.556%；去掉 Lpsy 与 L2 后 SNR 降到 8.5、PESQ 低于 2.08。
    • λpsy 敏感性（Figure 6c/6d）：λpsy ≤ 1e-3 时攻击效果无进一步提升而 SNR 继续下降，故取 1e-3。
    • ROSETok 组件（Table 5，LibriSpeech 训练 100k 步）：去加噪训练，噪声输入 STOI 从 0.931 降到 0.879、FSC 噪声得分从 60.032 降到 11.363；去 Ldistill，FSC 干净得分降到 7.118。
    • 语义教师（Table 6）：Whisper 换 HuBERT 后重构分数相近，但 FSC 从 73.90 降到 31.48。
    • 机理分析：HuBERT 逐层相似度从输入嵌入层 0.881 降到末层 0.079，Whisper 末层降到 0.854（Figure 3a）；仅用 rank-1 共享方向在 HuBERT 上 WER 155.02%，完整集成 191.64%，残差方向 26.38%（30 样本）；α 从 0.5 升到 1，HuBERT WER 从 59.05% 升到 192.84%，S3Tokenizer TER 达 99.88%（Figure 3b 及第 4 节）。
    • 附录结果：S3Tokenizer 内扰动从波形级 RD 0.154 放大到编码器输出 1.520（9.87×），VQ token 级 TER 99.7%（Table 12）；TTS 保护案例中三个 TTS 系统平均 WER 从 4.267 升到 69.550、SIM 从 0.736 降到 0.280（Table 7）；主观实验 T-SemAttack MOS-Q 3.01±0.28、MOS-C 4.32±0.19、MOS-S 3.87±0.25，20 名受试者（Table 8）。

  5. 有什么可以进一步探索的点？

    作者称攻击实时性待改进、ROSETok 非完全防御；实验覆盖中英双语、9 个 ASR 与 4 个 LALM。

    作者指出的局限与后续方向

    • 实时性：T-SemAttack 面向离线场景，作者称虽然时间效率已优于 E2E-VGuard，提升实时性能仍是未来方向，例如多 GPU 并行（附录 A Q2）。
    • 非完全防御：ROSETok 不应被理解为对所有语义攻击的完全缓解，其鲁棒性依赖训练分布与威胁模型，部署系统应把分词器级鲁棒性与额外监控、去噪、对抗评估和系统级防护结合（附录 B）。
    • 感知目标：作者称 T-SemAttack 追求的是不破坏音频正常使用的"无害性"，而非真正不可感知（附录 A Q1）。
    • 双用途风险：作者称该技术可能被滥用于降低转写质量、规避语音审核等，将其定位为安全研究产物，发布代码前将附免责声明（附录 B）。

    实验覆盖范围

    • 攻击评测覆盖英语单说话人（LibriTTS）、英语与中文多说话人（Seed-TTS-Eval 各 200 句）共三个数据集，9 个 ASR 系统与 4 个 LALM（第 6.1 节）。
    • 自适应防御评测包括 Denoiser、DeepFilterNet3、WaveGuard 系变换、AudioPure 与音频变换，仅在 Seed-TTS-EN 上进行（7.3 节）。
    • QA 评测用 AIR-Bench 随机 100 条样本，评审模型为 DeepSeek-V4-Flash；主观听测 20 名受试者、16 条音频（附录 D）。
    • ROSETok 训练用 Emilia 中英约 96.7k 小时，AAF 阶段用 LibriSpeech 2,000 句；下游语义评测仅 FSC 任务、SmolLM2-135M 探针（7.4 节）。
    • 论文未报告攻击实验的重复次数与方差，也未报告评审模型与人工判断的一致性。

  6. 总结一下论文的主要内容

    作者提出针对语音分词器的可迁移语义攻击 T-SemAttack，并据此训练鲁棒分词器 ROSETok。

    一篇关于语音分词器安全性的攻击与防御论文：作者认为作为 ASR 与 LALM 前端的语音分词器在语义层面脆弱，是整个语义管线的安全瓶颈。

    • 问题：小的波形扰动可破坏分词器的语义编码，使下游 ASR 与 LALM 性能下降；作者称已有研究主要关注高斯噪声，语义攻击暴露的脆弱性更严重。
    • 方法：T-SemAttack 联合扰动 S3Tokenizer、HuBERT、Whisper 编码器与 MFCC 四个代理分支，最小化干净与扰动表示的余弦相似度，并以心理声学掩蔽约束保持感知质量；迁移假设是各编码器共享 Mel 输入瓶颈与语义结构。
    • 攻击结果：在 9 个 ASR 系统上，Seed-TTS (EN) 平均 WER 81.872%，高于 E2E-VGuard 的 23.154%（Table 1）；在 11 个数据集-LALM 组合上平均 WER 58.30%；经 Denoiser、AudioPure 等防御后仍保持高 WER（Table 2）。
    • 机理发现：扰动使 HuBERT 深层表示相似度从 0.881 降到 0.079；S3Tokenizer 内扰动逐阶段放大，token 错误率达 99.7%；作者认为共享对抗敏感方向可能是迁移性的关键。
    • 防御：ROSETok 用加噪训练加 Whisper 语义蒸馏两阶段训练；ROSETok-AAF 在攻击输入下重构 STOI 0.903、FSC 下游得分 77.9，高于 StableToken 的 35.0（Table 4）。
    • 作者结论：语音分词器是现代语音基础模型的关键安全瓶颈，防御不应只停留在整模型层面；作者同时指出攻击为离线场景、ROSETok 并非对所有语义攻击的完全防御。

相关论文

共同使用 LibriTTS
共同使用 LibriSpeech
再看 2 篇
共同使用 LibriSpeech
共同使用 AIR-Bench
阅读原文arxiv.org