Thrive：面向自回归 TTS 的抗重建攻击多比特语音水印框架

发布后的学习式重建会改变水印可恢复性，单一载体无法跨重建模型保持稳定。

• 场景：作者称自回归TTS会为大量注册用户合成语音，问责需要验证发布语音的来源，并归属到发起请求的用户。生成式水印把用户专属的多比特标识直接嵌入合成语音。
• 现有不足：作者称已有方法把水印固定在某一表示、生成组件或模型参数上，并依赖所得声学结构仍可观察。异构重建可保留、重组或丢弃同一结构，提供方也不能控制下游变换的组合或顺序。
• 观察：作者嵌入受控谱时模式后称，同一模式在不同codec、声码器与增强重建下保留程度不同，在FACodec与WavLM空间中的响应也不同（Fig. 2、Sec. 3.3）。存活同时取决于嵌入结构、重建机制和观察表示。
• 方法：作者提出THRIVE，覆盖离散token与连续表示两类自回归TTS。RISE同步表示注入与后续生成，CARE在波形与频谱预测间做比特级可靠性选择。
• 威胁模型：
  • 防御方：把G作为注册用户的语音服务；每次请求嵌入该用户的l比特水印并返回sw；公开出现后用D做来源验证与用户归属，同时保持合成保真度。
  • 攻击者知识：只能接触已发布的sw，可选重建模型与配置，不能访问生成或恢复内部流程。
  • 攻击能力：可故意做神经codec再生、增强重建和声码器重合成。噪声、滤波、重采样和有损压缩被作者视为仍应可恢复的正常条件。
  • 攻击目标：使D(A(sw))不等于w，同时保留语音内容与感知质量。来源验证把处理后语音连到G，用户归属识别发起请求的注册用户。

作者把THRIVE放在现代自回归TTS的多比特生成式水印上，并显式处理异构重建。

事后语音水印

• 时频特征：WavMark（Chen et al., 2023）、TBWM（Liu et al., 2024a）和True（Li et al., 2026b）使用频率或时域特征。
• 潜表示：AudioSeal（San Roman et al., 2024）、XAttnMark（Liu et al., 2025）和DiscreteWM（Ji et al., 2025）把嵌入扩展到连续或离散潜表示。FASW（Li et al., 2026a）结合潜变量与频域；Latent-Mark（Chen et al., 2026）把零比特特征约束到codec重建仍保留的潜子空间。
• 作者的归纳：作者称这些方法不断更换特征空间，中心策略仍是寻找处理后仍稳定的载体。

生成式语音水印

• 初始阶段注入：Groot（Liu et al., 2024b）、Zhu et al.（2026）以及Rong and Hu（2026）在生成初始阶段注入水印，依赖后续合成把它传到输出。
• 参数编码：RIWF（Feng et al., 2025）调制选定声码器权重，HFGw（Cheng et al., 2024）微调声码器以产生带水印语音。作者明确写道，Groot和HFGw把水印绑定到已训练模型，更换水印需要重新训练。
• 自回归采样：Wu et al.（2025）和Milis et al.（2026）通过引导离散token采样把水印扩展到现代自回归模型。作者称二者主要支持零比特检测。

方法所依的参照

• 低秩调制：生成整合路径遵循AquaLoRA（Feng et al., 2024）。论文把它当作调制方式，而不是语音水印基线。
• 存活诊断：Sec. 3.3的受控模式分析遵循Lu et al.（2025）对图像编辑的ring-survival诊断，用来检查谱时结构在重建后的保留、形变和可观察性。

基线与数据：实验基线为事后方法WavMark、AudioSeal、Timbre Watermark，以及生成式方法Groot、RIWF、HFGw。数据集为LJSpeech、LibriTTS和AISHELL-3。

作者称THRIVE把多比特生成式水印做到现代自回归TTS，包括先前自回归水印方法未覆盖的连续表示生成；推理时可更换语句特定标识而无需重训练，并显式处理异构model-driven reconstruction下的水印鲁棒性。

作者的设计是让水印以多种方式参与生成，并在重建后按表示可靠性恢复。框架名为THRIVE，由同步嵌入模块RISE和跨表示恢复模块CARE组成。

问题设定与形式化

• 生成：输入为文本xc、参考语音xs和注册用户的l比特水印w。受保护模型输出带水印语音。同一模型可在推理时嵌入不同用户的水印，无需重训练。
• 恢复定义：发布后的处理记为P。恢复目标写成 ŵ=D(P(G(x_c,x_s,w)))（式1），含义是恢复器只看到处理后的语音，并试图还原w。成功要求估计值等于w。
• 用途：来源验证把处理后语音连到G；用户归属识别发起请求的注册用户。保真对照是关闭水印集成后的生成s。

RISE：表示与生成同步嵌入

• 两条路径：表示注入路径把水印残差写入演化中的中间表示；生成整合路径用同一水印调制后续层，使水印继续参与后续生成。作者称这是为了不依赖单一中间状态熬过后续生成。
• 注入：w先与预定义密钥XOR，再映射到正负1。可学习投影把它映到表示空间，沿时间广播，并按内容调制后做残差相加。两个选定阶段的注入强度为10^-3和5×10^-4。只更新有效非填充位置。调制界ρ的数值论文未给出。
• 生成调制：在选定层的LoRA低秩分支上做水印依赖的秩调制，基座权重冻结。秩为64，缩放为64，调制系数为0.9，固定增益为2.0。调制向量在时间上共享。
• 放置：Qwen3-TTS在post upsample 1与2注入，并在57个解码模块上做LoRA；Dots.tts在decoder.ups[0]与ups[1]注入，并在48个模块上做LoRA（附录Table 4）。两条路径都由输入水印导出。

CARE：跨表示自适应恢复

• 两个专家：波形专家直接从波形提取时间特征，含四个膨胀深度可分离卷积块，膨胀率为1、2、4、8。频谱专家使用80维log-Mel（24 kHz，FFT与窗长1024，hop 256）。二者都输出话语级logits和片段级logits。隐藏宽度为256。
• 融合头：能力学习期间，融合头用交叉注意力产生有界的频谱修正，加到波形预测上，作为主恢复输出。推断时不用融合头。
• 选择器：每个专家-比特对的描述包括全局置信、全局与局部符号是否一致、片段强度和时间一致性。共享打分网络加专家偏置得到正确性分数。比特级分数差再叠加话语级平均偏好；校准中该偏好系数为1/2。和大于0选频谱专家，否则选波形专家。
• 推断：不需要真实水印、攻击身份或干净参考。选中的logits经阈值化后，逆XOR还原原始水印。

能力学习与可靠性校准

• 分阶段：先联合训练RISE、融合头和两个专家，再冻结它们，只校准选择器，使可靠性估计对应固定的专家行为。
• 优化：AdamW，能力学习80 epoch、batch size 2。低秩路径学习率1×10^-4，其余5×10^-4。前3个epoch为warm-up，epoch 60后余弦退火。单张RTX 4090。
• 损失：水印项用BCE同时监督融合预测和两个专家；Mel与多尺度STFT项约束相对s的差异；残差项惩罚选定注入阶段的水印残差。各损失权重的数值论文未给出。
• 数据与校准：epoch 1–19用干净带水印语音；其后采样变换，附录C写重建类代理占85%、常规增强占15%。校准再训10 epoch，学习率1×10^-4，把分数对齐到逐比特是否正确，并在两专家恰好一对一错的比特上鼓励选中正确的一方。

两种骨干在LJSpeech上的干净ACC均为0.999；重建攻击下、N=10,000时归属准确率为39.4%与26.6%。

实验设置

• 骨干：Qwen3-TTS（0.6B，离散codec token）与Dots.tts（2B，连续声学表示）。预训练骨干冻结，只训练水印模块。
• 数据：LJSpeech为分布内单说话人英语，约24小时；LibriTTS为多说话人英语OOD；AISHELL-3为多说话人普通话OOD（附录D.1）。固定评测语句在方法与攻击间共享，条数论文未报告。
• 基线与载荷：事后方法AudioSeal（16 bps）、WavMark（32）、TBWM（100）；生成式方法Groot（100）、RIWF（16）、HFGw（20）。THRIVE为16比特。各方法bps不同。
• 指标：恢复用比特ACC；TPR在1% FPR下测量。配对保真为STOI、PESQ、SSIM、MCD；作者以关闭水印的生成s为保真目标（Sec. 3.1）。非侵入质量为DNSMOS、NISQA；语料级FAD用VGGish与CLAP。归属为最近汉明检索。论文未报告人工听感，也未使用LLM评审。
• 攻击：信号失真、传统压缩、神经codec再生、声码器重合成、增强重建，以及LJSpeech上的顺序复合攻击。单项评测中高斯噪声为5 dB SNR，低通截止3 kHz，MP3与Opus为16 kbps，EnCodec为6 kbps（附录C.2）。输出回到24 kHz并恢复原时长。
• 训练与重复：能力学习80 epoch，epoch 20起采样处理；选择器再校准10 epoch。论文未报告主评测重复次数。

主结果

据Table 2，LJSpeech，格内为ACC。Ours-Q/D表示Qwen3-TTS/Dots.tts。TPR未列入。AudioSeal的Clean格与Table 1所记1.000不一致。

Swipe horizontally to read the table

方法（bps）	Clean	EnCodec	HiFi-GAN	FRCRN	Demucs
AudioSeal (16)	0.999	0.509	0.506	0.998	1.000
WavMark (32)	1.000	0.496	0.509	0.999	1.000
TBWM (100)	1.000	0.582	0.816	0.989	0.993
Groot (100)	0.995	0.973	0.725	0.996	0.995
RIWF (16)	0.993	0.803	0.548	0.589	0.561
HFGw (20)	0.989	0.578	0.544	0.962	0.958
Ours-Q (16)	0.999	0.891	0.860	0.902	0.976
Ours-D (16)	0.999	0.967	0.769	0.805	0.895

• 作者称两种实现的干净恢复ACC为0.999，1% FPR下TPR为1.000（Table 1，LJSpeech）。同表Dots.tts的PESQ为4.210、SSIM为0.980；Qwen3-TTS的STOI为0.958，作者称声学偏差更大。
• 作者称THRIVE在常规处理下保持稳定；Dots.tts在神经codec再生上更好，Qwen3-TTS在多数声码器重合成和两种增强模型上更强（Sec. 5.3）。表中高低顺序随攻击列变化：Groot的EnCodec列高于Ours-Q，FRCRN列上多种基线高于两种Ours。
• 同表TPR可以低于同格ACC。LJSpeech上Ours-Q的FACodec为0.788/0.309、STCodec为0.762/0.230，Ours-D的HiFi-GAN为0.769/0.248。作者仍称三类重建族上可以维持来源验证。

来源归属

• 测了什么：沿XAttnMark，在10到10,000的候选身份池上做最近汉明检索。Fig. 4(a)对常见失真平均，(b)对重建攻击平均。中间规模的数值只在图中，正文未列出。
• 结果：常见处理下、N=10,000时，Qwen3-TTS与Dots.tts为93.2%与95.3%，RIWF为17.7%。重建攻击下同规模为39.4%、26.6%与0.6%（Sec. 5.4）。
• 作者解读：作者称恢复出的水印在来源验证之外仍有区分度，可支持多用户归属；重建使归属更难，两种骨干的差距也反映重建依赖的差异。

组件消融

• 测了什么：Table 3在Qwen3-TTS上拆开嵌入与恢复。Codec Avg.与Vocoder Avg.的成员论文未逐项列出。表示仅注入与静态LoRA的后两列为空，记为未报告。
• 嵌入：仅生成路径的干净ACC为0.999（变化0.000），Codec Avg.与Vocoder Avg.为0.675与0.674，表中变化为-0.143与-0.232。仅表示注入与静态LoRA的干净ACC均为0.489（变化-0.510），作者称接近随机水平；二者PESQ为4.643与4.156。
• 恢复：仅波形的干净ACC为1.000，Codec Avg.为0.657。仅频谱的Codec Avg.为0.873，表中变化为+0.055，Vocoder Avg.同为0.771。去掉选择器后干净ACC不变，Codec Avg.与Vocoder Avg.的变化为-0.038与-0.062。作者称这支持按可靠性选择。

分布外与复合攻击

• 分布外干净恢复：LibriTTS与AISHELL-3上两种骨干的干净ACC均为0.999（Table 5、Table 6）。LibriTTS上Dots.tts的TPR为0.999，其余THRIVE的OOD干净TPR为1.000。
• 重建平均：作者称对模型驱动重建攻击平均后，Qwen3-TTS与Dots.tts的ACC在LibriTTS为88.6%与86.3%，在AISHELL-3为87.8%与86.3%，并称分布偏移带来的变化小于更换重建机制（附录D.4）。作者还称两个OOD集上，Dots.tts在全部五种神经codec上的ACC都高于Qwen3-TTS；Qwen3-TTS在七个声码器中的六个以及两种增强上更强；WaveFM仍偏向Dots.tts。
• 复合攻击：Table 9在LJSpeech上从左到右串联两种处理。作者称信号、压缩与codec串联下恢复仍然较强；串联的模型驱动重建ACC范围为0.716到0.820。其中Qwen3-TTS在VoiceCraft到HiFiCodec上为0.716/0.124。该表的GN为15 dB，MP3/Opus为32 kbps，EnCodec为12 kbps，与Table 2的单项设置不同。

其他消融与分析

• 诊断样本为20条1秒、24 kHz的LJSpeech；7个重建模型×5种模式，共700对观察（附录A.4）。
• Mel方向对齐，MR-L/MR-M/MR-H：神经codec为0.25/0.30/0.31，声码器约0.66–0.73，增强为0.75–0.77（附录A.5，约数按原文approximately）。
• SEM-5/SEM-10在上述三族为0.36/0.31、0.83/0.81、0.93/0.98。
• DiffWave五模式的Mel对齐为0.648–0.691；HiFi-GAN两个时间模式为0.971与0.938，局部谱模式为0.651–0.771。
• FRCRN局部模式对齐约0.51–0.55，SEM-5/SEM-10为0.873与0.968；作者称Demucs五模式都保持接近未攻击方向。
• 模拟器与评测共享的精确压缩只有EnCodec 6 kbps和Opus 16 kbps；FACodec、SpeechTokenizer、HiFiCodec、VoiceCraft、评测声码器与评测增强模型未进入模拟器（附录C.1）。

作者只把针对水印系统优化的自适应重建明确写成后续方向。

作者指出的局限与后续方向

• 自适应重建：附录E写，评测覆盖多种神经codec、声码器与增强重建，但更自适应的攻击可能专门针对水印系统优化变换。作者称对此类自适应重建的鲁棒性仍是后续方向。

实验覆盖范围

• 被测生成骨干为Qwen3-TTS（0.6B，离散codec token）与Dots.tts（2B，连续声学表示），THRIVE标识长度为16比特（Sec. 5.1、Table 1）。
• 语料为LJSpeech（约24小时、单说话人英语）、LibriTTS（多说话人英语）和AISHELL-3（多说话人普通话）（附录D.1）。主评测语句条数、重复次数和人工听感论文未报告。
• 重建条件包括EnCodec、FACodec、STCodec、HiFiCodec、VoiceCraft，以及WaveGlow、HiFi-GAN、BigVGAN、Vocos、DiffWave、PriorGrad、WaveFM，另有FRCRN与Demucs；LJSpeech上还有顺序复合攻击（Table 2、Table 9、附录C.2）。
• 归属候选规模从10到10,000，协议为最近汉明检索；Fig. 4分别对常见失真和重建攻击做平均（Sec. 5.4）。各规模的试次数论文未报告。
• 攻击模拟器与评测共享的精确压缩配置只有EnCodec 6 kbps和Opus 16 kbps；FACodec、SpeechTokenizer、HiFiCodec、VoiceCraft、评测用声码器与增强模型未用于模拟器（附录C.1）。

THRIVE是面向现代自回归TTS的多比特生成式语音水印，用来在model-driven reconstruction之后做来源验证和用户归属。

• 问题：发布后的语音可能经过神经codec再生、声码器重合成或增强重建。作者称这些学习式变换能保留可用性，却会按不同方式保留、重组或抑制同一水印结构，单一载体或单一观察空间并不能跨攻击保持可恢复。
• 方法：防御方在注册用户的每次请求中嵌入该用户的标识。RISE把同一标识写入解码器中间表示，并调制后续低秩生成层，因此更换标识不必重训练。CARE用波形专家和频谱专家分别预测，再按比特可靠性与话语级偏好选择；专家冻结后才校准选择器。
• 干净与保真：LJSpeech上Qwen3-TTS与Dots.tts的干净ACC均为0.999，1% FPR下TPR为1.000（Table 1）。同表Dots.tts的PESQ为4.210、SSIM为0.980；Qwen3-TTS的STOI为0.958。
• 重建与归属：摘要给出两种自回归范式在重建攻击下的平均恢复准确率87.6%。常见处理、N=10,000时归属准确率为93.2%与95.3%；重建攻击下为39.4%与26.6%，RIWF为0.6%（Sec. 5.4）。Table 2中部分条件的TPR低于ACC，例如LJSpeech上Ours-Q的FACodec为0.788/0.309。
• 作者结论：作者称水印存活同时取决于嵌入结构、重建机制和恢复表示。他们在结论中称，协调生成过程中的水印参与，并在互补表示上按可靠性恢复，可以在保持合成保真的同时，支持异构重建下的来源验证和可扩展的用户归属。