研究者提出针对微调 TTS 模型的黑盒成员推断攻击

现代生成式 TTS 经私有语音微调后，缺少能在黑盒条件下审计说话人级与记录级成员关系的方法。

• 场景与风险：作者称 TTS 基座常被微调以克隆特定声音，用于数字人、有声书和语音智能体。微调可能暴露两类敏感信息：生物识别身份（可被用于深度伪造与身份冒充），以及训练录音中的语言内容（可能含私人谈话或医疗咨询）。GDPR 与 EU AI Act 加强对个人数据用于训练的审查，因此审计微调 TTS 的成员泄露是隐私问题。
• 现有方法不足：作者称 MIA 在视觉与语言上已有大量研究，音频工作集中于 ASR、说话人验证等判别任务。作者称此前没有针对现代生成式 TTS 的黑盒 MIA。既有生成模型黑盒 MIA 分查询生成与表示工程两阶段：TTS 同时以合成文本和参考语音为条件，查询空间大且没有判定有效查询的准则；语音的多层次特征与时长变化使 Mel 频谱、MFCC 及逐点距离难以提取成员信号。
• 核心观察：作者认为，黑盒下训练损失不可见，但现代 TTS 本身按重建方式训练，重建相似度可作为拟合程度的可观测代理。查询要同时扩大可比较范围（scorable extent）并诱发微调时记住的细节（memorization elicitation）；表示则需按粒度区分全局声纹与帧级轨迹，并处理变长对齐。
• 本文提出：作者提出面向微调 TTS 的黑盒 MIA 框架，粒度包括说话人级与记录级。查询侧刻画可行空间并实例化五种代表查询，以 recitation 为攻击查询；表示侧用说话人验证编码器与多层 WavLM，再用改进的动态时间规整（DTW）和轻量 LSTM 打分。
• 威胁模型：
  • 受害系统与目标：目标是在私有、专有或受版权语音集 Dtrain 上微调后的 TTS 模型 F，Dtrain 由模型提供方保密。攻击者作为外部审计者（隐私监管、版权方或安全研究者），做严格二分类，判断目标记录 x 或目标说话人是否在 Dtrain 中，以核查未授权使用或合规问题。
  • 知识：practical black-box。攻击者不知内部权重、梯度或微调数据，也不能取得内部置信度、token 级概率或中间表示。记录级攻击按成员推断的常规做法，假定攻击者知道系统基于哪个公开基座检查点，并能在不相交辅助数据上微调自己的影子副本；说话人级攻击不需要这一假设。
  • 能力：可多次提交 q=(tsyn, sref)，观察连续波形 sgen=F(q)。可使用开源预训练嵌入模型作为事后特征提取器，以及标准计算资源与公开辅助工具。
  • 两种粒度（Table I）：说话人级判断是否有任何属于 spktarget 的数据在 Dtrain 中，攻击者持有该说话人的 n 段语音，不知其是否与训练集重叠。记录级判断具体文本–音频记录 x=(ttarget, starget) 是否在 Dtrain 中，攻击者持有该完整记录。

论文在引言、Section II 与方法对比中讨论了 TTS、通用 MIA 和音频隐私攻击，并据此定位查询与表示上的缺口。

TTS 与语音合成

• 早期与现代 TTS：Tacotron2、VITS 为封闭说话人集合合成语音。VALL-E、XTTS-v2、Qwen3-TTS-12Hz 等自回归模型按 token 生成；Voicebox、E2-TTS、F5-TTS 等非自回归模型用扩散或 flow-matching 直接映射到梅尔谱；CosyVoice、Chatterbox TTS、Qwen3-TTS-25Hz 为混合架构。条件为短参考句 sref 时，模型可为任意说话人合成语音，从而支持个性化与声音克隆。
• 训练形式：作者称 CosyVoice、XTTS-v2、F5-TTS、Voicebox 等现代 TTS 通过重建学习，用转写文本和取自同一语句的参考片段来复现该语句。

成员推断

• 经典与生成模型 MIA：Shokri 等与 Carlini 等将 MIA 作为审计训练成员的工具；视觉、语言模型上的工作很多。条件生成模型上的近期研究常把黑盒 MIA 写成基于分数的决策：构造查询 q，再用 ϕ 从目标样本与生成结果得到成员分数，并与阈值 τ 比较。
• 查询与表示：先前工作强调查询设计；语言与扩散模型的查询通常是单一文本。token 级匹配、固定网格距离被用于离散 token 或图像。黑盒 LLM 常用前缀补全探测记忆。作者把重建相似度与训练损失的联系（成员关系与损失、黑盒下以重建质量作拟合代理）作为 TTS 查询准则的来源。
• 音频上的 MIA：作者称音频 MIA 集中于 ASR 与说话人验证等判别任务。作者称此前没有针对现代生成式 TTS 的黑盒 MIA。

语音表示与对齐

• 声学与自监督特征：Mel 频谱、MFCC 被作者视为难以覆盖从局部频谱到整体风格的多层痕迹。WavLM 用掩码语音预测建模帧级依赖，并在多层（文中 L=24）形成特征层级。说话人验证模型把音频压到以身份为中心的空间；文中使用 WavLM+ECAPA-TDNN。短音频上 SV 表现差是作者选择时间拼接的依据。DTW 用于变长序列对齐。
• 基线方法与数据集：攻击内部对比的查询为 recitation、continuation、partial reference、audio perturbation、text perturbation；特征对比包括 SV、WavLM、Mel、MFCC；对齐对比包括填充/截断、shift-align 与 DTW。微调与评测数据集为 VCTK 与 British Dialect。影子模型与记录级 LSTM 分类器在不相交说话人集上按同一配方训练。

作者把本文定位为：作者称这是对现代生成式 TTS 的首次系统性成员推断研究，也是首个明确面向 TTS、同时覆盖说话人级与记录级的黑盒 MIA 框架；查询空间的刻画与两种准则、以及面向连续变长语音的两种表示提取器，是相对既有两阶段 MIA 的适配。

整体是两阶段黑盒流水线：查询生成 GQ 用目标记录派生输入去探测 F，表示工程 ϕ 从生成波形与目标的差异得到成员分数 M(x)。附录 Algorithm 1 概括为：基于重建的查询生成器做 m 次采样，再经提取、对齐与打分。生成写作 sgen=F(tsyn, sref; θ)。通用分数为 M(x)=ϕ(x, F(q))，与阈值 τ 比较。

问题设定与查询空间

• 两种审计：说话人级判断 spktarget 的任意数据是否进入 Dtrain，输入为 n 段该说话人语音。记录级判断 x=(ttarget, starget) 是否进入 Dtrain，输入为该完整记录。
• 五类代表查询（Table II）：沿攻击者知识（完整、部分、降质）和策略（复现或前缀补全）实例化。目标记录记为 x*=(t*, s*)。
  • Recitation：q=(t*, s*)，用完整记录按训练时条件要求模型复现。
  • Continuation：按比例 ρ 把记录分成前缀与后缀，只给语音前缀，要求补全后缀文本。
  • Partial reference：参考语音为覆盖比例 ρ 的窗口，合成文本为对应转写。
  • Audio perturbation：参考语音加强度 σ 的声学扰动（如加性噪声），文本为 t*。
  • Text perturbation：把比例 δ 的词换成近同音替代，参考语音仍为干净的 s*。
• 两条准则：C1 scorable extent 看生成语音中有多少能与目标做内容匹配的比较，主要由 tsyn 决定。记录级要求双方共享语言内容，否则距离会混入用词差异；tsyn=t* 时可比较整段，只覆盖一部分时只能比较对应片段，改写的词没有内容匹配对象。说话人级比较抑制语言变化的身份嵌入，可评分范围改为可提取说话人表示的语音量。C2 memorization elicitation 看查询是否促使模型表达微调学到的目标细节，主要由 sref 决定：说话人级包括音色与口音，记录级包括局部音高、停顿与谐波。作者预测：同时满足完整转写与完整干净参考的只有 recitation；文本扰动在说话人级仍有竞争力，在记录级因替换词损失可评分范围；音频扰动保留可评分范围但削弱诱发；续写与部分参考两条都受限。附录 E 在固定合成文本、只改变参考完整度的对照中，作者称给出完整参考会提高两类分数，并使均值差距大约加倍。具体扰动强度见附录 C，正文未在方法节给出默认 ρ、σ、δ。

说话人级表示

• 提取：ϕspk 使用 WavLM+ECAPA-TDNN 说话人验证编码器 ESV，得到身份声纹。因短片段上 SV 较差，先把 n 段目标音频以及对应的 n 段生成音频各自按时间拼接，再提取固定维向量 etarget、egen。
• 打分：说话人验证以向量夹角区分身份，故用余弦相似度作为成员分数 v。不训练攻击分类器。决策为与阈值 τ 比较。

记录级表示与对齐

• 提取：ϕrec 使用自监督 WavLM，取未池化的隐藏状态。WavLM 层数 L=24，隐藏维 d=1024。对选定层集合 Lsel，得到 Hx∈R^{Kx×|Lsel|×d}。作者称 SV 嵌入会丢掉局部语言与韵律，不适合记录级；Mel/MFCC 又偏底层。
• 改进 DTW：Figure 1 示意即使转写相同，音素时长与韵律时间仍可能不同。对每一层用余弦距离求单调规整路径，再把生成帧平均到目标时间轴上，而不是沿路径抽出变长相似度序列。逐帧、逐层计算余弦相似度，得到 S∈R^{Ktarget×|Lsel|}。
• LSTM 打分：mk=LSTM(sk, mk−1)，v=σ(W^T m_Ktarget+b)。作者称连续高相似度帧比孤立匹配更强，故不用逐帧平均。分类器在影子模型上训练：影子模型与受害模型同架构，在不相交说话人集上按同一配方微调，对其跑同一查询与表示流程，用已知成员标签的相似度序列训练，再用于受害模型。

默认攻击配置

• 选定查询：主攻击使用 recitation。每次查询用 m 个随机种子重复；除非另述，说话人级 n=3、m=5，记录级 m=10。
• 成功判定：成员与非成员二分类。指标为 AUC、平均情形 ACC，以及低假阳率下的 TPR@1%FPR。作者称主要关注低 FPR 的 TPR–FPR 曲线，因其更反映攻击者有信心地认出训练成员的能力。

实验设置

• 模型：官方实现的 F5-TTS、XTTS-v2、CosyVoice2。F5-TTS 用 Emilia 上训练的 F5-TTS-v1-Base；XTTS-v2 预训练于 LibriTTS-R、LibriLight 与内部有声书风格数据的混合；CosyVoice2 从 CosyVoice2-0.5B 初始化。均用公开预训练检查点并按官方微调协议与默认超参。架构分别对应 flow-matching、自回归与混合。
• 数据与划分：VCTK 超过 44,000 条、约 44 小时、110 名英语说话人；British Dialect 为 17,877 条转写、31 小时、120 名母语者、六种地区变体。每个数据集随机抽 100 名说话人，分成不相交的 50 人集：S1 微调受害模型并评测，S2 训练影子模型与攻击分类器。每侧再分 spkin 与 spkout，模型在 spkin 的 N 条上微调。VCTK 上 N=5000，British Dialect 上 N=3000。说话人级：成员从 spkin 以不同于训练集的种子重采样，非成员来自 spkout。记录级：成员为 N 条训练语句，非成员为从两组说话人剩余语句再抽的 N 条。
• 默认预算：除非另述，说话人级 n=3 段攻击语音，每查询 m=5 个随机种子；记录级 m=10。
• 指标：AUC、ACC、TPR@1%FPR。主结果用 ROC，随机猜测为对角线（AUC 0.5）。论文未报告重复实验次数，也未报告人工评审或 LLM 评审；分数由余弦相似度或影子数据上训练的 LSTM 给出。
• 消融主设置：查询、特征、对齐等对比多在 CosyVoice2 微调于 VCTK 上报告。防御在同一模型与数据集上报告。

主结果

Figure 2 给出三模型×两数据集的 ROC。正文写出的点值为：

Swipe horizontally to read the table

模型	说话人级 VCTK AUC	说话人级 British Dialect AUC	记录级 VCTK AUC	记录级 British Dialect AUC
XTTS-v2	0.841	0.949	未报告	未报告
F5-TTS	未报告	未报告	0.800	0.844
CosyVoice2	未报告	未报告	未报告	未报告

据 Figure 2 与 Section IV-B。CosyVoice2 的主结果 AUC 未在正文逐一写出；查询消融中其 recitation 在 VCTK 上为说话人级 0.980、记录级 0.896（Figure 4），作者称 British Dialect 上 CosyVoice2 与 F5-TTS 的说话人级 AUC 近乎完美。

• 作者解读：说话人级全部 AUC 高于 0.80，最强设置为 British Dialect 上的 CosyVoice2 与 F5-TTS。记录级 AUC 高于 0.5，但弱于说话人级。British Dialect 总体强于 VCTK，说话人级更明显；记录级差距较小，但 CosyVoice2 与 XTTS-v2 在 British Dialect 上的低 FPR 表现仍更强。作者给出的一种可能原因是 British Dialect 口音与说话风格差异更丰富。
• 架构差异：作者称说话人级上 XTTS-v2 始终最不脆弱（VCTK 0.841、British Dialect 0.949），并归因于其微调不直接改动把隐表示映射到梅尔谱或波形的声学解码器。记录级上 F5-TTS 在两数据集 AUC 最低（0.800 与 0.844），作者认为一种可能原因是它没有自回归建模。
• 同说话人非成员：Figure 3 中非成员全部来自已出现在微调集中的说话人。作者称 ROC 仍明显高于随机基线，低 FPR 表现与全量评测集相当，并认为记录级 MIA 捕捉的是超出说话人身份的记录级记忆。Figure 3 未在正文给出具体 AUC。

查询、特征与对齐

• 五种查询（Figure 4，CosyVoice2，VCTK）：recitation 的说话人级 AUC 0.980、记录级 0.896。说话人级相对次优只高 0.009 AUC；记录级高 0.059 AUC。记录级 TPR@1%FPR 为 0.281，次优为 0.154，作者称接近翻倍。说话人级文本扰动为 0.971 AUC、0.802 TPR@1%FPR，recitation 为 0.853 TPR@1%FPR。记录级上完整干净参考的两种查询最好：recitation 0.896 / 0.281，文本扰动 0.837 / 0.154；不完整或降质参考的三种 AUC 为 0.690–0.746，TPR@1%FPR 为 0.030–0.100。作者称这与 C1、C2 的预测一致。
• 特征（Figure 5，同一设置）：说话人级 SV 的 AUC 0.980，Mel 0.629，MFCC 0.595。记录级 SV 为 0.808，多层 WavLM 加分类器升至 0.896；Mel 0.672，MFCC 0.696。作者称全局身份线索对应说话人级，局部序列线索对应记录级。
• 对齐与层（Figure 6–8）：Figure 6 中时间拼接在说话人级上优于嵌入平均，作者称增益在更难的 XTTS-v2 上最大，正文未给出该图数值。Figure 7：单层中较低层通常更有区分度；按排名聚合层时 AUC 从最佳单层约 0.857 升到 top-4 的 0.873、top-8 的 0.883、top-16 的 0.890、全部 24 层的 0.896，ACC 与 TPR@1%FPR 同向。Figure 8：不做对齐、只填充或截断到参考长度时接近随机；DTW 的 AUC 0.896、ACC 0.809，高于只校正固定时移的 shift-align。正文在此处截断，未给出 shift-align 的数字。

防御与输入扰动

• 推理时参考音频扰动（Table X，CosyVoice2，VCTK）：白噪声 SNR 40 dB 与 25 dB。作者称 40 dB 几乎不可察觉，25 dB 明显可闻但仍可懂。即使 25 dB，说话人级仍有高 AUC，记录级仍明显高于随机。正文未给出 Table X 的逐格数字。时间截断保留前 50% 或 20% 时长：截断比加噪降得更多，20% 时更明显，但作者称攻击仍大体高于随机。作者认为要明显削弱攻击需去掉参考音频的很大一部分，而这可能降低正常用户的 TTS 效用。
• DP-SGD（Table XI）：在 CosyVoice2 与 VCTK 上，隐私预算 ε=4 与 ε=10 将说话人级和记录级 MIA 降到接近随机（AUC≈0.52–0.54，TPR@1%FPR<0.02）。作者称形式化差分隐私能缓解该攻击所暴露的成员泄露。Table XI 附近可见记录级在步数 4 时 AUC 0.518、ACC 0.515、TPR@1%FPR 0.010，步数 10 时 0.534、0.528、0.006；论文未在可见正文中把这两行明确标成 ε，故不把它们写成 ε 的逐格值。

其他消融与分析

• 参考完整度（Figure 14，附录 E）：合成文本固定为 t*。完整 s* 与覆盖一半的随机窗口相比，作者称完整参考提高两类重建分数，并使两类均值之差大约加倍。图中虚线为均值，Δ 为均值差；正文未给出左右两侧的具体分数。
• 微调步数（Figure 15）：CosyVoice2 在 VCTK 上用 recitation，横轴为微调步数，分说话人级与记录级。正文未给出曲线端点数值。
• 查询预算与组件（IV-C6 至 IV-C8）：作者称对 CosyVoice2 混合架构的消融支持“说话人级与记录级泄露来自不同组件”。n、m 及微调哪些模块的具体数字在可见正文中未完整列出。
• 语音特征（Section IV-D）：作者称更易被记住的语音特征包括低静音比、密集音素结构、丰富的高频内容。正文未给出这些特征与 AUC 的对应数值。
• 负面结果：无对齐时记录级接近随机（Figure 8）。XTTS-v2 说话人级 AUC 在三模型中最低（0.841 / 0.949）。F5-TTS 记录级 AUC 最低（0.800 / 0.844）。不完整或降质参考的记录级 TPR@1%FPR 降至 0.030–0.100。DP-SGD 下 AUC≈0.52–0.54。

作者指出的局限与后续方向

可见正文的实验讨论给出了现象解释，但未把它们写成局限清单。结论与后续工作段落在所附文本末尾之前被截断，因此下面只收录文中明确写成有待研究或尚未系统考察的句子。

• 逐条记录的时间局部化：作者在语音特征分析中把“哪些帧驱动成员分数”留到后续，正文称更细的帧级归因尚未作为本工作的结果给出（Section IV-D 的讨论口径；若结论节另有列表，所附文本未包含该段）。
• 成员占比与训练长度：Figure 15 只报告 CosyVoice2 在 VCTK 上随微调步数的曲线。作者未在可见段落宣布这一因素已穷尽，步数之外的成员记录占比没有单独的结论句。
• 跨语料与跨说话人分布：主实验是每个数据集内部划分 S1/S2。作者没有在可见正文把跨数据集迁移写成已完成实验。
• 同说话人记录区分：Figure 3 已测非成员来自已见说话人的设置，作者把它作为记录级记忆的证据，而不是写成未解决问题。
• 防御侧效用：作者称大幅截断参考音频才会明显削弱攻击，并认为这可能降低正常用户的效用（防御实验，Section IV 后部）。这是对防御代价的判断，不是单独的 future work 列表。
• 论文未专门讨论局限：所附文本在 DP-SGD 结果处结束，未见独立的 Limitations、Discussion 或 Future Work 小节，因此不能把实验现象改写成作者列出的局限。

实验覆盖范围

• 模型与数据：受害模型为 F5-TTS、XTTS-v2、CosyVoice2 共 3 个；微调与评测数据为 VCTK（N=5000）与 British Dialect（N=3000）。每个数据集随机 100 名说话人，S1/S2 各 50 人（Section IV-A）。
• 攻击粒度：说话人级与记录级都报告 ROC；记录级另有非成员全部来自微调集中说话人的设置（Figure 3）。说话人级默认 n=3、m=5，记录级 m=10。
• 设计消融：五种查询、SV/WavLM/Mel/MFCC、时间拼接与嵌入平均、WavLM 单层与 top-k 至 24 层、填充截断/shift-align/DTW，主要数字来自 CosyVoice2 微调于 VCTK（Section IV-C，Figure 4–8）。
• 防御：推理时对参考音频加 40 dB 与 25 dB 白噪声，以及保留前 50% 或 20% 时长；DP-SGD 的 ε=4 与 ε=10 在 CosyVoice2+VCTK 上报告（Table X、Table XI）。论文未报告这些防御下的合成质量数值，只描述了噪声的可听程度。
• 未报告项：论文未报告攻击的重复次数、查询 API 的总次数、LSTM 的训练超参，以及与人工判断的一致性。影子模型仅按“同架构、不相交说话人、同一配方”描述。Figure 2 中除点名的 AUC 外，其余模型×数据集的 AUC 与 TPR@1%FPR 未在正文逐格写出。

作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。

微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。说话人级把 n 段音频时间拼接后送入 WavLM+ECAPA-TDNN，用余弦相似度作分数。记录级取 WavLM 多层未池化状态，用改进 DTW 对齐到目标时间轴，再用在影子模型上训练的 LSTM 聚合成员分数。影子模型与受害模型同架构，在不相交说话人上按同一配方微调；说话人级不依赖这一假设。

在 F5-TTS、XTTS-v2、CosyVoice2 以及 VCTK、British Dialect 上，作者称说话人级 AUC 全部高于 0.80，British Dialect 上 CosyVoice2 与 F5-TTS 近乎完美。正文给出的较低点是 XTTS-v2 说话人级在 VCTK 上 0.841、British Dialect 上 0.949。记录级上 F5-TTS 为 0.800（VCTK）和 0.844（British Dialect），作者称这是两数据集上的最低值，总体记录级 AUC 为 0.80–0.90。CosyVoice2 在 VCTK 上，recitation 的说话人级 AUC 为 0.980、记录级为 0.896，记录级 TPR@1%FPR 为 0.281。非成员来自已见说话人时，作者称 ROC 仍高于随机。Mel 与 MFCC 明显低于 SV 或 WavLM；不做时间对齐时记录级接近随机。低静音比、音素密集和高频丰富被作者与更高的记忆脆弱性联系起来。参考音频上的 25 dB 噪声和截断不能把攻击压到随机；DP-SGD 在 ε=4 与 ε=10 时，CosyVoice2+VCTK 的 AUC 约为 0.52–0.54，TPR@1%FPR 低于 0.02。

作者的结论是：微调 TTS 在两种粒度上都存在可审计的成员泄露，查询应同时保留可比较的语言范围和完整的参考语音，两种粒度需要不同层次的表示；形式化差分隐私可以缓解这一泄露。