GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

如何在已部署的零样本 TTS 中，抑制选择退出说话人的可再识别音色，同时保住可懂度、自然度与其余说话人的合成。

• 场景：零样本 TTS 用几秒参考语音即可复刻未见说话人。作者称这带来未经授权的声音克隆、冒充、语音钓鱼和 deepfake 滥用。
• 现有不足：作者称声音匿名化与抗克隆只保护单条样本，不处理部署后的退出请求。TGU 与 SGU 要微调整个 flow decoder，并可能影响 retain 说话人；TruS 加强转向会降低相似度，但可能降低自然度与可懂度，弱转向则图库再识别仍然较高。
• 观察：作者认为遗忘应抑制可靠的再识别，而不是只压低说话人相似度（SIM）；应把 forget 说话人推向无关说话人之间的群体冒充相似度（population-level impostor similarity）。作者称仅降相似度未必能刻画遗忘是否成功。
• 方法：作者提出 GUARD，在冻结骨干上结合可学习说话人门控与说话人无关的激活转向（activation steering），用群体相对奖励优化转向向量。
• 威胁模型：
  • 目标：抑制 forget 说话人的再识别，保留语言内容、语音自然度与 retain 说话人复刻。
  • 设定：提供方控制的部署，用户经标准合成接口访问。论文未写外部攻击者的 white-box 或 black-box 知识。
  • 系统：预训练零样本 TTS，输入为参考录音与目标文本。
  • 判定：残留身份用基于图库的 top-1 再识别；forget 侧 SIM 以该说话人的群体冒充相似度为参照，而不是无约束最小化。

论文按说话人身份遗忘、激活转向和奖励优化来定位本文，对比基线是 SGU、TGU 与 TruS。

• 样本级隐私：VALL-E（2023）、NaturalSpeech 2（2024）、Voicebox（2023）、F5-TTS（2024）、CosyVoice（2024）用短参考复刻说话人并匹配文本。VoicePrivacy 挑战（2024、2026）做声音匿名化并保留语言内容；AntiFake（2023）与 VoiceCloak（2026）向语音加入对抗扰动，以干扰未经授权的克隆。作者称这些方法保护单条样本，不处理已部署 TTS 中的说话人退出。
• 说话人身份遗忘：TGU 与 SGU（Kim 等，2025）用替代语音目标优化 flow decoder，以保留 retain 说话人的合成。作者称二者要微调整个 flow decoder，并可能影响 retain 复刻。TruS（Lee 等，2026）在推理时沿身份相关方向转向内部激活，无需额外训练。作者称加强转向会降低 forget 相似度，但可能降低自然度与可懂度；较弱转向则图库再识别仍然较高。Kim 等（2026）考虑顺序退出请求下的持续说话人身份遗忘。
• 激活转向：EmoSteer-TTS（2025）用激活差向量做免训练情感控制；EmoShift（2026）学习可训练转向向量；另有工作用激活转向修改口音并保留说话人特征（2026）。作者称这些工作把内部激活当作轻量干预空间；GUARD 则用生成后的匿名、可懂度与自然度奖励，优化说话人无关的层间转向以做身份遗忘。
• 奖励优化与基线：Seed-TTS（2024）用强化学习，F5R-TTS（2025）用 GRPO，二者都纳入 WER 与说话人相似度奖励。GLASS（2026）在冻结骨干上用 GRPO 优化 LoRA 声学风格控制。作者称与这些权重空间适配不同，GUARD 在层间激活转向向量上做群体相对奖励优化，骨干保持冻结，匿名奖励把 forget SIM 推向群体冒充相似度。对比基线为原始 CosyVoice2、SGU、TGU、TruS；数据为 LibriTTS clean-460，泛化实验另用 F5-TTS 与 FireRedTTS。

作者称与先前遗忘工作不同，本文以群体冒充相似度为目标，并用 gallery-based re-identification 评估残留说话人身份。

GUARD 在冻结的 TTS 骨干上，用门控决定是否施加说话人无关的层间激活转向，并把 forget 说话人的相似度推向群体冒充水平。

问题设定

• 模型 M 由参考录音 a 与目标文本 y 合成语音。对 forget 集合 F，抑制再识别，并保留语言内容、自然度与 retain 复刻。主骨干 CosyVoice2 的全部参数冻结。
• 作者不最小化 SIM，而把它推向无关说话人之间的群体冒充相似度。μ_imp(f) 是注册原型 p_f 与非匹配说话人原型的平均余弦相似度。
• 每个 CFM 步、每个时间位置，在 decoder block ℓ 上按式 (1) 修改残差：h̃_ℓ=h_ℓ+g̃(e)s_ℓ。s_ℓ 为各 forget 说话人共享的可训练向量，g̃(e) 控制该说话人的强度。
• CosyVoice2 有 L = 56 个 flow-decoder block，隐藏维 d = 256，转向参数共 14.3K。

选择性门控

• GateNet 从说话人嵌入预测系数，是带 SiLU 的 MLP，隐藏层 128 维，24.8K 参数。
• 用 forget 与 retain 标签做类别加权二元交叉熵，单独训练；优化转向向量时 GateNet 固定。
• 推理阈值 τ = 0.3：g(e) 低于 τ 则 g̃(e) = 0，完全不加转向；否则 g̃(e) = g(e)。作者称这保留冻结骨干的原计算路径。

群体相对奖励

• 记全部层间转向向量为 s。每个输入采样 G 组候选，s 加上 σ 倍标准正态噪声，各自合成后再打分。论文给出奖励式 (3)；抽取文本里括号或绝对值的排版不完整，这里按正文转述，不复写该式。
• 匿名项惩罚 forget SIM 偏离 μ_imp(f)。可懂度项惩罚相对目标文本的 WER。自然度项在 UTMOS 低于基线分数 U_0 时惩罚。E_sv 为说话人验证编码器。
• 组内把奖励归一化为优势 A_k，即奖励减去组均值，再除以标准差加 δ。梯度估计为各 A_k 与对应噪声之积，除以 Gσ 后求和。用 Adam 只在 forget 候选上更新 s。论文未给出 δ 的取值。
• 实验取 G = 16、σ = 0.06、权重 (w_a, w_c, w_n) = (1, 24, 4)、U_0 = 4.45。WER 用 Whisper。推理只用已学向量和 g̃(e)，不再采样或计算奖励。

名单与其他骨干

• 名单变化时，说话人无关的转向向量保持固定，只更新 GateNet。
• F5-TTS 与 FireRedTTS 上，GateNet 的输入来自外部说话人验证编码器，转向向量按骨干分开优化。论文未写出该编码器的型号。

主实验在冻结的 CosyVoice2-0.5B 上、于 LibriTTS clean-460 比较 GUARD 与 SGU、TGU、TruS，并用图库再识别和音质指标一起报告。

实验设置

• 骨干与数据：主骨干为冻结的 CosyVoice2-0.5B；另评 F5-TTS 与 FireRedTTS，转向向量按骨干分开优化。数据为 LibriTTS clean-460：50 名 forget（25 男 25 女），其余 995 名为 retain。评测用 200 条 forget 语句和 40 名 retain 说话人的 80 条语句，均不参与 GateNet 训练；这 200 条也不参与转向优化。每条合成使用 3 秒说话人提示，文本来自同一说话人的另一条语句。
• 基线：原始 CosyVoice2、SGU、TGU、TruS。SGU 与 TGU 按原目标微调全部 71.3M 参数的 flow decoder，λ = 0.2，每名 forget 说话人 60 条语句、12K 步。TruS 取 α = 2.0 与 2.5，retain 说话人使用 oracle gating。
• 指标：SIM、WER、UTMOS、spk-ZRF。正文未给出 spk-ZRF 的定义。图库 top-1 准确率 id@N（N 为 50、100、150）：每条 forget 合成语音的库包含该说话人与 N−1 个干扰项，均用注册原型表示。detectability AUROC 比较受保护输出与真实冒充录音；Table 1 称最优为 0.5，越接近 0.5 越接近随机排序。50 名 forget 说话人的 μ_imp(f) 均值为 μ̄imp = 0.129。
• 优化与评审：GateNet 在缓存说话人嵌入上训练 2.5K 步，转向优化时固定。G = 16，σ = 0.06，奖励权重 (1, 24, 4)，U_0 = 4.45。论文称 U_0 为基线 UTMOS；Table 1 中原模型 forget / retain UTMOS 为 4.37 / 4.40。WER 的奖励与报告都用 Whisper，论文未写出其版本。硬件为单张 V100-16GB。论文未报告重复次数。

主结果

下表据 Table 1（LibriTTS clean-460，CosyVoice2-0.5B）。forget SIM 的参照为 μ̄imp = 0.129。正文把 WER 与再识别率写作百分数。

表格较宽，可左右滑动

方法	Forget SIM	Forget WER	Forget UTMOS	id@150	Retain SIM
CosyVoice2	0.541	5.5	4.37	73.5%	0.607
SGU	0.481	5.6	4.40	56.5%	0.556
TGU	0.481	5.7	4.38	56.0%	0.561
TruS α=2.0	0.341	5.3	3.64	25.0%	0.602
TruS α=2.5	0.078	122.0	1.35	2.0%	0.614
GUARD	0.103	5.9	4.37	0.5%	0.601

• 作者称 GUARD 把 forget SIM 推向冒充区间，并维持 WER、UTMOS 与 retain 指标接近原骨干。贡献陈述称无语音质量下降；表中 forget WER 高于原模型，UTMOS 与原模型相同。
• 作者称 SGU、TGU 更新整个 flow decoder 后，id@150 仍然较高，retain SIM 低于原模型。TruS 在 α = 2.0 时再识别仍较高；α = 2.5 时再识别下降，作者称同时出现性能下降。
• Table 1 的 detectability AUROC：GUARD 为 0.579，作者称在所评方法中最接近 0.5；TruS（α = 2.5）为 0.657，原模型为 0.009。

奖励消融

Table 2 各变体从零训练、预算相同，每次去掉一项奖励。

• 去掉 μ_imp（设为 0）：forget SIM 为 0.056，id@150 为 2.0%，AUROC 为 0.706（同表 GUARD 为 0.103、0.5%、0.579）。作者称低于冒充区间不会进一步降低图库再识别，并使受保护输出更易与真实冒充录音区分。
• 去掉 UTMOS 奖励：UTMOS 为 1.25，WER 为 11.4%，id@150 为 1.0%。作者称自然度与可懂度都下降。
• 去掉 WER 奖励：WER 为 6.7%，id@150 为 2.5%，UTMOS 为 4.44，AUROC 为 0.608。

名单更新成本

Table 3 比较向 forget 名单加入一名新退出说话人的成本。

• GUARD 保持层间转向向量不变，只更新 24.8K 参数的 GateNet，不重训 TTS 骨干：9.9 分钟、显存小于 1 GB、检查点 0.1 MB。
• SGU 与 TGU 微调 71.3M 的 flow decoder：7.8 小时与 6.3 小时，显存 8–12 GB，检查点 286 MB。

骨干泛化

Table 4 仍把 μ̄imp = 0.129 标为 forget SIM 的参照。

• F5-TTS：GUARD 的 id@150 为 6.0%（基线 95.5%），SIM 为 0.199（基线 0.651），WER 为 4.2（基线 3.5），UTMOS 为 4.25（基线 4.13）。id@50 / id@100 为 14.5% / 6.5%。
• FireRedTTS：GUARD 的 id@150 为 18.0%（基线 91.5%），SIM 为 0.210（基线 0.636），WER 为 4.8（基线 4.2），UTMOS 为 4.15（基线 4.17）。id@50 / id@100 为 26.0% / 20.0%。
• 作者称两套骨干上可懂度与自然度得以保持。

其他消融与分析

• Table 1：GUARD 的 id@50 / id@100 为 2.0% / 1.0%，原模型为 81.0% / 77.5%；TruS（α = 2.5）为 3.5% / 2.5%。
• Table 1：GUARD 的 forget / retain spk-ZRF 为 0.824 / 0.831，原模型为 0.851 / 0.832；retain 的 WER / UTMOS 为 4.7 / 4.40，原模型为 4.9 / 4.40。
• 第 4.3 节：作者称 SIM 高于冒充区间时仍可能保留支持图库再识别的信息；降到该区间以下不会进一步降低再识别，并使受保护输出更易与真实冒充录音区分。作者因此把冒充相似度当作参照，而不是无约束地最小化 SIM。
• 第 4.3 节：作者称 GateNet 决定是否转向，说话人无关向量给出共享干预；新退出说话人只需更新 GateNet。

作者在 Conclusion 中把后续工作定为说话人自适应转向，并保留轻量更新机制。

作者指出的局限与后续方向

• 论文未单独列出局限。Conclusion 写明后续将研究说话人自适应转向向量，用于个体化的说话人身份抑制，同时保留 GUARD 的轻量更新机制。

实验覆盖范围

• 主实验骨干为冻结的 CosyVoice2-0.5B，对比原始 CosyVoice2、SGU、TGU 与 TruS（α = 2.0 与 2.5，retain 说话人使用 oracle gating），数据为 LibriTTS clean-460（第 4.1 节、Table 1）。
• forget 说话人 50 名（25 男 25 女），retain 说话人 995 名；评测语句为 200 条 forget 与 40 名 retain 说话人的 80 条。图库规模 N 为 50、100、150。
• 奖励消融分别去掉 μ_imp、UTMOS 奖励与 WER 奖励（Table 2）。单名新退出说话人的更新成本见 Table 3。
• 骨干泛化包括 F5-TTS 与 FireRedTTS（Table 4）。这两套模型的 GateNet 使用外部说话人验证编码器，论文未写出其型号。
• 论文未报告重复次数，也未写出 Whisper 的版本。

GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

• 问题：短参考即可复刻音色。作者认为应抑制可靠再识别，并保住语言内容、自然度与 retain 复刻；仅降低 SIM 不足以判断遗忘是否成功。
• 做法：冻结骨干。GateNet 决定是否加说话人无关的层间转向；群体相对奖励把 forget SIM 拉向群体冒充相似度，并约束 WER 与 UTMOS。名单变化时转向向量固定，只重训 GateNet。
• 主结果：LibriTTS clean-460、CosyVoice2-0.5B 上，forget SIM 从 0.541 到 0.103，150 人库 top-1 从 73.5% 到 0.5%（Table 1）。forget UTMOS 仍为 4.37，retain SIM 为 0.601。作者称质量与 retain 复刻得以保持。
• 对照：TruS（α = 2.5）的 id@150 为 2.0%，WER 为 122.0%，UTMOS 为 1.35。SGU、TGU 的 id@150 为 56.5% 与 56.0%。去掉冒充目标后 SIM 降到 0.056，但 id@150 升到 2.0%，AUROC 升到 0.706（Table 2）。
• 泛化与更新：F5-TTS 与 FireRedTTS 的 id@150 分别到 6.0% 与 18.0%（Table 4）。新增一名退出说话人时，只更新 GateNet 用 9.9 分钟（Table 3）。
• 作者结论：作者称以群体冒充相似度为参照、并用图库再识别评估，可以在保留语音质量与 retain 复刻的同时降低再识别；后续将研究说话人自适应转向，并保留轻量更新。