面向音频深度伪造检测的任务感知联合剪枝与蒸馏框架

如何在大幅压缩SSL语音深度伪造检测器的同时，保住检测精度与跨域泛化。

• 场景：合成语音已可在听感上与真人难分，并能欺骗人和自动说话人验证系统；作者引用语音克隆用于电信诈骗和身份盗用的事例。作者认为云端推理有网络依赖，上传音频还有隐私风险，因而需要能在资源受限设备上运行、同时维持性能的轻量检测器。
• 现有缺口：wav2vec2.0、XLSR、WavLM等SSL前端是检测主流，但通常有300M+参数、130+ GFLOPs。面向ASR等内容任务的蒸馏和结构化剪枝，作者认为直接用于深度伪造检测时，任务损失或域内蒸馏不足以迁移伪造可判别知识，也保不住关键结构；并称稀疏度超过75%时、尤其域外场景性能下降。作者称该任务专用的压缩仍少有专门设计。
• 提出的方法：Task-Aware Joint Pruning and Distillation。用无标签域外数据做跨域蒸馏，用微调过程的movement score引导结构化剪枝，再与后端分类器联合微调。

论文把相关工作分成SSL检测前端、语音SSL压缩两类，压缩再分为蒸馏和结构化剪枝。

SSL前端用于深度伪造检测

• Tak等（2022）以及后续的XLS-R、Conformer、XLSR-Mamba等工作，用大规模预训练的CNN+Transformer语音SSL前端做反欺骗或深度伪造检测。
• 作者称这些前端有效，但计算需求通常为300M+参数、130+ GFLOPs，难以部署到资源受限设备。

语音SSL的知识蒸馏

• DistilHuBERT（Chang等，2022）、DistilXLSR（Wang等，2023）、FitHuBERT（Lee等，2022）用逐层蒸馏压缩语音SSL；作者称这类方法仍要手工设计学生结构。
• Xue等（2023）的自蒸馏、Lu等（2024）的one-class蒸馏把蒸馏用于伪造语音检测；作者称它们只优化精度，并不为端侧部署做压缩。

结构化剪枝

• 任务无关路线包括DPHuBERT（Peng等，2023）的联合蒸馏与剪枝，以及Wang等（2023）的task-agnostic structured pruning。
• 任务相关路线包括面向语音识别的HJ-Pruning（Peng等，2023）、面向说话人日志的Finetune-Pruning（Han等，2025），以及面向说话人验证与anti-spoofing的Hybrid-Pruning（Peng等，2025）。
• 相关工作末句称，把这些剪枝方法迁到深度伪造检测，会在高压缩比下性能下降。引言则把蒸馏和剪枝一起说成：直接适配时监督不足，且稀疏度超过75%时域外下降更明显。

基线与数据集

• 实验基线是未压缩的XLSR-AASIST，以及在统一框架下重实现的HJ-Pruning、Finetune-Pruning、Hybrid-Pruning。
• 使用的数据与评测集为ASVspoof2019 LA、ASVspoof2021 LA、ASVspoof2021 DF、In-the-Wild、ASVspoof5、FoR。

作者将该框架定位为面向深度伪造检测的任务感知联合剪枝与蒸馏：用跨域无标签数据补充监督，用movement先验保留伪造相关结构，以应对高压缩比下的泛化下降。

Task-Aware Joint Pruning and Distillation把跨域蒸馏和movement引导的结构化剪枝放在同一次压缩训练里。压缩对象是XLSR-AASIST中的XLS-R（0.3B）前端。

三步流程

• 任务准备：微调预训练SSL，并计算结构单元的movement score，作为重要性先验。结构单元包括Multi-Head Attention、FFN中间层和CNN通道。
• 联合剪枝与蒸馏：剪枝由movement先验引导，同时做跨域知识蒸馏，以保留伪造可判别结构。
• 后端优化：把剪枝后的SSL与后端分类器联合微调，优化检测精度。Figure 1给出这三步。

跨域知识蒸馏

• 与域内蒸馏的差别：作者对比的是只在域内训练数据上蒸馏的剪枝方法。这里额外使用无标签、与任务相关的域外数据，覆盖多种codec变化和环境失真。第3.1节列出的域外蒸馏集为ASVspoof2021 LA、21 DF和In-the-Wild；第4.1节写明蒸馏数据还包括无标签的19LA train。
• 作者给出的理由：未压缩教师在若干域外场景上已有EER<10%的泛化。让学生在这些场景上模仿教师表示，是为了学到可泛化的伪造可判别表示，而不是拟合训练分布。
• 选层：对微调后的XLSR做Centered Kernel Alignment（CKA）。作者称Figure 3中微调模型呈三块结构，对应第1–8、9–21、22–24层。结合已有工作关于低层、尤其第5层更具判别性的结果，代表层取Lset={5, 14, 24}。
• 损失：对选中层求和，L_distill=∑_{l∈ Lset}L^dis(f_T^l(x),ϕ(f_S^l(x)))。x为无标签的域内与跨域样本，φ做维度对齐。L^dis为MSE或cosine distance，论文未说明实验用哪一种。

Movement引导的结构化剪枝

• 分数：每个结构单元j的Movement Score S_j，是微调后参数与初始参数之差的L1范数。作者依据的观察是：微调中变化大的权重编码任务相关知识。
• 惩罚：保留掩码z_j为0或1。惩罚权重取movement的倒数，w_j=1/(S_j+ε)，L_penalty为各单元w_j·z_j之和。最小化该项目的是剪掉低movement单元、留下检测所需单元。ε的取值论文未给出。

约束优化与训练设置

• 目标：在参数稀疏度等于目标t的约束下，最小化L_distill+λ_p L_penalty。λ_p论文未给出。掩码用Hard Concrete分布重参数化，使L0对可学习参数α可导；当前稀疏度s(α)为期望L0除以总参数量N。
• 拉到目标稀疏度：用Augmented Lagrangian，乘子为λ1、λ2。约束项为L_constraint=λ₁(s(α)−t)+λ₂(s(α)−t)²。
• 日程：剪枝与蒸馏阶段训练50k step，目标稀疏度在5k warmup内线性升到t。模型参数θ的学习率为2e-4，辅助参数α、λ1、λ2为2e-2。其后按引用的做法再蒸馏25k step，并与AASIST后端联合微调若干epoch。论文未给出该若干epoch的具体轮数，也未单独给出25k阶段的学习率。
• 数据分工：第1步和第3步的微调用ASVspoof2019 LA训练集。蒸馏阶段的样本不带标签。

实验在XLSR-AASIST上比较60%、75%、90%三种稀疏度，指标是EER、参数量和FLOPs。

实验设置

• 被测系统：压缩XLSR-AASIST的前端XLS-R（0.3B），剪枝后再与AASIST后端联合微调。结果表报告的是该检测器的EER。
• 数据：第1、3步微调用ASVspoof2019 LA训练集。蒸馏使用无标签的19LA train、ASVspoof2021 LA、21 DF和In-the-Wild。
• 评测划分：域内为19LA Dev和Eval。作者称为跨域蒸馏基准的是ASVspoof2021 LA、21DF、In-the-Wild，这三套也进入了无标签蒸馏。作者标为完全未见的是ASVspoof5和FoR。论文未报告各集样本量。
• 基线：未压缩XLSR-AASIST，以及重实现的HJ-Pruning、Finetune-Pruning、Hybrid-Pruning，统一框架。原文分别对应语音识别、说话人日志、说话人验证与anti-spoofing上的剪枝方法。
• 指标与判定：EER越低越好，另报参数量和FLOPs。没有单独的评审模型。论文未报告重复次数。
• 训练预算：剪枝与蒸馏50k step（含5k warmup），再蒸馏25k step，然后与AASIST联合微调若干epoch。

主结果

下表取Table 1在90%稀疏度的EER（%）；未压缩行为0%稀疏。列只保留参数量和四个评测集。

Swipe horizontally to read the table

方法	参数量	19LA Eval	In-the-Wild	ASV5	FoR
XLSR-AASIST（0%）	317M	0.14	8.96	19.92	14.89
HJ-Pruning	32.6M	5.03	34.11	40.82	57.55
Finetune-Pruning	31.3M	0.52	32.54	35.20	27.43
Hybrid-Pruning	29.2M	10.39	52.06	43.78	58.61
Ours	31.9M	0.30	7.83	20.16	22.44

• 相对剪枝基线与未压缩基线：作者称各稀疏度上都优于各剪枝基线，尤其在域外集上。Table 1相对未压缩基线有反例：19LA Eval基线为0.14%，Ours在60%、75%、90%为0.18%、0.22%、0.30%；21LA基线为2.86%，Ours为3.24%、3.03%、3.11%。90%时21DF基线为3.09%，Ours为3.78%。
• 作者举出的优于未压缩模型的例子：75%稀疏时ASVspoof5为17.75%（未压缩19.92%），FoR为10.51%（未压缩14.89%）。作者认为过参数化基线过拟合源域，剪枝相当于去掉冗余容量。作者称此稀疏度下相对Finetune-Pruning，In-the-Wild与ASVspoof5分别优67%和32%；这两格Finetune-Pruning为25.50%和26.13%。按Table 1，低于Ours的另一行是未压缩基线（8.96%、19.92%），不是Finetune-Pruning。
• 90%稀疏的总括：作者称多个数据集上平均EER升高1.30%。摘要将同一数字写成average performance drop 1.30%，并与31.9M、6.3× FLOPs放在一起。引言和4.2称参数降幅为10×（31.9M对比317M）；4.2写FLOPs为23.3G，相对146.3G的降幅作者称6.3×。正文对Figure 2称：19LA Eval上Ours与Finetune-Pruning的EER均低于0.6%；后者在域外、稀疏度超过70%后下降更快，Ours在稀疏度超过90%时仍与未压缩基线保持竞争力。

组件消融

Table 2在75%稀疏度去掉单个组件，EER单位为%。

• 去掉跨域蒸馏：19 Eval从0.22%到0.39%，21LA从3.03%到10.14%，21DF从2.76%到8.25%，In-the-Wild从8.43%到25.84%，ASVspoof5从17.75%到27.48%，FoR从10.51%到16.61%。作者认为该组件主要改善泛化，域内变化较小。
• 去掉movement引导：21DF从2.76%到3.13%，ASVspoof5从17.75%到19.95%，FoR从10.51%到13.56%。作者将其归因于这两套数据的攻击模式更复杂，并称FoR高保真使合成伪影更细微；作者称这与压缩会削弱高难度样本处理的已有观察一致。In-the-Wild从8.43%到7.83%，21LA从3.03%到3.00%，作者未解释这两格。

剪枝结构

• Figure 4：图注给出原始规模为CNN通道512、attention head 16、FFN中间维4096。作者称即使90%稀疏，CNN仍保留大部分通道；MHA呈U形，第1–8层和第20–24层保留、第9–19层被压缩；更深块的FFN中间维缩到接近零。作者认为低层谱-时特征是检测基础，FFN参数对二分类检测大量冗余。图中的具体柱高正文未逐层给出。
• Figure 3：正文对微调后的XLSR给出三块CKA结构，即第1–8、9–21、22–24层。Figure 3(a)是预训练XLSR的层间CKA，正文未单独给出块划分。

其他消融与分析

• 60%稀疏Ours：126.6M、63.8G；EER为19LA Eval 0.18%、21DF 2.21%、In-the-Wild 7.29%、ASV5 16.46%、FoR 9.36%（Table 1）。
• 75%稀疏Ours：79.2M、43.9G；EER为19LA Eval 0.22%、21LA 3.03%、21DF 2.76%、In-the-Wild 8.43%、ASV5 17.75%、FoR 10.51%（Table 1）。
• 同块内换代表层（如5与8、10与14）：作者称性能相当，未报告EER（第4.4节）。
• 置信度校准：作者称已尝试，增益很小，未报告数值（第4.4节）。

作者把开放问题写在第4.4节，论文没有独立的Limitations节。

作者指出的局限与后续方向

• 教师错误上界：作者称跨域蒸馏本质上受教师在无标签数据上的错误约束（第4.4节）。
• 校准：作者称已尝试confidence-based calibration来缓解上述问题，但增益很小，需要研究更稳健的蒸馏策略（第4.4节）。
• 选层：作者称同块内换层性能相当，后续可做自适应选层，例如similarity-aware distillation（第4.4节）。
• 跨架构：作者称框架在XLS-R上评估，其对象是Transformer中的标准MHA和FFN块，因而可能迁到其他SSL检测器；后续可考察跨架构可移植性，并形成更多面向深度伪造检测的压缩策略（第4.4节）。
• 更大模型：作者称更大的SSL模型（如XLS-R-2B）检测性能更好，把现有压缩方法扩展到这类模型仍是开放问题（第4.4节）。

实验覆盖范围

• 被压缩并报告EER的检测器为XLSR-AASIST，前端为XLS-R（0.3B）（第4.1节）。
• Table 1的对比包括未压缩XLSR-AASIST、HJ-Pruning、Finetune-Pruning、Hybrid-Pruning，稀疏度为60%、75%、90%。
• 评测集为19LA Dev、19LA Eval、ASVspoof2021 LA、21DF、In-the-Wild、ASVspoof5、FoR，指标为EER、参数量、FLOPs（第4.1节）。21LA、21DF、In-the-Wild同时用于无标签蒸馏；ASVspoof5与FoR被作者标为完全未见。
• Table 2的消融固定在75%稀疏度，变量是去掉跨域蒸馏或去掉movement引导。
• 论文未报告重复次数、各数据集样本量和端侧延迟或能耗；第4.4节对置信度校准未给数值。

这是一个把SSL语音深度伪造检测器压到可端侧部署规模的压缩框架。

• 问题：XLSR一类前端通常超过300M参数、130+ GFLOPs。云端推理有网络依赖和上传音频的隐私风险。面向ASR等内容任务的蒸馏和剪枝直接用于检测时，作者称稀疏度超过75%、尤其域外时，伪造可判别知识和关键结构都保不住。
• 方法：Task-Aware Joint Pruning and Distillation。先在ASVspoof2019 LA上微调XLS-R（0.3B），记下MHA、FFN中间层和CNN通道的movement。再用无标签的19LA train、ASVspoof2021 LA、21 DF和In-the-Wild，对CKA选出的第5、14、24层做跨域蒸馏，并以movement的倒数作为剪枝惩罚。稀疏度由Augmented Lagrangian约束到目标t，最后与AASIST联合微调。
• 90%稀疏：Table 1中Ours为31.9M参数、23.3G FLOPs。作者称相对317M、146.3G的未压缩基线，参数压缩为10×、FLOPs降幅为6.3×，多个数据集上平均EER升高1.30%。摘要把同一数字写成performance drop 1.30%。
• 与未压缩基线的对照：作者举出的优于未压缩模型的例子是75%稀疏下ASVspoof5 17.75%（基线19.92%）和FoR 10.51%（基线14.89%）。Table 1中19LA Eval的未压缩EER为0.14%，60%、75%、90%的Ours为0.18%、0.22%、0.30%；90%时FoR的Ours为22.44%，高于基线14.89%。
• 消融：75%去掉跨域蒸馏后，In-the-Wild从8.43%到25.84%，ASVspoof5从17.75%到27.48%（Table 2）。作者认为该组件主要改善泛化。
• 作者的结论：压缩后的模型保留了伪造可判别结构，并在多种场景下维持检测性能；作者将其视为走向端侧深度伪造检测的一步。