剪枝提效却牺牲公平：剪枝语音 LLM 中的群体差异

Speech-LLM 剪枝若只看总体 WER，可能藏住各组误差变化，并在部分设置下拉大组间差距。

• 场景：作者称 ASR 用于语音助手、听写和字幕；当前主流是 Speech-LLM，即预训练语音编码器经轻量 projector 接大语言模型。模型大，剪枝等压缩常在部署前进行，选型通常看总体词错误率（WER）。
• 不足：作者称现有 ASR 在人群上已不均衡，总体 WER 会藏住组间差。压缩之后这种不均衡如何变化，作者认为此前没有在 Speech-LLM 转写上系统测过。
• 观察：Figure 1 与 Table 3 中，Whisper Large 的 SLAM-ASR 去掉顶部两层后，Fair-Speech 总体 WER 从 21.6% 降到 21.1%（p=.038），Black 说话人从 27.2% 升到 28.1%（+0.9 个百分点，p=.009）。图注称 Black–Asian 差从 13.5 到 24.5 个百分点。
• 做法：作者在 SLAM-ASR 上对 12、24、32 层 Whisper 编码器自顶向下每次剪两层，每档重训 projector，并在 Fair-Speech 与 Common Voice 上按组报告 WER，再看 LoRA 是否按组同等恢复。三个问题是：剪枝是否放大差距且被总体 WER 藏住；是否依赖编码器规模和语言资源；LoRA 是否对各组同等恢复。作者认为部署应把最差组误差列为显式标准。

ASR 的组间偏差

• 商用系统：Koenecke et al. (2020) 报告五套商用系统上 Black 说话人平均 WER 为 35%，白人说话人为 19%；作者称该差在短语匹配子集上仍在，并追溯到声学模型。
• 机制、维度与 Whisper：Martin and Tang (2020)、Wassink et al. (2022) 把误差与非裔美国英语形态句法及族裔相关方言联系起来。Tatman (2017)、Tatman and Kasten (2017) 报告性别与方言偏差。Feng et al. (2021) 按性别、年龄、地区口音和非母语量化偏差，作者采用其按组 WER。Graham and Roll (2024) 报告 Whisper 对北美口音高于英国或澳大利亚、母语高于非母语；Attia et al. (2023) 报告儿童说话人差距在不同 Whisper 规模上仍在。
• 带人口统计的语料：Common Voice（Ardila et al., 2019）收集可选自报口音、性别和年龄；Edinburgh 语料（Sanabria et al., 2023）针对口音多样性；Fair-Speech（Veliche et al., 2024）覆盖年龄、性别、族群、社会经济地位和地理差异。作者称三者中 Fair-Speech 的模式最全。

压缩、规模与偏差

• 视觉与语言模型：Hooker et al. (2020) 在视觉中报告剪枝和量化可放大偏差，总体精度的小变化可能藏住少数样本上的大误差；Sagawa et al. (2019) 被作者用来支持看最差组而非平均。Tran et al. (2022) 把此类差异归结为组间梯度范数和决策边界距离。Iofinova et al. (2023) 称中等剪枝不必增加偏差，高稀疏度下特定受保护属性会出现差距。Ramesh et al. (2023) 称 LLM 压缩的公平影响取决于基座和方法；Xu et al. (2024)、Hong et al. (2024) 的直接比较认为剪枝比量化风险更高；Gonçalves and Strubell (2023) 称社会偏差随模型规模变化。
• 语音模型：Lin et al. (2024b) 在自监督模型上比较剪枝与蒸馏，嵌入探针中蒸馏增加性别偏差、降低年龄偏差，行剪枝降低偏差。Lin et al. (2024c,a) 考察 speech-LLM 回复内容中的社会偏差。Ginjala et al. (2026) 评测九个跨 CTC、encoder-decoder 和 LLM-decoder 的模型，报告公平性更多由音频编码器而非语言模型规模决定。

剪枝恢复与适配

• 直接前作：Kolluri et al. (2026) 在 SLAM-ASR（Ma et al., 2024）中剪 Whisper 编码器层，报告去掉少量层对总体 WER 代价小，且 LoRA（Hu et al., 2021）可恢复未剪枝基线的总体 WER；该研究只报告总体 WER。作者称本文直接建立在该工作上。
• 适配是否按组均分：Ding et al. (2024) 称相对全量微调，LoRA 没有一致的子组效应。Chang et al. (2026) 称低秩适配可传播噪声预训练数据中的非人口统计偏差。Shekoufandeh et al. (2025) 针对代表性不足的说话人微调，可降低其 WER。作者称尚无工作检查编码器剪枝是否改变 speech-LLM 转写的人口统计差，以及 LoRA 的恢复是否在组间均分。

基线与数据：各规模的未剪枝系统（L-0）是该规模全部剪枝配置的参照；LoRA 与同规模、同深度的 base 比较。作者称不设外部 ASR 基线，因为主张是固定流水线在压缩下的行为。数据为 Fair-Speech，以及 Common Voice 22 的英语、荷兰语、丹麦语。

作者称据其所知，这是对 Speech-LLM 中结构化编码器剪枝如何随深度、规模和 LoRA 影响人口统计差的首次系统研究。

作者在 SLAM-ASR 里把编码器容量当作唯一变化量：Whisper 编码器与 Qwen2.5-3B 冻结，只训练 projector，启用时再加 LoRA。自顶向下剪编码器，每一深度从零重训 projector。人口统计标签不进入训练、剪枝或选型。

系统与剪枝

• 结构：Whisper 编码器经 ConcatLinear projector 接到冻结的 Qwen2.5-3B。三种编码器为 Small（12 层）、Medium（24 层）、Large-v2（32 层），projector 与 LLM 相同。
• 剪枝：沿 Kolluri et al. (2026) 自顶向下，每次去掉两层，以去掉层数报告（L-2、L-4 等）。第 3.1 节协议写明 k∈{2, 4, 6, 8}。projector 每档重新初始化并从零训练，而不是从未剪枝检查点微调，使每档都是可部署系统。
• 选型：只按总体 WER 选择；早停也只用验证集总体 WER。作者用这一设定对应压缩工作只报总体 WER 的做法，再问这个数字藏住了什么。

数据与预处理

• 训练：Common Voice 22 官方 train/test，说话人按划分不重叠。主系统为英语，作者称 100 小时、训练 58,140 条；跨语言另训荷兰语（54 小时，43,458 条）和丹麦语（4.2 小时，3,592 条）。Table 1 的计数是 0.5–30 秒时长过滤之后的剩余量。
• 评测：Fair-Speech 只评测、不参与训练，共 26,417 条，标注族群（七个可分析组）、社会经济地位、性别、年龄；Table 2 还列出第一语言。Common Voice 用可选自报的口音、性别、年龄，组结果只在带相应标注的测试子集上计算，小于完整测试集。
• 音频与文本：重采样到 16 kHz，按 Whisper 流程转为 80 通道 log-Mel。转写小写、去标点、保留缩写撇号。

训练、LoRA 与解码

• projector：两层 MLP。连续 5 帧拼接，序列长度降为五分之一，再经两层线性层、ReLU、dropout 0.1（隐藏维 2048）和 LayerNorm，以匹配 LLM 文本嵌入尺度。
• LoRA：加在全部 LLM 注意力层的 query、key、value、output 投影。丹麦语 r=8、α=16；荷兰语和英语 r=16、α=32；dropout 0.1。作者称约增加 0.8M（r=8）和 1.5M（r=16）可训练参数，并称丹麦语用 r=16 在预实验中过拟合，因而降低秩。
• 优化：AdamW，学习率 1×10−4，权重衰减 0.01，梯度裁剪 1.0，余弦调度，前 5% 步线性 warmup，bfloat16，单张 NVIDIA A6000（48 GB）。英语 batch 8，projector 2 个 epoch、LoRA 4 个；荷兰语 batch 8，epoch 分别为 4 和 8；丹麦语 batch 4，epoch 分别为 6 和 8（附录 A，Table 9）。同一设置内各深度共用配置，只差编码器大小。种子为 42。
• 解码：投影后的音频嵌入前接固定纯文本提示 Transcribe speech to text.，不用对话模板，各规模、深度、语言相同。推理为 beam search，宽度 2，无采样，无重复或长度惩罚，最多 128 个新 token。训练中选检查点时，验证集用贪心解码，重复惩罚 1.5。

差异度量与比较

作者预先固定三个量：各深度的最差组 WER，绝对差 Δ=WER_worst−WER_best（百分点），以及 ρ=WER_worst/WER_best。组内另报相对退化 WER_Lx/WER_L0。可用范围是总体 WER 不超过 40% 的连续深度；可分析组至少 200 条且 30 分钟音频，更小组只作表内覆盖。作者全程以 Black–Asian 作为最差与最好服务组来跟踪。显著性来自配对重采样：对语句抽 2,000 次 bootstrap，在每个样本上重算两套设置，p 为 WER 差方向翻转的比例。参照是同规模 L-0；LoRA 与同规模、同深度的 base 比。

实验设置

• 系统：SLAM-ASR。编码器为 Whisper Small（12 层）、Medium（24 层）、Large-v2（32 层），解码器均为冻结 Qwen2.5-3B。每档从零重训 projector。LoRA 的分组结果报告在 Fair-Speech、Whisper large-v2（Figure 4、Table 16）。
• 数据：Fair-Speech 评测 26,417 条。CV-22 测试集为英语 16,391、荷兰语 12,033、丹麦语 2,684；带标注子集更小，如英语口音表的总体 n=3,008（Table 5）。
• 基线：同规模 L-0；LoRA 对同深度 base。作者称不设外部 ASR 基线。
• 指标：总体与分组 WER、最差组 WER、Δ 与 ρ、相对基线比。可用范围是总体 WER 不超过 40%。
• 检验：种子 42。配对 bootstrap 2,000 次。论文未报告多种子重复。
• 判定：WER 按同一规则在全量或该组语句上计算。论文未使用 LLM 评审，也未报告人工一致性。

主结果

下表为 Fair-Speech、Whisper large 的族群 WER（%），据 Table 3。列只取 L-0、L-2、L-6、L-8。省略 Hispanic（L-0/L-2/L-6/L-8 为 20.0/19.2/27.5/33.9）；L-4 与各组 n 见该表。

Swipe horizontally to read the table

组别	L-0	L-2	L-6	L-8
Asian	13.7	13.1	22.2	26.5
Native Haw.	13.4	13.7	24.7	31.4
White	20.6	20.1	28.4	31.7
Native Am.	21.5	19.0	29.0	33.5
MENA	23.0	22.3	34.2	37.3
Black	27.2	28.1	42.8	51.0
总体	21.6	21.1	32.0	37.6

• 作者称偏差在剪枝前已存在。L-0 从 Native Hawaiian 13.4%、Asian 13.7% 到 Black 27.2%，作者称约为 Asian 的两倍。L-2 总体从 21.6% 到 21.1%（p=.038）；Black 是唯一上升的组（+0.9 pp，p=.009），Native American 下降最多（−2.5 pp，p=.001），其余组作者称 p≥.13。
• L-4 总体 25.2%，Asian 16.3%、Black 34.3%，差 18.0 pp。L-6 总体 32.0% 仍在 40% 界内，Black 为 42.8%。到 L-8，Black 51.0%、Asian 26.5%，差从 13.5 到 24.5 pp；Black 升 23.8 pp，Asian 升 12.8 pp。作者称总体指标在两处误导：首剪报改善而最差组变差；总体仍可用时最差组已越界。
• L-0 时 Native Hawaiian 低于 Asian，作者仍以 Black–Asian 为跟踪对。Figure 3 图注称只有 large-v2 的浅剪让总体保持不变；Table 3 中该步是 21.6% 到 21.1%。

编码器规模

• Figure 3 与 Table 4、12、13 给出三种规模的分组 WER。Black 在每个面板、每个深度都最高。首剪的总体变化：small 从 26.8% 到 37.6%（+10.8 pp），medium 从 20.4% 到 22.7%（+2.3 pp），large-v2 下降 0.5 pp。作者称只有最大模型把首剪代价藏在总体里。
• Black/Asian 的 ρ（Table 4）在剪枝前为 small 2.03、medium 2.16、large-v2 1.99。首剪后为 1.70、2.01、2.15。作者称 small 与 medium 的 ρ 下降，是因为这些模型掉得更猛，较好组在比例上损失更多；large-v2 是总体 WER 改善的那一档，ρ 反而上升。
• 绝对差在 large 上从 13.5 pp 扩到 L-2 的 15.0、L-4 的 18.0、L-6 的 20.6、L-8 的 24.5 pp，而 ρ 到 L-8 为 1.92（Table 4；4.3 节把 base 的 L-8 ρ 写成 1.93）。论文把总体 WER>40% 标为超出可用范围：small 自 L-4（总体 56.6%，Table 13）起超出，medium 在 L-8 为 42.9%（Table 12）。

LoRA 适配

• Figure 4 与 Table 16 比较 Fair-Speech、Whisper large-v2 的 base 与 LoRA。未剪枝总体从 21.6% 到 17.7%；去掉八层时从 37.6% 到 33.0%。作者称适配把可用剪枝范围延到去掉十层，比 base 多两层；Table 16 在 L-10 的总体 WER 为 40.0%。
• 作者称每一匹配深度上，Black/Asian 比在 LoRA 下更宽：L-0 从 1.99 到 2.20，L-2 从 2.15 到 2.36，L-8 从 1.93 到 2.22。Table 16 中 L-0 为 Black 24.4%、Asian 11.1%；L-8 为 49.3% 与 22.2%。去掉十层时，作者称 LoRA 挽回 Asian 退化 8.0 pp、Black 3.3 pp。作者的解读是每组都有恢复，但本来更好的组受益更多。

Common Voice 英语、荷兰语与丹麦语

• 英语口音（Table 5，Whisper large）：印度/南亚在各深度最高，总体从首剪就变差（12.1% 到 13.0%）。作者称相对美国说话人的绝对劣势变大，但比只从 L-0 的 1.42 到 L-8 的 1.39，剪枝既没有按比例放大该差，也没有把退化藏住。
• 荷兰语（Table 6、7，Figure 8）：比利时口音各深度高于荷兰，比保持在 1.1 到 1.3；男性各深度高于女性，比接近 1.3。图注称三种规模上都是比利时更高，且差距没有放大。作者称这些差在剪枝下保留，但没有系统变宽。
• 丹麦语（Table 8）：作者在 4.4 节与附录 F 写未剪枝总体 WER 已为 35.5%，去掉四层后越过 40% 界。Table 8 性别轴总体 L-0 为 35.3%（n=1,330），年龄轴为 36.5%（n=1,367）。作者称多数组低于可分析阈值，包括全部女性说话人（表中女性 n=299，标 †）。作者把丹麦语结果当作覆盖，不作组级结论。作者还认为 Fair-Speech 相对 Common Voice 训练数据有分布偏移，可能不利于代表性不足的语言特征；但域内与域外的绝对差都在压缩下变宽，因此不能只归因于语料偏移。

其他消融与分析

• 社会经济地位（Table 15，Whisper large）：Low 对 Affluent，L-0 差 5.9 pp、比 1.36，L-8 差 7.2 pp、比 1.24；作者称 Affluent 相对起点损失 +83%，Low 为 +67%。4.1 节称阶级差被原样带过，结论称该差从 5.9 增至 7.2。
• 性别（Table 15、Figure 5）：L-0 男 23.4%、女 20.1%，差 3.3 pp；L-8 为 43.7% 与 32.6%，差 11.1 pp。作者称该语料中男性处于劣势，并在结论中称性别差扩大到三倍以上。L-2 女性下降、男性未降。
• 年龄（Table 15、Figure 7）：46–65 到 L-8 升 9.9 pp，31–45 升 19.8 pp，并在 L-6 成为最差组。作者称最差–最好差收窄是拉平向下，不是帮到基线最差组。
• 相对基线（Table 10，Whisper large）：L-2 总体 0.98，Black 1.03，为各组最高。附录 Table 11 称只有 large-v2 有总体低于 1、同时 Black 高于 1 的深度。
• Figure 4(a) 把总体相对未剪枝的变化标为 L-2 −0.4、L-4 +3.6、L-6 +10.4、L-8 +16.0、L-10 +28.2 pp；Table 3 的 L-2 是 21.6% 到 21.1%（−0.5 pp）。绝对 WER 以 Table 3 为准。
• Figure 2 图注称族群与性别差变宽、社会经济差保持、年龄差因拉平向下而变窄；分组数字在 Table 15。

作者指出的局限与后续方向

• 单一配置：语音编码器只有 Whisper 的三个变体，LLM 只有 Qwen2.5-3B，压缩只有自顶向下层剪枝（Limitations）。
• 单一种子：全部配置使用种子 42。作者称多种子会乘上规模、深度和语言的网格，超出算力；他们用评测集上的配对 bootstrap，并把结论放在整段扫描中一致的趋势上。多种子复现被标为后续方向（Limitations）。
• 数据范围：主分析是英语朗读语料 Fair-Speech，标签为自报（Limitations）。
• 跨语言：作者称跨语言证据薄；剪枝后的丹麦语模型退化到无法做组比较，荷兰语只记录口音、性别和年龄（Limitations）。
• 未做的分析：各人口统计轴共享说话人并分开分析，交叉效应未考察；未评测任何缓解方法（Limitations）。
• 后续目标：结论写，后续应考察不只看总体表现、也对各人群给予同等重视的压缩方法，并采用优先最差组而非平均表现的公平感知压缩目标（Conclusion）。

实验覆盖范围

• 被测流水线为 SLAM-ASR：Whisper Small、Medium、Large-v2 与冻结 Qwen2.5-3B，projector 在每个剪枝深度从零重训（第 3 节）。
• 正文报告了 Fair-Speech 的族群、社会经济地位、性别和年龄分组 WER。Table 2 列出第一语言轴，正文未报告该轴的分组结果。
• Common Voice 22 英语、荷兰语、丹麦语上，报告了达到可分析阈值的口音、性别或年龄组。阈值是至少 200 条且 30 分钟，可用范围是总体 WER 不超过 40%（第 3.4、4.4 节）。
• LoRA 的分组对比报告在 Fair-Speech、Whisper large-v2，Figure 4 含去掉十层。检验为种子 42 与 2,000 次配对 bootstrap；论文未报告多种子方差。
• 作者写明不报告外部 ASR 基线。训练、剪枝和选型都不使用人口统计标签（第 3.1、3.4 节）。

这是对 SLAM-ASR 编码器剪枝是否改变各组转写误差的测量，而不是新的识别系统。 作者要看：自顶向下去掉 Whisper 层后，人口统计组的 WER 是否被放大，总体 WER 是否把这种变化藏住，以及规模、语言和 LoRA 是否改变这一结果。

• 做法：编码器与 Qwen2.5-3B 冻结，每去掉两层就从零重训 projector。标签不进入训练或选型。主评测是 Fair-Speech，并加上 Common Voice 英语、荷兰语和丹麦语。差用最差组 WER、绝对差和最差/最好比一起看，可用界是总体 WER 不超过 40%。
• 浅剪：Whisper large 在 Fair-Speech 上去掉两层，总体 WER 从 21.6% 到 21.1%（p=.038），Black 说话人从 27.2% 到 28.1%（p=.009）（Table 3）。作者称只看总体会把这一步当成小幅改善。
• 深剪与规模：到去掉八层，Black–Asian 差从 13.5 到 24.5 个百分点。去掉六层时总体 32.0% 仍在界内，Black 为 42.8%。small 与 medium 的首剪已使总体上升 10.8 与 2.3 个百分点；作者称把首剪代价藏进总体指标的，只有最大规模。
• LoRA 与其他语料：LoRA 把未剪枝总体从 21.6% 降到 17.7%，但 Black/Asian 比在各匹配深度更宽，L-0 从 1.99 到 2.20。CV 英语口音比从 1.42 到 1.39；荷兰语口音比保持在 1.1 到 1.3。作者称这些差距持续，但没有清楚变宽。丹麦语未剪枝时作者写总体 WER 已为 35.5%，多数组低于可分析阈值。
• 作者的结论：总体 WER 不能用来把剪枝后的语音模型判为公平。部署应报告分组 WER，并把最差组误差作为显式标准。公平效应随数据集变化，必须直接测量。