机器遗忘在 ASR 中是否有效：arXiv 论文评估现有算法与评测工具

现有近似机器遗忘和简单成员推断，能否让端到端ASR在窄定义下接近去掉该说话人后重训的模型。

• 场景：作者称ASR部署广，因而更可能遇到隐私攻击和删除请求。论文引用的工作报告，ASR在一定条件下会记忆并泄露训练数据；论文还称，架构走向Speech Language Models后，这类风险可能上升。GDPR与CCPA中的right to erasure难以像删除存档那样直接作用于权重，完全重训相对更贵。
• 已有做法：语音侧的机器遗忘主要在说话人识别、关键词检测、情感识别、口语理解和TTS。Liu用合成canary评测基于LLM的ASR上的Gradient Ascent，作者认为canary与训练数据不同分布，可能高估移除真实样本影响的能力。Shamsian等人在包含ASR的多个任务上比较多种方法，目标是尽量抬高forget集错误率，作者认为这不同于本文的定义。
• 窄定义：说话人sf发出删除请求后，Df是其训练语音，Dr是保留数据。作者要的θU应尽量接近在不含Df的数据上、由同一学习算法得到的gold standard θG。遗忘样本的WER和loss应与同分布未见数据在分布上接近，而不是只把forget集的错误率拉高。
• 本文做了什么：作者把多种近似遗忘用到一个端到端ASR上，先看单说话人的效用和隐私，再对梯度上升类方法做顺序与同时的多说话人遗忘，并用不知情、知情两类成员推断以及loss分布的EMD检查评测。贡献条目里，作者称这是按该窄定义对ASR机器遗忘的首次深入探索。

论文沿着通用机器遗忘、语音任务和评测方式讨论相关工作。

通用机器遗忘

• 动机：成员推断（Shokri等人，2017）、模型逆向（Hidano等人，2017）和训练数据抽取（Carlini等人，2021）被用来说明，训练数据有可能从模型里被探出。GDPR与CCPA包含right to erasure。Cao与Yang（2015）提出机器遗忘，作为完全重训之外的办法。
• 精确与近似：SISA（Bourtoule等人，2021）把数据分成互斥分片，只重训含待删数据的副本，从而保证模型没有在Df上训练过。论文指出，精确方法虽有形式化保证，但依赖特定训练算法，不适合已经部署的模型。近似方法是事后更新，常见形式是在forget集上梯度上升、在retain集上微调；论文称它们没有精确保证，隐私要靠实证来评。
• 本文算法的出处：NegGrad来自Golatkar等人（2020），NegGrad+与SCRUB来自Kurmanji等人（2023），CF-k来自Goel等人（2023），注意力平滑来自Zade等人（2025）。LLM上的遗忘只引用Dorna等人（2026），论文没有与之对比。

语音与ASR

• ASR以外的语音遗忘：论文把说话人识别、关键词检测、情感识别、口语理解和零样本TTS上的工作合在一起，说明语音侧的机器遗忘主要出现在这些任务，而不是ASR。
• ASR里的记忆：Shejwalkar等人（2024）和Wang等人（2024）报告ASR中的非预期记忆；Züfle与Niehues（2026）讨论领域适配ASR里，有用上下文带来的隐私风险。论文据此把ASR写成更可能收到删除请求的系统。
• 已经做过的ASR遗忘：Liu（2025）在基于LLM的ASR上，用Gradient Ascent遗忘合成canary。作者认为canary来自另一分布，可能高估算法去掉真实样本影响的能力。Shamsian等人（2026）在包含ASR的多个任务上比较多种方法，目标是尽量抬高forget集错误率；作者认为这和接近重训模型不是同一个目标。

评测与本文基线

• 怎样算遗忘成功：论文写，效用看现成指标即可；隐私最常用成员推断，当作模型记住或过拟合某个样本的代理。数据抽取试图恢复forget集的信息，论文称并不是所有应用都已有成熟做法。论文还提到遗忘模型与重训模型的统计不可区分检验，并引用一种说法：大模型上这类检验的计算代价可能高到难以使用。
• 基线与数据：算法基线是Finetune和CF-k。对照模型是遗忘前的Original，以及在LibriSpeech train-960上同时去掉10名遗忘说话人后重训的模型。数据用LibriSpeech的train-clean-100、test-clean和test-other。

作者把本文放在近似遗忘这一侧：对象是已经训好的ASR，标准是窄定义下和重训模型接近，并检查简单成员推断会不会把loss被推离训练集误判成已经遗忘。

整体做法是近似机器遗忘。不改已经训好的端到端ASR，说话人要求删除后只做后处理，使模型尽量像去掉该说话人后重训的gold standard，再用效用、成员推断和loss分布核对。

问题设定

• 数据：模型把语音映到转写，参数由随机算法A在训练集上得到。样本含语音、转写和说话人。说话人sf的Df是训练集中该人的全部句子，Dr是去掉Df之后的保留子集。实验里Dr取LibriSpeech train-clean-100中除sf以外的句子，用来代表完整train-960，而不是整个训练集去掉Df。
• 目标：作者把gold standard写成 θ_G = A(f, D_train ∖ D_f)。脚注说明A有随机性，所以θG是一个分布；目标是让遗忘后的模型更可能来自没见过Df的分布，而不是来自见过全部训练数据的分布。
• 成功看起来像什么：该说话人的WER和loss不应高得异常，而应与同分布、没见过的测试句在分布上接近。作者写明，这不同于把forget集错误率尽量做高。

六种后处理

第2.4节写出六种做法。贡献条目写five MU methods，论文没有说明哪一种不计入。

• Finetune：只在Dr上梯度下降，故意过拟合保留集，使Df出现catastrophic forgetting。
• CF-k：只微调最后k层，前面的层冻结。实验中的k，论文没有给出。
• NegGrad / NegGrad+：NegGrad在Df上沿损失梯度的反方向更新，把这些句子的loss往高推。NegGrad+再在Dr上微调，用来减轻对保留数据的灾难性遗忘。
• SCRUB与AttSmooth：二者都用原模型当teacher。SCRUB有三项损失：Dr上的KL把student拉向teacher，Dr上另有任务损失，Df上的负KL把二者推开。AttSmooth提高teacher注意力层的Softmax温度，使Df上的输出变平滑，student只在Df上最小化与该teacher的KL。本文把这一平滑用到ASR decoder的注意力层。方法节称其为ASU，表中写作AttSmooth。

训练、搜索与重训参照

• 模型：开源预训练E-Branchformer，用ESPnet的LibriSpeech配方在960小时上训练。作者选它，是为了训练数据和划分可以追踪。10名说话人各有一套forget/retain；另1名与之不相交的说话人只用于超参搜索。
• 搜索：每种方法固定10个epoch、batch size 8。其余超参用Optuna默认的Tree-structured Parzen Estimator。目标是最小化 EMD(L_θU(D_f), L_θ(D_test))，即遗忘后forget集的逐句loss分布靠近遗忘前测试集。
• 重训：更理想的是每名说话人各从头重训一次。为降低计算量，作者只训一个模型，在train-960里同时去掉全部10人。效用解码除beam size为5外用默认配置。作者称代码已公开。

评测协议

• 效用：每个待遗忘说话人上计算mean WER，以及与encoder的CTC、decoder的CE相对应的loss，集合为Df、Dr、test-clean和test-other。Table 2每个集合只给一个Loss，论文没有写它是两项之和还是其中一项。
• 简单成员推断：Random Forest，特征是目标模型的CTC loss和CE loss。用Dr作成员、Dtest作非成员来训练，再在Df和留出的Dtest上评估，看攻击还能否把遗忘句认成成员。作者给出的完全遗忘参照是AUC为50%。该攻击没有遗忘之后loss长什么样的样本，因此loss被拉得很高、远离retain时，它可能认不出这些句子曾经是成员。
• 知情成员推断：同样是Random Forest，按leave-one-out训练。评某一说话人时，用另外9个遗忘模型在成员和非成员上的loss学习，再在该人的遗忘模型上评估。攻击者因而见过遗忘后的loss形态。
• EMD与时长：另报forget集loss到retain、到test、到重训模型上该forget集的EMD。Table 2说明：到test和到θG宜低，到retain宜高。成员推断分区按句长匹配，因为原来训练集和测试集的时长差会干扰攻击。Table 1下半是这10人分区的平均。

实验设置

• 模型：被测的是在960小时LibriSpeech上预训练的E-Branchformer。Original是遗忘前权重。Re-trained是在train-960上同时去掉10名遗忘说话人后从头训练的一个模型（第3.1节）。
• 数据：说话人级遗忘，材料来自LibriSpeech的train-clean-100、test-clean和test-other。Table 1是10名说话人分区的平均：forget为1人、105句、均长11.9秒；retain为250人、28434句、12.7秒；合并后的test为73人、5559句。另有1名说话人只用于超参搜索。
• 方法：单说话人比较Finetune、CF-k、NegGrad、NegGrad+、SCRUB、AttSmooth。顺序与同时遗忘只做NegGrad和NegGrad+，超参沿用单说话人的搜索结果。各方法都是10个epoch、batch size 8。论文没有给出学习率，也没有给出CF-k的k。
• 指标：WER、loss、AUC、EER和三项EMD。AUC或EER越接近50%，攻击越分不开成员；AUC更高表示Df仍被判成成员。Table 2标题还写：Df对Dr的EMD宜高，Df对test、Df对θG的EMD宜低。
• 攻击分区：Table 1下半为10人平均。members eval是1人、105句；non-members eval约29.4人、82.0句。简单攻击用Dr作成员、时长匹配后的test作非成员。
• 汇总：论文对每个说话人计算mean WER和loss。Table 2中每个方法一行。论文没有写这一行是不是10人的平均，也没有写重复次数或显著性检验。

主结果

下列为Table 2的单说话人结果，模型是E-Branchformer。知情MIA在Original和Re-trained处、以及Re-trained到自身的EMD，原表为“–”，格内写未报告。

Swipe horizontally to read the table

方法	Forget WER	Test-Other WER	简单MIA AUC	知情MIA AUC	至θG的EMD
Original	0.40%	4.00%	67.48%	未报告	3.26
Re-trained	2.01%	5.02%	51.97%	未报告	未报告
Finetune	1.84%	9.80%	68.01%	58.45%	1.73
CF-k	1.45%	6.11%	63.87%	56.81%	1.10
NegGrad	2.01%	4.21%	52.13%	53.95%	3.00
NegGrad+	2.36%	4.25%	50.18%	52.69%	8.91
SCRUB	1.94%	4.08%	46.00%	68.98%	4.23
AttSmooth	2.09%	4.32%	52.09%	87.57%	2.41

• 谁更接近参照：作者称若只看WER和简单MIA，NegGrad+的权衡最好，NegGrad紧随其后；并称NegGrad更省事，因为它只在Df上做梯度上升。论文没有报告耗时。
• 基线与loss：作者称Finetune和CF-k会过拟合retain，并让两个test划分变差。作者称NegGrad、NegGrad+和SCRUB把Df的loss拉高，但这没有使简单MIA变差，因为该攻击区分的是train与test，Df的loss仍可能更靠近test。
• 和重训模型的距离：摘要称遗忘模型与重训模型之间的forget loss EMD仍然高。正文称这项最低的是Finetune和CF-k，并称挡住MIA并不等于已经像重训模型。结论称出现倒置：更抗MIA的方法，其forget集loss分布离θG更远。

知情成员推断

• 测了什么：同一批单说话人遗忘模型上，用见过其余说话人遗忘后loss的Random Forest再评一次。
• 结果：Table 2里，SCRUB的知情AUC为68.98%（简单MIA为46.00%），AttSmooth为87.57%（简单MIA为52.09%，EER为20.00%）。NegGrad与NegGrad+的知情AUC为53.95%和52.69%。
• 作者的解释：作者查看AttSmooth的决策边界后称，简单攻击靠CTC与CE一起区分成员，知情攻击更依赖较高的CE loss，把遗忘句判成成员。作者认为这很可能是因为平滑只加在decoder的注意力层。

顺序与同时遗忘

• 顺序NegGrad：Table 2的NegGrad Seq.一行，retain的WER为2.93%（Re-trained为0.41%），forget的loss为15.11。简单MIA的AUC为59.39%，作者称这是四次多说话人运行中最高的。Df到Dr的EMD为0.86。作者认为这不能说明forget集仍被记住，而是两套loss分布靠近了。
• 顺序NegGrad+：forget的WER为2.01%、loss为4.70，作者称这是四次运行里最接近θG的forget指标。Test-Other的WER为6.81%；同方法单说话人是4.25%，Re-trained是5.02%。简单MIA的AUC由单说话人的50.18%升至55.58%（Table 2）。
• 同时遗忘：NegGrad Sim.的forget WER为0.55%、loss为3.16，接近Original的0.40%和1.22，简单MIA的AUC为65.28%。作者认为把梯度上升分到十名说话人上，会稀释每个人的信号。NegGrad+ Sim.的forget loss为14.91，到θG的EMD为10.18，是表中最大的一项；作者称这是over-unlearn。作者称两种设定都差于单说话人，超参也不能原样搬过去。

其他消融与分析

• EMD(Df, Dtest)低于EMD(Df, Dr)时，作者称简单MIA很差。NegGrad+的两项是7.58和9.79；Finetune是5.06和4.28，不满足该关系（Table 2）。
• 单说话人Df的loss：Re-trained为4.51，NegGrad为6.62，NegGrad+为10.36，SCRUB为6.48，AttSmooth为3.83（Table 2）。
• 论文没有给句长匹配之前的AUC，只在第3.5节说明，不匹配时时长会变成混淆因素。
• 论文没有报告Optuna选出的学习率、CF-k的k、随机种子和重复次数，也没有做数据抽取攻击或统计不可区分检验。

作者指出的局限与后续方向

• 架构与数据：第4节Limitations写明，目前只有一个ASR模型、一个数据集。作者认为这足以支撑本文的结论，并认为后续应扩展到其他模型架构和数据集。
• 成员推断的形式：同一段写，成员推断只限于简单的loss分类，原始性能约67%。作者指出已有更复杂的构造，应在ASR的机器遗忘中继续试。
• 评测还应包含什么：第5节写，作者认为完整的隐私评测需要对遗忘知情的MIA，分布度量也应纳入，以便再看和gold standard是否接近。
• 开放问题：第5节称机器遗忘仍是开放问题，并称本文希望成为ASR及其他语音任务后续研究的起点。

实验覆盖范围

• 被测架构是用ESPnet LibriSpeech配方、在960小时上训练的开源E-Branchformer；重训参照是在train-960上同时去掉10名遗忘说话人后从头训练的一个模型（第3.1节）。
• 遗忘和效用使用LibriSpeech的train-clean-100、test-clean、test-other；10名说话人做遗忘，另1名只做超参搜索；retain以train-clean-100代表train-960（第3.2节、Table 1）。
• 单说话人方法为Finetune、CF-k、NegGrad、NegGrad+、SCRUB、AttSmooth；顺序与同时遗忘只包含NegGrad和NegGrad+，超参来自单说话人搜索（第2.4节、第4节、Table 2）。
• 隐私指标是Random Forest的AUC和EER，特征为encoder CTC loss与decoder CE loss，分简单攻击和leave-one-out知情攻击；另有三项EMD。效用是WER和loss。解码除beam size为5外用默认配置（第3.4–3.5节）。
• 遗忘固定10个epoch、batch size为8。论文未报告Optuna选出的学习率、CF-k的k、重复次数和显著性检验（第3.3节；正文未见重复次数或显著性检验）。

作者在一个端到端ASR上检查现成的近似机器遗忘：删掉一名说话人之后，模型应像从未用这些句子训练过，而不是只把该人的错误率拉高。

• 做法：模型是在LibriSpeech 960小时上训好的E-Branchformer。比较Finetune、CF-k、NegGrad、NegGrad+、SCRUB和AttSmooth，固定10个epoch，用forget集与测试集loss分布的EMD选超参。对照包括遗忘前模型，和一个同时去掉10名说话人后重训的模型。隐私用简单与知情两类Random Forest成员推断，辅以loss分布的EMD。
• 单说话人：作者称只看WER和简单MIA时，NegGrad+最好，其AUC为50.18%，Test-Other的WER为4.25%（重训模型为5.02%）。AttSmooth的简单MIA为52.09%，知情MIA升到87.57%；SCRUB的知情MIA为68.98%（Table 2）。作者认为只做简单成员推断不足以判断遗忘。
• 与重训模型的距离：摘要称到重训模型的forget loss EMD仍然高；Table 2里该项最低的是CF-k（1.10）和Finetune（1.73），NegGrad+为8.91。作者称更抗MIA的方法反而离gold standard更远。
• 多说话人：顺序NegGrad把retain的WER拉到2.93%（重训为0.41%）。同时遗忘时，作者称NegGrad没有完成遗忘，forget WER为0.55%（Original为0.40%），简单MIA AUC为65.28%。作者称两种多说话人设定的隐私和效用���差于单说话人，单说话人的超参也不能原样迁过去。
• 作者的判断：挡住成员推断不等于权重里已经没有forget集的信息。作者认为评测需要知情MIA和分布距离，并把ASR上的机器遗忘视为仍要继续做的问题。