通过稀疏自编码器实现神经音频编解码器的可解释框架：面向年龄、性别与口音的探索

神经音频编解码器（NAC）如何编码年龄、性别和口音，这些信息能否被稀疏自编码器拆到可单独操控的激活上。

• 场景：NAC表示已是TTS和语音基础模型的基本组件。作者称现有基准主要评下游理解与生成效果，较少看表示内部如何组织信息；这会限制对医疗等需问责应用中系统行为的解释与核验。
• 已有不足：作者先前用SAE分析NAC中的口音，但只有任务级证据、没有波形级分析，且只覆盖口音，向其他说话人属性的可推广性不清楚。
• 假设：若改动某些SAE维能使重建语音的属性预测朝预定方向移动，作者认为这提示相关信息被分解到这些维。
• 本文：把分析扩到波形级，并加入年龄和性别。用激活频率选出关联维、改其激活，再评重建语音。作者称目的是研究表示可解释性，不是做属性转换系统。

引言和方法里实际讨论过的工作可分成四组。论文没有单独的Related Work节。

NAC表示与下游评测

• NAC表示：引言把SoundStream、EnCodec、DAC、SpeechTokenizer、Moshi、Qwen3-TTS tokenizer等列为TTS和语音基础模型所依赖的表示。
• 下游评测：引言把Codec-SUPERB、DASB、ESPnet-Codec等列为评测NAC的工作，并称这些评测主要看表示在下游理解与生成任务上的效果。

稀疏自编码器

• SAE路线：Huben等（2024）、Templeton等（2024）、Gao等（2025）被归入把稠密、多义表示变成稀疏激活的工作；作者称单个激活可能对应可解释属性。本文采用Gao等的Top-k SAE，实现细节指向该文。
• 作者先前工作：Wang等（2026）用SAE考察NAC中口音的任务级可解释性。作者指出该分析没有波形级证据，且只考虑口音。

激活steering

• 改激活再看输出：作者把激活steering文献[25–27]作为修改选定激活、观察输出变化的来源。
• 语音中的对照方式：Du等（2026）在TTS中操纵情绪相关SAE特征，并在固定文本和说话人身份时比较合成情绪语音与中性语音。作者指出说话人属性没有自然中性基线，真实录音也不能同样控制内容和说话人特征，因此改用源、目标组互为参照。
• 其他音视频工作：Singh等（2025）在音乐生成模型中识别可操控概念；Paek等（2025）、Aparin等（2026）把SAE用于音频潜空间或音频处理模型。论文只作引述，没有逐项对比。

基线与数据

• 基准：Vox-Profile（Feng等，2025），聚合11个带一致说话人属性标签的开源数据集。
• 基线：未steering的SAE重建（Figure 2中的菱形）；Mimi上随机选择M个SAE维，而不是用激活频率算法。Table 1给出原始波形和NAC重建在steering前的属性预测。

作者把先前的口音任务级分析扩到波形级并加入年龄和性别；steering被用作代理，用来看SAE能否把说话人属性分解到稀疏激活，而不是用来做属性转换系统。

整体是 SAE steering（Figure 1）：从NAC量化帧训练Top-k SAE，按属性组的激活频率选维，只改当前活跃维，解码后看属性预测是否朝目标移动。作者称这是可解释性探针，不是属性转换系统。

表示与属性设定

• NAC通路：波形x经编码器得e=E(x)，量化器集合V给出离散码和嵌入。嵌入含Tcodec帧、每帧维度dcodec，解码器再重建波形。分析对象是量化后的帧，不是编码器的连续输出。
• 属性对：青年（18–30岁）对老年（60岁以上），女对男，US对UK，US对SA。US为Vox-Profile的North America，UK为其British Isles组且不含Irish，SA沿用对应标签。纳入的口音标签还有English、Welsh、Scottish、Northern Irish。
• 数据角色：用Vox-Profile预定义、说话人不相交的训练、验证、测试划分。训练集训SAE，验证集看收敛，激活分析与steering在测试集。

Top-k SAE

• 结构：沿用Top-k SAE，线性编码器与线性解码器，共享预处理偏置，两侧线性变换无额外偏置。每帧独立处理，不用先前工作里按时间均值池化的整句表示。
• 稀疏与损失：保留最大的k个激活，其余置零；用帧级均方误差使SAE重建接近量化帧，再送入NAC解码器。
• 规模：潜维取dcodec的10倍，k为dcodec的0.1向上取整。作者称先前工作里任务级可解释性在这一带大致收敛，故沿用；dcodec不同则两项按比例缩放，以保持扩张比和相对稀疏度。作者称这使分析反映各表示空间本身的差异，并把“用更少维度编码重建相关信息可能增加特征纠缠”作为这一设计的考虑。
• 训练：OpenAI官方Top-k实现，batch size 64，300个epoch，Adam，学习率1e-5，ϵ=6.25e-10。

按激活频率选维

• 频率：对标签为g的波形，某一维的频率是各波形、各帧上该维落入活跃下标的次数，再对波形数平均，不除以帧数。作者称这与Du等的整句是否出现不同，这里会计入重复的帧级激活。
• 比较分数：两组互为参照。归一化分数为 s_i^(g₁,g₂)=(r_i^(g₁)−r_i^(g₂))/(r_i^(g₁)+r_i^(g₂)+λ·τ) 。正分表示该维在g1下更常激活；τ是两组频率之和里非零值的中位数，λ用来避免分母过小或为零。
• 过滤与截取：两侧频率之和不超过全体维该和均值的0.1倍时，两侧频率置零，以压低很少激活或死亡的latent。再按分数及其相反数各取前M个。全部实验取λ=100、M=30。
• 用测试标签选维：作者称使用测试波形及其属性标签选维不算泄漏，因为二者都假定对steering过程可用，频率也可随新标注更新。

改激活与判定

• 改写规则：从g1推向g2时，只改该帧原始Top-k活跃集合中的维：目标关联维设为+α，源关联维设为−α，其余保持原激活。交换两组即反向。α=0时，被选中的活跃维会被置零。改后的激活经SAE解码器，再经NAC解码器。α从0取到20。
• 分类器：年龄和性别用24层Wav2Vec 2.0，同时做连续年龄回归和性别分类，报告预测年龄和女性概率。口音用Vox-Profile的broad-accent分类器，类别为US、UK、Other，SA映射到Other；对源、目标类logit做softmax，报告成对US概率。
• 随机对照：Mimi上改为随机选M个维。作者称若属性信息落在特定维上，随机维带来的属性偏移应更小。

五种NAC上，作者报告所选维的steering多能把属性预测推向目标，但方向、强度和语音质量的变化并不一致。

实验设置

• NAC：EnCodec（24 kHz，6 kbps，dcodec=128）、DAC（24 kHz，dcodec=1024）、SpeechTokenizer（16 kHz，dcodec=1024）、Mimi（24 kHz，dcodec=512）、Qwen3-TTS-Tokenizer-12Hz（24 kHz，dcodec=512）。Table 1把最后者写作Qwen tokenizer。
• 数据：Vox-Profile，11个开源英语数据集，自报年龄、性别、口音，覆盖超过16种英语口音。steering在说话人不相交的测试集上。论文未报告各组测试样本量。
• 属性对：青年/老年、女/男、US/UK、US/SA。定义见第3问。
• 对照：未steering的SAE重建；Mimi上随机选M=30个维。Table 1另给原始波形和NAC重建、尚未steering时的预测。
• 指标：预测年龄（岁）、女性概率、成对US概率。内容用Qwen-ASR 1.7B的WER，感知质量用SHEET分数。作者称年龄/性别分类器在Vox-Profile上表现强。论文未报告重复次数、统计检验，以及分类器与人工判断的一致性。
• steering参数：λ=100，M=30，α从0到20。α=0仍把选中的活跃维置零。

主结果

下表是steering之前的预测，不是steering后的效果（据Table 1）。性别两列都是平均女性概率，口音两列都是成对US概率；每格为列头中前一组/后一组。口音概率来自源、目标两类logit的softmax，不同口音对之间不宜直接比较。

Swipe horizontally to read the table

波形	女组/男组女性概率(%)	青年/老年年龄(岁)	US组/UK组成对US概率(%)	US组/SA组成对US概率(%)
Original	95.9 / 7.6	27.8 / 63.1	89.6 / 3.2	57.3 / 1.7
EnCodec 6 kbps	94.9 / 7.8	36.7 / 65.0	89.3 / 3.8	67.4 / 2.4
DAC	96.0 / 7.2	28.7 / 63.7	88.2 / 5.0	73.7 / 4.4
Mimi	95.3 / 8.0	31.5 / 62.0	88.9 / 3.6	60.6 / 1.8
SpeechTokenizer	93.9 / 7.9	33.1 / 62.7	86.8 / 4.8	57.8 / 3.4
Qwen tokenizer	95.1 / 7.6	28.7 / 62.0	89.3 / 3.9	56.1 / 2.3

• 表的用途：作者用Table 1建立重建本身引入的差异，再与steering后的预测比较。Figure 2中菱形是未steering的SAE重建，圆点是不同α的steering结果。
• 摘要与正文：作者在摘要称五种NAC上steering所选维会诱导朝目标的属性预测偏移；正文称性别的双向控制最一致，口音和年龄更不稳定（Sec 4.1）。除下文点名的数值外，正文未给出Figure 2的逐点读数。
• 正文写明的端点：SpeechTokenizer把青年推向老年时，α=20的预测年龄为52岁。作者还称女推向男时五种NAC的女性概率在α=0已明显下降并随后接近0；男推向女时Mimi、SpeechTokenizer和Qwen tokenizer在α=20接近1，DAC和EnCodec较弱。接近0和接近1没有精确百分比。

年龄与口音的不稳定响应

• 年龄：作者报告老推向青时五种NAC的预测年龄都下降，除SpeechTokenizer外在α=0即大幅下降。青推向老不一致：SpeechTokenizer到52岁；DAC、Mimi、Qwen tokenizer在α=20超过各自SAE基线，但Mimi主要升到α=10，Qwen tokenizer先变年轻再上升，DAC波动；EnCodec全程低于其基线。
• US–UK：作者报告双向都有朝目标的偏移。US推向UK时五种NAC的US概率下降，较低值出现在α=20，DAC和EnCodec随α非单调。UK推向US时，EnCodec、DAC、Qwen tokenizer在α=0上升后略降，DAC更明显；Mimi随强度变强；SpeechTokenizer只在较大强度略升。作者称增大α并不总改善口音steering。
• US–SA：作者称US推向SA不如SA推向US。前者在α=0都小幅降低US概率，继续加大α不总加强；SpeechTokenizer和Qwen tokenizer进一步降低，Mimi部分逆转初始下降，EnCodec和DAC非单调。后者五种NAC的US概率随α上升或进入平台。

随机维与steering强度

• 随机维：作者报告Figure 2中，Mimi随机维的目标方向偏移小于频率算法所选维；性别上随机结果接近SAE基线，年龄和口音的偏移也更小。作者认为该算法找出了与属性相关的维。正文未给出差值。
• 强度：作者称加大α常常带来更强偏移，但最优α随NAC和属性变化，持续加大不总加强。引言称平台和逆转指向有限的可控性（Sec 4.2）。

内容与感知质量

• 测了什么：性别和US–UK、各个α。WER来自Qwen-ASR 1.7B，感知质量来自SHEET。作者报告Figure 3中，相对未steering的SAE重建，steering通常使WER上升、SHEET下降。所附文本没有这些曲线的具体分数。
• 偏移与退化：作者称更大的属性偏移常常伴随更大退化，但关系因NAC而异。所举例子是女推向男、α=0时，Mimi与Qwen tokenizer的女性概率偏移相当，而Mimi的WER更低、SHEET更高；US推向UK有类似情形。作者认为Mimi所选特征可能把属性信息和其他语音信息分得更开。
• 作者的总解释：Mimi和SpeechTokenizer在若干设置下内容和感知质量保持得相对较好，尽管属性偏移有时不大。作者把总体退化解释为所选特征没有完全隔离说话人属性。

其他消融与分析

• 论文未报告k、dz、M、λ、epoch或学习率的消融；M=30、λ=100固定，k与dz沿用先前工作。
• 质量指标未用于年龄和US–SA（Sec 4.3）。
• 论文未报告随机对照的数值差，也未报告Figure 3的具体WER和SHEET分数。

作者把不一致的响应和质量下降写成这一分解的限度，并建议改进SAE优化。

作者指出的局限与后续方向

• 响应不一致：响应随NAC、属性和steering方向变化，增大强度并不总放大目标偏移（Conclusion）。
• 未完全隔离：steering使语音内容和感知质量下降；作者认为所选激活和steering过程没有完全把说话人属性与其他语音信息分开（Abstract、Sec 4.3、Conclusion）。
• 后续方向：改进SAE优化，以便更好分解信息（Conclusion）。

实验覆盖范围

• NAC：EnCodec、DAC、SpeechTokenizer、Mimi、Qwen3-TTS-Tokenizer-12Hz，共5个（Sec 3.2）。
• 属性与语料：年龄（18–30岁对60岁以上）、性别（女/男）、口音（US–UK、US–SA）；语料为Vox-Profile英语语音（Sec 3.1）。
• 对照与质量指标：随机维对照只在Mimi上（Sec 3.4、4.2）。WER和SHEET只用于性别和US–UK（Sec 4.3）。
• 判定模型：年龄和性别用24层Wav2Vec 2.0，口音用Vox-Profile broad-accent分类器且SA映射到Other，WER用Qwen-ASR 1.7B（Sec 3.4、4.3）。
• 论文未报告：测试集样本量、重复次数、统计检验、分类器与人工判断的一致性，以及Figure 2、Figure 3中除52岁以外的逐点读数。关联维在带标签的测试集上选出（Sec 3.1）。

作者用SAE steering探测NAC表示如何编码说话人属性，目标是可解释性，不是属性转换。

• 问题：NAC已进入TTS和语音基础模型，但说话人信息如何被内部组织仍不清楚。作者自己的前作停在口音的任务级证据。
• 做法：五种NAC的量化帧上训练Top-k SAE，潜维为dcodec的10倍，k为dcodec的0.1向上取整。按两组激活频率差各取30维，只在当前活跃维上把目标维设为+α、源维设为−α，再解码。α从0到20；α=0仍会把选中活跃维置零。
• 判定：预测年龄和女性概率来自24层Wav2Vec 2.0，成对US概率来自Vox-Profile broad-accent分类器。实验用Vox-Profile英语语音的说话人不相交测试集。
• 偏移：作者报告所选维能诱导朝目标的预测偏移，性别双向最一致。男推向女时，Mimi、SpeechTokenizer、Qwen tokenizer在α=20的女性概率接近1，DAC和EnCodec较弱。青推向老不稳定：SpeechTokenizer在α=20到52岁，EnCodec低于其SAE基线。US–SA中，SA推向US比反方向更一致。Mimi上随机维的偏移更小。
• 重建本身：Table 1显示，尚未steering时NAC重建已改变部分预测。例如青年组预测年龄在原始波形上为27.8岁，EnCodec 6 kbps重建后为36.7岁。
• 作者的结论：steering通常提高WER、降低SHEET分数。作者认为SAE把说话人属性捕获在可操控的激活里，但所选激活没有完全与其他语音信息分开；后续应改进SAE优化。