基于 Transformer 的声学模型中的稀疏权重与边电路发现
Sparse Weight and Edge Circuit Discovery in Transformer-based Acoustic Models
AI 导读
研究者将 DiscoGP 电路发现框架从文本解码器扩展到语音编码器，在 HuBERT 和 Wav2Vec 2.0 上开展首个现代语音基础模型电路发现研究。发现的电路极为紧凑，却常能匹配甚至超过完整预训练编码器加下游头的性能，消融实验表明其反映的是预训练计算而非随机结构或任务头伪影。团队还提出内存高效变体，将边电路发现的 GPU 显存开销从四次方降至三次方。