量化在语言模型预训练损失尖峰中的作用

研究者发现，语言模型预训练中延迟出现的终期发散（time-bomb spikes）出现前，LM head 的量化误差会快速增长并最终引发损失尖峰；降低数值精度会加速这类尖峰，提高精度则改善稳定性。论文提出用带动量的 SGD 替换 LM head 上的 AdamW，抑制 logit 增长，在长训练周期上提升稳定性。研究者还发现文献中已有的缓解方法与他们的方法一样都能降低量化误差，提示背后存在共同的数值机制，并据此将有限精度误差视为 time-bomb spikes 的隐藏驱动因素。