大语言模型从重复数据中学习的缩放定律与可解释性

研究者训练了一组大部分数据唯一、少部分数据被重复多次的模型，发现重复数据会带来明显的双下降现象，使测试损失在训练中途上升。将 0.1% 的数据重复 100 次时，800M 参数模型的性能可退化到 400M 参数模型的水平，尽管其余 90% 的训练 token 仍为唯一数据。作者推测，模型可能记住这些重复数据并消耗大量容量；将观察与机制可解释性研究联系后，作者指出重复数据对复制和 induction heads 等与泛化相关的内部结构造成不成比例损害。