研究揭示 Pythia 训练早期低于随机水平的暂时性偏好成因

研究者在 Indirect Object Identification 任务上发现，Pythia 模型训练早期会偏好被重复提及的名字，导致二选一准确率低于随机水平，而同一窗口内语言模型损失仍在下降。作者通过在与因果评估不同的提示上选出写入重复名字的注意力头，固定选择后用非重复名字提示上的平均输出替换各头最终 token 输出，在单独训练的 160M 模型以及官方 160M、410M、1B 模型上改善了正确减重复的 logit 差值。在 160M 规模，成熟模型中降低重复名字的那个头在早期几乎不表现出成熟行为，对重复提及的注意力不足 1%，其输出也几乎不直接降低该名字的 logit，这两项属性在行为恢复的区间内增长。将对应头的成熟参数移植到早期 checkpoint，可恢复训练结束时正确减重复 logit 差值总改善的 35% 至 68%。