大语言模型涌现性错位容易，窄域错位困难

Anna Soligo 等人发表论文，以涌现性错位为案例研究大语言模型的归纳偏置，发现模型本可以只学会窄域有害数据集上的任务，但更通用的错位解更稳定、也更高效。作者基于不同微调会收敛到同一通用错位线性表征的已有结果，发现窄域解同样存在线性表征，并可通过引入 KL 散度损失学到。对比显示通用错位表征损失更低、对扰动更稳健、在预训练分布中影响更大。作者称这为监控与缓解隔离出一个具体的错位表征，并开源了代码、数据集和微调模型。