LLM 微调中的对齐动态

论文提出一个可计算的对齐分数，并推导其在微调中的闭式更新，用以统一解释已有对齐为何会被后续微调逆转。分析把对齐更新拆成两部分，回弹力由当前对齐状态和模型分布狭窄程度共同决定，驱动力取决于训练分布与对齐及非对齐补全的结果条件后验的匹配程度。该框架预测了排练启动效应，即先前对齐会留下潜在后验印记，再次接触相关数据时加快再对齐。作者在安全对齐、涌现性失准和情感设置中验证了对齐逆转与加速再对齐，并在安全对齐的受控实验中确认回弹强度随分布后验变窄而变化。