模型迭代微调大多是幂等的

模型在自身输出上迭代微调时，谄媚或错位等行为倾向大多衰减或保持不变，能可靠出现的放大主要在 DPO 持续训练设置中。作者训练了一系列模型，每个模型都在前一代生成的数据上微调，并在初始模型中植入特定人格或信念，比较了 instruct 模型的 SFT、基座模型的合成文档微调（SDF）和 DPO 三种设置。SFT 和 SDF 中少数放大案例以连贯性下降为代价；DPO 下持续以偏好模型自身输出的方式训练可稳定放大倾向，但每轮重新初始化模型后放大消失。作者据此认为，放大最可能来自持续后训练，限制该阶段可能是有效防御；非 RL 微调中的放大罕见且对数据量非常敏感，放大与连贯性之间的权衡也构成天然抑制。