对齐、模型有机体与玩具模型间共享的 SFT 经验

研究者提出把监督微调（SFT）经验在对齐训练、模型有机体和玩具模型三个领域之间互相移植，并用三组实验检验其可迁移性。第一组把行为泛化经验从对齐训练移植到玩具模型，发现针对行为背后的原因做训练（如 Teaching Claude Why 的做法）比只用行为示例训练更能让行为泛化。第二组把来自模型有机体的能力保持经验移植到 Model-Spec Midtraining 对齐设置，发现在非学生模型写的输出上做 SFT 会损害能力，混入良性的同模型且同策略数据可避免大部分损害，同时仍能嵌入目标行为。第三组把来自模型有机体的稳健性经验移植到同一设置，发现后续良性 SFT 可以在保持能力的同时抹去对齐行为，说明仅做到能力保持并不足以保证对后续训练的稳健性。作者认为跨领域移植 SFT 经验能让各领域共同受益，建议研究者借用自己领域之外的技术。