失准与对齐的艺术：微调方法如何在后训练中有效使 LLM 失准与重新对齐
[Daily Paper] The Art of (Mis)alignment: How Fine-Tuning Methods Effectively Misalign and Realign LLMs in Post-Training
AI 导读
Zhang 等人的论文系统比较了多种微调方法诱发失准与恢复对齐的效率，发现使 LLM 失准明显比纠正它更容易。在少量有害样本上做监督微调即可稳定侵蚀安全护栏，DPO 和 ORPO 等偏好优化方法用较少训练步数也能把模型偏好推向违规输出，而重新对齐需要更多数据和算力才能达到同等恢复，知识蒸馏与朴素的 RLHF 微调在尝试恢复时还可能引入新的安全退化。论文还发现使用显式思维链的推理模型更易受 CoT 攻击，暴露更多逐步推理的文本补全接口最易受影响。作者认为 VLA 等具身模型建立在相同基础上，经任务微调后可能带着标准性能基准看不到的安全约束退化上线，因此持续学习与领域适配需要贯穿模型生命周期的对齐评估。