理解并保持微调后大语言模型的安全性
Understanding and Preserving Safety in Fine-Tuned LLMs
AI 导读
论文提出安全保持微调方法 SPF（safety-preserving fine-tuning），用于解决微调损害大语言模型安全对齐的问题。作者通过系统性实证分析给出三点发现：安全梯度位于低秩子空间而效用梯度跨越更高维空间，两个子空间常呈负相关并在微调中产生方向冲突，主导安全方向可从单个样本高效估计。基于这些发现，SPF 显式移除与低秩安全子空间冲突的梯度分量，理论上保证效用收敛并约束安全漂移。实验显示，SPF 能保持下游任务性能并恢复几乎全部预训练安全对齐，在对抗性微调场景下依然有效，并对深度微调和动态越狱攻击表现出稳健抵抗。