（误）对齐的艺术：微调方法如何在后训练中有效误对齐与再对齐大语言模型
The Art of (Mis)alignment: How Fine-Tuning Methods Effectively Misalign and Realign LLMs in Post-Training
AI 导读
研究者系统评估了四种监督微调（SFT）与两种偏好微调（PFT）方法在四个安全对齐大语言模型上的误对齐与再对齐效果，发现攻击与防御之间存在机制不对称。结果显示，Odds Ratio Preference Optimization（ORPO）在误对齐方面最有效，Direct Preference Optimization（DPO）在再对齐方面表现最好，但以牺牲模型实用性为代价。研究还发现模型特异的抵抗现象以及多轮对抗动态的残余效应。作者指出，部署不可信的第三方模型前需要进行额外的安全再对齐，并呼吁建立更强的防护与定制化的安全对齐策略。代码开源于 https://github.com/zhangrui4041/The-Art-of-Mis-alignment。