微调对齐后的大语言模型会损害安全，即便用户并无恶意

一篇论文发现，仅用 10 条对抗设计的训练样本微调 GPT-3.5 Turbo，成本不足 0.20 美元，即可绕过其安全护栏，使模型几乎响应任何有害指令。研究还显示，即便没有恶意意图，用常见的良性数据集微调也会在较小程度上削弱模型的安全对齐。作者认为，微调对齐后的大语言模型带来了现有安全基础设施未能覆盖的新风险，初始对齐再完善也未必能在定制微调后保持。论文分析了潜在缓解措施，并呼吁针对定制微调加强安全协议。