当安全成为离群值：理解大语言模型安全行为的保持
When Safety Becomes An Outlier: Understanding the Retention of LLM Safety Behaviors
AI 导读
研究者提出，安全对齐的大语言模型在微调后丢失安全行为，是因为公式化拒答串构成窄而缺乏语义支撑的离群模式，容易被后续更新覆盖，并提出 NEST 框架加以缓解。受控实验显示，固定拒答的习得方式接近任意常量串，不同于有提示语义支撑的自然回复。NEST（Naturalness-Enhanced Safety Targets）在监督和基于偏好的对齐设置中构造自然、语境感知的安全目标，以原模型下的困惑度作为分布支撑的代理。在多个模型和对齐方式上，该方法在不牺牲有用性的前提下同时提升了即时安全性与持续微调后的安全保持。