Backtracking 技术提升语言模型生成安全性

研究者提出 backtracking 技术，通过特殊 [RESET] token 让语言模型撤回并从已生成的不安全内容中恢复，针对生成 token 无法撤回、模型倾向沿原轨迹继续生成不安全文本这一局限。该方法可纳入 SFT 或 DPO 训练以同时优化有用性与无害性。在作者的评测中，经 backtracking 训练的 Llama-3-8B 比基线模型安全四倍（6.1% → 1.5%），且有用性无回退；尽管未针对攻击训练，该方法还对包括自适应攻击在内的四种对抗攻击提供了防护。