防止大语言模型灾难性遗忘的鲁棒策略优化（FRPO）
Robust Policy Optimization to Prevent Catastrophic Forgetting
AI 导读
大语言模型通常先经 RLHF、再为下游目标微调，即使小幅下游更新也可能损害已学到的安全等行为，这种脆弱性称为灾难性遗忘。作者认为标准 RLHF 目标不保证对未来适配的鲁棒性，防止遗忘需要在微调前就让基座策略避开微调后奖励骤降的脆弱高奖励解。为此作者提出 Fine-tuning Robust Policy Optimization（FRPO），不仅优化当前策略，还在下游适配可达的 KL 约束策略邻域内通过 max-min 形式保证奖励稳定性，并基于 GRPO 改造出无额外计算量的算法。作者称，实验显示该方法在多个基座模型和 SFT、RL 两类下游微调设置下显著减少安全退化，同时保持下游任务性能；在数学 RL 设置中也能在后续微调后保持准确率。