基于风险感知逐步对齐的受限语言模型策略优化
Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment
AI 导读
研究者提出风险感知逐步对齐（RSA），将风险感知显式引入语言模型安全对齐，弥补 Safe RLHF、SACPO 等风险中性方法的不足。该方法把安全对齐形式化为 token 级风险感知受限策略优化，基于嵌套风险度量逐步更新策略，缓解模型过度偏离参考策略的风险并抑制低概率高影响的危害行为。实验显示 RSA 在保持高帮助性的同时确保强安全性，显著抑制尾部风险。