基于约束学习的大语言模型对齐
Alignment of large language models with constrained learning
AI 导读
研究者提出一种基于拉格朗日对偶的迭代式对齐方法来求解约束对齐问题，并证明该方法在 LLM 参数化间隙内可找到最优约束策略。约束对齐的目标是在最大化主奖励的同时满足次要效用约束；针对迭代式原始-对偶方法往往难以收敛、非迭代对偶方法在 LLM 参数空间达不到最优的问题，所提方法在通过拉格朗日最大化更新 LLM 策略与通过对偶下降更新对偶变量之间交替进行。论文刻画了分布空间原始值与 LLM 参数空间对偶值之间的间隙，并量化了近最优对偶变量处所学策略在目标函数和约束函数上的最优性间隙。作者在 PKU-SafeRLHF 和 Anthropic HH-RLHF 数据集上通过大量实验验证了该方法的有效性。