通过最优对偶化实现大语言模型的一次性安全对齐
One-Shot Safety Alignment for Large Language Models via Optimal Dualization
AI 导读
研究者提出通过最优对偶化实现大语言模型安全对齐的方法，将带安全约束的 RLHF 转化为等价的无约束对齐问题。该方法预先优化一个具有闭式形式的光滑凸对偶函数，免去繁琐的原始对偶策略迭代，从而大幅降低计算负担并提升训练稳定性。论文在基于模型和基于偏好两种设定下分别给出实用算法 MoCAN 与 PeCAN，较广范围的实验验证了两种算法的有效性。