通过非合作博弈实现语言模型的安全对齐

研究者提出 AdvGame，把安全对齐建模为攻击方与防御方语言模型之间的非零和博弈，通过在线强化学习联合训练双方，让各自持续适应对方不断变化的策略。作者称该方法使防御模型在更有帮助的同时对对抗攻击更具鲁棒性，并推动了安全与可用性帕累托前沿的外移。方法使用基于成对比较的偏好奖励信号而非逐点打分，作者认为这能提供更稳健的监督并可能减少奖励作弊。训练得到的攻击方模型则收敛为可对任意目标模型进行探测的通用红队智能体，代码开放在 github.com/facebookresearch/advgame。