Jailbreak-R1: using reinforcement learning to explore jailbreak capabilities of large language models

Guo 等人的论文提出 Jailbreak-R1，一个用强化学习训练越狱提示词生成器的自动化红队框架，试图同时兼顾攻击有效性与多样性。训练分三阶段：先在已有越狱数据上监督微调建立基线，再用多样性指标做探索训练扩大攻击面，最后逐步增强以提高成功率。奖励信号取自生成的提示词能否诱导目标模型输出有害回答，使攻击模型通过试错发现监督数据中没有的新攻击策略，而显式的多样性指标用于防止生成器收敛到少数有效模板。作者称该方法在提示词多样性与攻击成功率之间取得比既有自动化方法更好的平衡。论文还提出该攻击者能否泛化到需要视觉组件的多模态目标、目标模型更新安全训练后是否需要重新训练，以及发布此类生成器的披露问题。