大规模 WildTeaming：从真实世界越狱到（对抗性）更安全的语言模型
[Daily Paper] WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models
AI 导读
WildTeaming 是一个自动化的 LLM 安全红队框架，通过挖掘真实用户与聊天机器人的对话，发现 5.7K 个新颖越狱策略簇，并组合多种策略系统性地探索新越狱。论文称其生成的对抗攻击在多样性和成功率上最高达到现有最优越狱方法的 4.6 倍，分析覆盖 1.6M 条真实用户交互。作者据此构建开源安全数据集 WildJailbreak，包含 262K 条直接请求与对抗性越狱的提示词和回复对，并提供有害查询与形式相似但无害的良性查询两类对照数据，以缓解过度拒答。实验显示，用真实越狱样本微调可显著提升模型鲁棒性，同时尽量不降低通用能力。