Jailbreak-Zero:通往大语言模型帕累托最优红队测试的路径
Jailbreak-Zero: A Path to Pareto Optimal Red Teaming for Large Language Models
AI 导读
研究者提出 Jailbreak-Zero 红队测试方法,将大语言模型安全评测从基于样例的受限方式转向基于策略的框架。该方法先让一个攻击模型大量生成多样化对抗性提示,再用偏好数据集对其微调,在策略覆盖、攻击策略多样性和提示贴近真实用户输入三个目标上达到帕累托最优。论文的实证结果显示,该方法对 GPT-4o、Claude 3.5 等开源与专有模型的攻击成功率显著高于现有最先进技术,且生成的对抗性提示可读有效、几乎无需人工干预,为发现和缓解大语言模型安全漏洞提供了更可扩展的方案。