JailbreakBench：面向大语言模型越狱的开源鲁棒性基准
[Daily Paper] JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models
AI 导读
JailbreakBench 是一个面向大语言模型越狱的开源鲁棒性基准，包含持续更新的越狱提示词库、100 条行为数据集、标准化评测框架和排行榜。论文指出，现有越狱评测缺乏统一标准，成本与成功率的计算方式不可比，且许多工作不公开对抗提示词、使用闭源代码或依赖不断变化的专有 API，导致难以复现。该基准的评测显示，即使是前沿模型也存在可测量的越狱漏洞，不同模型的鲁棒性差异很大，部分防御对某些攻击有效却对其他攻击失效。评测框架发布在 GitHub，排行榜跟踪不同大语言模型的攻击与防御表现。