《Do Anything Now》：真实场景中大语言模型越狱提示词的特征刻画与评估
[Daily Paper] "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models
AI summary
论文用 JailbreakHub 框架分析了 2022 年 12 月至 2023 年 12 月的 1,405 条越狱提示词，识别出 131 个越狱社区，并发现最有效的提示词组合了角色扮演、权威框架、情感诉求与技术误导等策略。研究构建了覆盖 13 个禁止场景、共 107,250 个样本的问题集，在六个主流大语言模型上测试，发现其安全防护无法在所有场景下抵御越狱提示词。其中五条高效越狱提示词在 ChatGPT（GPT-3.5）和 GPT-4 上达到 0.95 的攻击成功率，最早的一条已在线存在超过 240 天。作者认为，社区协作迭代发现漏洞的速度快于学术攻击研究。