国防科大提出 JailExpert 越狱框架,攻击效率达最优基线 2.7 倍
国防科大:JailExpert 让 LLM 越狱效率飙升 2.7 倍,靠的竟是 “抄历史作业”?
AI 导读
国防科技大学研究者在 arXiv 发表越狱框架 JailExpert,将历史越狱攻击结果结构化为可复用经验,在 7 个 LLM 上平均攻击成功率达 90%,攻击效率(ASR-E)为最优基线 ReNeLLM 的 2.7 倍。每条经验记录初始恶意指令、完整越狱提示、越狱模式以及成功和失败次数;框架用 text-embedding-3-small 计算指令与完整提示之间的语义漂移,经 K-Means 分组后,从每组选取出现频率和历史成功率最高的模式作为代表性模板,攻击后再动态更新计数。实验中 GPT-4 的攻击成功率为 76%,Gemini-1.5-pro 与 GPT-4-Turbo 达 100%;LlamaGuard 使 GPT-4-Turbo 的成功率从 95.5% 降至 62.4%,PPL Filter 对 Llama2-7b 的攻击成功率无影响(97.3%)。