Can large language models automatically jailbreak GPT-4V?

研究者提出 AutoJailbreak，一种借助大语言模型自动优化越狱提示词、针对 GPT-4V 的自动越狱方法，论文称攻击成功率超过 95.3%。该方法用 LLM 做红队测试来精炼越狱提示，并采用 weak-to-strong 上下文学习提示提升效率，还引入带 early stopping 的搜索以减少优化时间和 token 开销。实验显示其显著超过常规方法。Failure-First 的解读指出，攻击者只需 API 访问和一个有能力的模型，无需接触 GPT-4V 内部权重，且在一个目标上训练的攻击模型往往能迁移到其他目标，攻击自动化会降低越狱成本。