LLM 防护对多轮人工越狱仍不稳健
[Daily Paper] LLM Defenses Are Not Robust to Multi-Turn Human Jailbreaks Yet
AI 导读
研究者 Li 等人的论文发现，在自动单轮评测中达到个位数攻击成功率的 LLM 防护，面对人工红队实施的多轮越狱时成功率仍超过 70%。论文发布 MHJ 数据集，包含来自商业红队项目的 2,912 条提示、537 段多轮越狱对话，涵盖多轮升级、角色扮演与假设框架等人工战术。作者称自动单轮基准造成虚假信心，并报告针对生物安全知识做过遗忘训练的模型，其知识仍能被多轮人工越狱稳定恢复。文章还把这一评测缺口延伸到机器人 VLA 模型的部署安全评估。
推荐理由
论文用 537 段人工多轮越狱对话测试防护模型，攻击成功率与自动单轮评测的个位数结果相差一个数量级。