LLMail-Inject：来自真实自适应提示注入挑战的数据集
LLMail-Inject: A Dataset from a Realistic Adaptive Prompt Injection Challenge
AI 导读
论文发布 LLMail-Inject，一个包含 208,095 条人类撰写的间接提示注入攻击提示词的基准数据集，来自 839 名参与者、耗时五个月的两阶段公开红队挑战。数据集评估完整攻击链，攻击需先被邮件数据库检索到、绕过所部署的防御，再触发参数正确的越权工具调用。在未参与挑战的模型上重放攻击时，Meta SecAlign 仍达 32% 攻击成功率，GPT-4o 为 58%，GPT-5 mini 为 47%；相比之下这些模型在 AgentDojo 等既有基准上常低于 5%。攻击还可迁移到编码任务（37%）与文件管理任务（28%–45%）。作者同时发布挑战平台、带标注的数据集和攻击策略分类体系。
推荐理由
在既有基准上攻击成功率低于 5% 的模型在该数据集上仍可被突破，部署邮件助手或 Agent 的团队可据此检查自家护栏。