针对 LLM 集成应用的提示注入攻击

Liu 等研究者提出 HouYi 黑盒提示注入攻击，在 36 个真实 LLM 集成应用中 31 个存在漏洞，成功率达 86.1%。该攻击由框架、分隔符和破坏载荷三部分组成，通过语法转义、语言切换或语义方式诱导模型把后续文本当作新指令，可窃取开发者预设的系统提示词，或滥用服务商的 LLM 额度执行任意任务。Notion、Writesonic、Parea 等 10 家厂商确认了漏洞；研究者按 GPT-3.5 turbo 定价估算，单个应用被大规模利用每天约损失 259.20 美元。研究还称指令防御、XML 标签、三明治防御等现有防护可被绕过，建议采用多步处理、领域专用模型和输出监控。