理解并缓解真实世界 LLM 应用中的提示词泄露攻击
Understanding and Mitigating Prompt Leaking Attacks in Real-World LLM-Based Applications
AI 导读
论文对六个商业平台的 1200 个 LLM 应用进行大规模测量，发现超过 80% 的应用在对抗性查询下泄露系统提示词，部分泄露内容包含第三方 API key 等敏感信息。作者构建 LeakBench 基准评估七种防御方法，发现现有防御难以在不降低可用性的前提下阻止泄露。机制分析发现，成功攻击伴随注意力从防御指令转向对抗查询的注意力漂移现象。据此提出 AREA 防御，在防御指令后附加可优化软提示以重锚定注意力，在保持与 SOTA 防御相当防护效果的同时将平均可用性提升超 33%、优化开销降低近 3 倍。作者已向受影响厂商披露，Alibaba 和 Baidu 将相关问题列为中危漏洞。
推荐理由
论文对 1200 个真实应用的测量显示逾八成会泄露系统提示词，并给出兼顾可用性的注意力重锚定防御。