防御arXiv 2606.18673
理解并缓解真实世界 LLM 应用中的提示词泄露攻击
提出软提示防御 AREA,重锚定注意力以缓解系统提示泄露
- arXiv
- 2606.18673
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Llama-2-7B-chat-hf、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等8个
摘要作者测量商用提示词泄漏,提出 attention drift,并用 AREA 在可用性与抗泄漏间取折中。
作者研究真实 LLM 应用中的 system prompt 泄漏,并给出不改权重的缓解方法 AREA。