理解并缓解真实世界 LLM 应用中的提示词泄露攻击

真实部署中，隐藏 system prompt 能否被对抗查询泄漏，以及能否不改权重既抗泄漏又保住功能。

• 场景：作者称 system prompt 编码角色、约束并编排工具与工作流，相当于传统软件的核心逻辑，也常含敏感信息。作者称 OWASP 将其列为 2025 年 LLM 应用 Top 10 风险，泄漏后还可能引出绕过工具约束、外传配置或数据等后续风险。
• 不足：作者称既有泄漏研究多限于单一平台上数十至数百个应用，难以外推。尽管平台使用对齐 LLM 并鼓励防御指令，真实防护仍不清楚；测量中约 52% 的泄漏应用写了此类指令，作者称保护仍然有限。
• 假设：作者把失败归于生成过程中的 attention drift：注意力从防御指令转向对抗查询，并称其由 query–key 对齐偏差和 softmax 放大共同造成。
• 威胁模型：
  • 攻击目标：提取应用内的私有 system prompt。
  • 知识：black-box；不知 system prompt，也不知 victim LLM 内部。
  • 能力：仅经公开接口交互，可不受限查询、观察输出并重复尝试。
  • 防御方：平台运营者。作者称其通常能接触权重，但改模型会波及其他产品面；目标是应用层缓解泄漏并保持功能，不改权重。
• 提出内容：六个平台 1,200 个应用的测量、评测基准 LeakBench、注意力分析，以及防御 AREA。作者称该测量是首次大规模测量。

论文按提示注入、提示泄漏/窃取和防御来组织相关工作，并据此选择评测基线。

提示注入

• 手工模式：Perez 与 Ribeiro（2022）使用忽略上文类短语；Willison 讨论伪造补全。论文将其列为靠文本模式提高注入指令覆盖控制逻辑概率的早期做法。
• 优化与间接注入：Liu 等（2024）形式化并基准化提示注入；另有黑盒优化（Liu 等，2023）、梯度方法（Pasquini 等，2024；Shi 等，2024）和对齐投毒（Shao 等，2024）。Greshake 等（2023）研究间接提示注入对真实集成应用的影响。

提示泄漏与提示窃取

• 提示泄漏：Zhang 等（2023）与 Yu 等（2023）显示构造查询可让模型吐出 system prompt；Hui 等（2024）的 PLeak 用梯度优化放大披露。作者称商业平台扩散后，实践中的影响程度尚未被系统研究。
• 提示窃取：Tan 等（2025）、Yang 等（2025）的 PRSA、Zhang 等（2024）从输入输出推断或重构隐藏提示。作者称其主要促成功能模仿和知识产权风险，而泄漏会直接抽出隐藏 system prompt，还可暴露系统级指令。

防御

• 注入防御：预防类包括输入预处理和微调，如 Chen 等的 StruQ、DefensiveToken、对齐微调，以及 Piet 等的 Jatmo；检测类包括 Liu 等（2025）的 DataSentinel 和 Hung 等（2025）的 Attention Tracker。
• 泄漏防御：Liang 等（2024）的提示工程启发式、Jiang 等（2024）的 PromptKeeper、Pape 等（2025）的 PromptObfuscation、Cao 等（2025）的 SysVec。作者称这些方法往往难以同时维持防护和预期可用性，且缺少从模型内在行为理解泄漏的分析。
• 与 AREA 的对照：作者称多数注入防御针对指令劫持，且假设用户是受害者；泄漏查询可以看起来像普通请求，用户即攻击者。第 8.2 节进一步称 DefensiveToken 面向提示注入，PromptObfuscation 与 SysVec 用连续表示替换文本 system prompt。

基线与基准

• 基线方法：Random Insertion、Repeated Prefix of Prompts、Fake Prompt、Only Local Lookup、PromptKeeper、PromptObfuscation、SysVec；另测 DataSentinel 能否迁到泄漏检测。
• 基准：自建 LeakBench；测量对象为六平台各 200 个应用。对抗查询来自开源社区、先前手工攻击及 PLeak。

作者把本文定位为跨平台大规模测量，并用注意力机制解释防御指令失效；AREA 保留原文 system prompt，只重锚定对防御指令的注意力。作者称该测量是首次大规模测量。

作者先测量真实泄漏并建 LeakBench，再用注意力分析解释防御指令失效，最后用 AREA（Attention Re-Anchoring） 在不改权重的前提下把注意力拉回防御指令。

问题设定

• 受害系统：推理时把隐藏 system prompt 接在每条用户查询前。智能体还可带检索和工具，作者称 system prompt 仍是中心组件。
• 攻击与判定：对抗查询诱导 victim LLM 在回复中露出该提示词。机制分析里，GPT-4.1 对照真值判定：明确露出才算成功，明确拒答且无泄漏算失败。
• 防御约束：不改模型权重，只改应用层提示模板。防御指令可手写，或由 GPT-4.1（温度 0.7）生成，并嵌入行为触发 τ，规定发现泄漏尝试时输出指定拒答并停止。正文给了示例原句，此处不复述。

测量与 LeakBench

• 抽样：GPT Store、Poe、Coze、通义智能体平台、百度 AgentBuilder、腾讯元器，各按流行度、功能多样性和类别覆盖分层抽 200 个，共 1,200。结果分析用 A–F 匿名。
• 探测与核验：对抗查询来自开源安全社区，每应用每条提交 10 次。开发者可联系则请其确认；否则 10 次中至少 7 次语义一致，再由两名研究者分别审日志，双方都确认才记为泄漏。
• LeakBench：50 条任务型 system prompt，来自 Awesome ChatGPT Prompts 等社区。每受害模型 200 条对抗查询，来源为开源语料、手工启发式攻击及其组合、PLeak 梯度攻击，共 600 条；每条提示词约 100 条良性查询，共约 5,000 条。

注意力分析

• 指标：最后一层上，生成 token 对防御指令与对抗查询的平均注意力记为 A_def、A_adv。作者定义 DAR=A_def/(A_def+A_adv)，越低表示防御指令分到的注意力越少；FT-DAR 只看第一个输出 token。分析用 LeakBench 中 10 条提示词、每模型 200 条对抗查询，并由 GPT-4.1 随机生成 100 条防御指令，每模型 200,000 个实例。
• 现象：作者称成功时注意力集中在对抗查询 token，失败时更均匀（Figure 3、Figure 4 为示意）。Figure 5 的核密度中，成功攻击的 DAR、FT-DAR 偏向更低值，失败偏向更高值；三模型趋势一致。正文未给密度峰值坐标。
• 四阶段：隐藏状态、key 投影、softmax 前 logit、softmax 后权重，用归一化差 Δ 比较两组幅度。Figure 6 中隐藏状态 Δ 接近 0，key 投影分离很小，softmax 前首次分开，softmax 后 Δ 增大。作者称这来自 query 与对抗 token 的 key 更对齐，再被 softmax 放大；并称与 Clark 等（2019）、Sun 等（2024）的观察一致。Table 3 只统计成功攻击的非负 logit。

AREA 的训练与部署

• 布局：防御指令后追加可训练 soft prompt，输入为 p=[p_sys∥ p_def∥[SOFT]∥ p_usr]，SOFT 换成 s，只更新 s。默认长度 8 个 soft token。
• 三项损失：L_t 只用良性查询，提高第一个输出 token 在最后一层对防御指令的相对注意力。L_b 用对抗查询，提高按序生成 τ 的概率。L_u 对良性查询比较有无防御组件时的逐 token KL。联合目标为 s^⋆=argmin_s(λ_t L_t(s)+λ_b L_b(s)+λ_u L_u(s))，默认 λ_t=1、λ_b=0.5、λ_u=1。权重冻结，最大输出长度 512。
• 数据与上线：重锚定和可用性用 TruthfulQA 前 200 条；行为强化用 Zhang 等发布的 20 条 GPT-4 生成对抗查询。作者称小训练集是为减少与测试集重叠。每应用离线训一条 soft prompt，推理时拼入嵌入。案例研究因 AgentScope 限制，把 soft prompt 映射成 hard prompt。

实验设置

• 受害模型：主评测为 Llama-2-7B-chat-hf、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3。规模扩展另有 Qwen3-4B-Instruct、Qwen3-32B、Qwen2.5-72B-Instruct、Llama-3.3-70B-Instruct。案例用 Qwen3-30B-A3B-Instruct-2507。
• 数据：测量 1,200 个应用。LeakBench 为 50 条 system prompt、每模型 200 条对抗查询、每条提示词约 100 条良性查询（约 5,000）。机制分析每模型 200,000 实例。AREA 训练为 TruthfulQA 前 200 条加 20 条对抗查询。
• 基线：四种提示工程、PromptKeeper、PromptObfuscation、SysVec，以及 DefInstr-Only、No Defense。PromptObfuscation 因 Mistral 缺少稳定 token 分隔符而未报告。
• 指标：PLS、SS 越低越抗泄漏；RUS、FC 越高可用性越好，均由评审打 1–10 分。FC 比较有无防御时的 Accuracy、Completeness、Tone、Sentiment、Semantics。TF1 是归一化有效性与可用性的调和平均。测量用泄漏率。
• 评审：PLS、RUS、FC 用 GPT-4.1，温度 0。SS 用 sentence-transformer，论文未写具体检查点。机制分析的成败也由 GPT-4.1 对照真值判定。
• 重复与硬件：测量每查询 10 次；案例三次运行平均。主实验在单张 NVIDIA H200 上。论文未报告 Table 2、Table 4 的重复次数。

主结果

Table 4 比较 AREA 与 SysVec。PromptObfuscation 在 Mistral 上未报告，未列入。

表格较宽，可左右滑动

模型与方法	PLS↓	SS↓	RUS↑	FC↑	TF1↑
Llama-2-7B-chat-hf / AREA	1.57	0.41	6.53	6.31	0.67
Llama-2-7B-chat-hf / SysVec	1.08	0.24	3.98	5.03	0.54
Llama-3.1-8B-Instruct / AREA	1.40	0.13	7.13	6.87	0.77
Llama-3.1-8B-Instruct / SysVec	1.11	0.14	4.36	5.58	0.60
Mistral-7B-Instruct / AREA	2.06	0.39	6.27	6.59	0.67
Mistral-7B-Instruct / SysVec	1.95	0.31	4.13	5.12	0.53

• 作者称只加防御指令不够：DefInstr-Only 的 TF1 为 0.55、0.49、0.51，PLS 为 4.73、6.14、5.76（Table 4，三模型顺序同上）。
• 表中 SysVec 的 PLS 均低于 AREA，SS 除 Llama-3.1 外也更低，但 RUS、FC 更低，因而 TF1 更低。PromptObfuscation 的 TF1 为 0.52 与 0.62，PLS 为 1.14 与 1.12。
• 作者称 AREA 的折中更好。Llama-2 与 Mistral 上 AREA 的 SS 更高，作者称人工检查发现拒答后常有解释性文字，提高了嵌入相似度；Llama-3.1 更常简短拒答。摘要称相对这些 SOTA 防御，平均可用性提高超过 33%、优化平均快近 3 倍；Table 4、Table 5 未单列该百分比。

真实部署测量

• 测了什么：Table 1，六平台各 200 个公开应用，平台在表中匿名为 A–F。
• 结果：泄漏数为 A 178、B 181、C 186、D 162、E 170、F 187，泄漏率 89.0%、90.5%、93.0%、81.0%、85.0%、93.5%。Figure 2 在已确认泄漏应用中：功能逻辑 100.0%，工作流 5.1%，知识库 4.7%，开发者隐私 2.9%，访问密钥 1.6%，敏感内部指令 0.8%（主要在平台 A）。
• 作者解读：作者称对齐后的商用 LLM 对泄漏的防护仍然弱；约 52% 泄漏应用写了防御指令。作者把访问密钥单独标出，并举例某旅行应用把地图 API key 写入提示词。六家平台均确认报告；阿里巴巴与百度定为 medium-severity 并给赏金，其余未定级。作者举例 OpenAI 公开政策，称模型安全问题不适合按单个可修复缺陷纳入漏洞赏金。附录 A 称向 368 名开发者披露，部分人删除隐私或作废密钥。

现有防御

• 测了什么：Table 2，同一 LeakBench 与三个受害模型，比较提示工程、PromptKeeper 和两种软 system prompt。
• 结果：四种提示工程的 PLS 为 5.25–7.09、RUS 为 6.00–7.63（该表全部对应格）。PromptKeeper 的 PLS 为 2.58、5.85、2.53，RUS 为 3.99、5.57、4.45。软提示方法的最低 PLS 为 SysVec 在 Llama-2 上的 1.08，RUS 低至 3.98。DataSentinel 对 LeakBench 对抗查询只检出 38.3%。
• 作者解读：作者称提示工程可用性高、抗泄漏有限，因为攻击已从早期显式查询演变到优化式和社区策略。作者称 PromptKeeper 的可用性下降来自良性回复似然方差高于其假设；Llama-3.1 上其 PLS 为 5.85，与该模型提示工程的 5.63–7.09 接近。作者称 DataSentinel 面向指令劫持，与泄漏查询的模式不匹配。

自适应攻击与案例

• 定向查询：Table 6，Llama-3.1-8B-Instruct，每类 30 条，由 GPT-5.4 构造。无防御时 PLS/SS 为语义碰撞 7.54/0.75、长前缀干扰 6.93/0.72、编码泄漏 6.09/0.66、拒答规避 6.29/0.61；AREA 为 1.17/0.11、1.22/0.13、1.00/0.09、1.34/0.09。作者称前两类对重锚定压力更大，但分数仍低。编码输出在计分前由 GPT-4.1 解码。
• 迭代搜索：100 轮、每轮 5 个候选，查询预算 50–500，10 条未见目标提示词。Figure 10 中作者称代理提示词上优化出的查询对 AREA 迁移有限，AREA 的 TF1 最高，但 PLS/SS 不总是低于 PromptObfuscation 与 SysVec。Figure 11 仅看回复的攻击有轻度上升且非严格单调。Figure 12 用真值挑选时，SS 在 90 轮约为 0.67，PLS 仍为中等；作者称多为改写或高层复述。附录 L.4 称 λ_u=0.4–0.6 时有效性回升。附录 L.3 称在已知代理提示词上，优化本身可使泄漏分接近完全泄漏。
• 案例：Figure 9，三类 AgentScope 智能体，底层 Qwen3-30B-A3B-Instruct-2507，三次平均。作者称 AREA 与 PromptObfuscation 的 PLS 都低于 No Defense，与注入轮次无关；后者只在人设型 ReAct 上保住功能，规则密集型和检索增强型 FC 下降，AREA 的功能与 No Defense 相当。正文未给各轮数值。SysVec 因需中间层注入而未纳入。

其他消融与分析

• 损失消融（Figure 15，Llama-3.1-8B-Instruct）：去掉 L_b 后有效性下降；去掉 L_t 仍不如完整 AREA，作者称模型可能先拒答、随后又跟随对抗指令；去掉 L_u 后输出紊乱、不连贯；随机 soft prompt 的防护可忽略，可用性仍高。正文未给各柱数值。
• 权重（Figure 16）：加大 L_t 或 L_b 降低 PLS/SS；加大 L_u 提高 RUS/FC 并降低有效性。默认 1:0.5:1。正文未给各权重点的分数。
• 训练规模（Figure 17）：良性数据增加时 PLS/SS 稳定，RUS/FC 上升后饱和；对抗样本先降泄漏，之后收益变小。正文未给各规模分数。
• 规模（Figure 8）：作者称 AREA 在 Qwen 与 Llama3 上 TF1 更高，更大模型上可用性更高，并认为可能与指令遵循更强有关。正文未标注各点数值。Figure 14（2×H200）中优化时间随规模上升，作者称 AREA 最低且未出现爆炸式增长，未给分钟数。
• 时间（Table 5，单张 H200，每条 system prompt）：PromptObfuscation / SysVec / AREA 在 Llama-2 为 30.5 / 25.8 / 8.8 分钟，Llama-3.1 为 38.6 / 29.7 / 9.2 分钟；Mistral 上 PromptObfuscation 未报告，SysVec 11.6 分钟，AREA 8.9 分钟。
• GCG（Table 9，Llama-3.1-8B-Instruct，20-token 后缀，影子 system prompt）：No Defense 的 PLS/SS 为 8.02/0.76，AREA 为 2.39/0.27。作者认为该白盒设定在实践中不太可能。Table 3：成功攻击的非负 logit token 比例，三模型分别为对抗 1.537% 对防御 1.388%、3.583% 对 3.314%、8.705% 对 5.839%。

作者指出的局限与后续方向

• 逐提示词优化：部署前须为每条 system prompt 离线优化 soft prompt，带来额外开销。作者提出可研究 soft prompt 跨提示词的可迁移性，以减少一一对应的优化（第 9 节）。
• 无绝对保证：作者称 AREA 是缓解而非完整方案，不提供绝对安全保证；足够自适应的攻击者仍可能削弱效果。与互补且仍在演化的防御结合是后续方向（第 9 节）。
• 代理指标：PLS 与 SS 衡量泄漏输出与原文的句法、语义相似度，不直接量化泄漏提示词对攻击者的下游效用。作者提出可用克隆应用或具体下游任务做效用评估（第 9 节）。
• 汇总口径：防御与效用的折中用 F1 式指标汇总，相对收益可能随其他汇总规则或应用对安全、可用性的偏好而变。作者称 AREA 应看作该评测设置下的折中改进，而不是在所有可能指标上都占优的防御（第 9 节）。

实验覆盖范围

• 测量覆盖六个商用平台各 200 个公开应用，共 1,200；每条对抗查询提交 10 次。结果表用匿名编号 A–F。论文未把编号对应回厂商，未报告各应用的具体 LLM 骨干，也未报告开发者确认与独立核验两条路径各自的数量。
• LeakBench 含 50 条 system prompt、三模型共 600 条对抗查询、约 5,000 条良性查询。主防御表的受害模型为 Llama-2-7B-chat-hf、Llama-3.1-8B-Instruct、Mistral-7B-Instruct。PromptObfuscation 因缺少稳定 token 分隔符，在 Mistral 上未报告。
• 规模实验另含 Qwen3-4B-Instruct、Qwen3-32B、Qwen2.5-72B-Instruct、Llama-3.3-70B-Instruct。案例为三个 AgentScope 智能体，底层是 Qwen3-30B-A3B-Instruct-2507，soft prompt 映射为 hard prompt，三次运行平均。SysVec 因中间层注入与该框架不兼容而未纳入案例。
• 自适应实验包括四类定向查询（每类 30 条）、代理提示词迁移、仅回复反馈、真值挑选上界（100 轮、每轮 5 个候选），以及附录 M 的白盒 GCG（20-token 后缀、影子 system prompt）。论文未报告 Table 2 与 Table 4 的重复次数，也未报告统计显著性检验或两名研究者确认的一致性数值。
• 训练使用 TruthfulQA 前 200 条和 20 条已发布对抗查询。PLS、RUS、FC 的评审模型为 GPT-4.1，温度 0。论文未报告 SS 所用 sentence-transformer 的具体检查点名称。

作者研究真实 LLM 应用中的 system prompt 泄漏，并给出不改权重的缓解方法 AREA。

• 问题：隐藏 system prompt 承载角色、约束、工具与工作流，也可能含密钥和隐私。攻击者只经公开接口、以 black-box 反复查询，目标是抽出该提示词。防御方是平台运营者，不能靠改模型权重来处理单个应用。
• 做法：在六个商用平台各抽 200 个应用测量泄漏，并用两阶段核验判定。LeakBench 用真实来源的 system prompt、对抗查询和良性查询，比较提示工程、输出检测和软 system prompt。注意力分析把成功泄漏与 attention drift 联系起来：生成时注意力离开防御指令，作者归因于 query–key 对齐偏差和 softmax 放大。AREA 在防御指令后加可训练 soft prompt，联合优化首 token 注意力、触发短语的拒答行为，以及良性分布的 KL。
• 结果：Table 1 中六平台泄漏率最低 81.0%（D）、最高 93.5%（F）。Figure 2 中功能逻辑占 100.0%，访问密钥占 1.6%。Table 4 中 AREA 的 TF1 为 0.67、0.77、0.67；作者称折中优于表中基线，尽管 SysVec 的 PLS 更低。Table 5 中 AREA 每条提示词优化时间为 8.8、9.2、8.9 分钟。Table 6 中四类定向自适应查询下，AREA 的 PLS 为 1.00–1.34。摘要另称平均可用性提高超过 33%、优化平均快近 3 倍，正文未给出该百分比的逐格计算。
• 作者结论：作者称泄漏在商用部署中很普遍，现有防御难以同时保住抗泄漏和可用性；attention drift 与成功泄漏相伴。作者认为 AREA 在其评测设置下改善了这一折中，但不提供绝对保证，PLS、SS 与 TF1 也是代理或特定汇总口径。