LeakGauge：用行为探针在解码前检测上下文泄露攻击信号

外部上下文泄漏能否在解码前、且不读取内部表示时被测到。

• 场景：作者称 LLM 依赖系统提示词与 RAG 文档提升生成质量，这些内容本应对终端用户隐藏，但与用户查询拼在同一上下文后，对抗输入可诱导模型披露受保护内容。
• 现有不足：作者称只看输入文本的分类器把 LLM 当黑盒，往往难以泛化到未见或改写后的攻击；从隐藏状态或注意力读泄漏信号则要访问中间状态，并做模型特定的层、token 位置或注意力头选择，而 vLLM、SGLang 等常规服务引擎并不例行暴露细粒度注意力分数。
• 核心观察：作者称泄漏攻击与良性查询在泄漏相关续写的概率空间中占据不同区域（Figure 1 的 t-SNE）；内容无关、只陈述披露行为的 gauge，比直接用受保护内容开头更稳。
• 提出方法：LeakGauge 在输入后追加 gauge 后缀，把 prefill 阶段该后缀各 token 的对数概率映射成攻击风险分，并据此做输入侧检测。
• 威胁模型：论文写明考虑 black-box。
  • 目标：复现或以其他方式披露受保护上下文。
  • 能力：提交精心构造的查询、观察模型输出，并用该反馈改编后续查询。
  • 知识：知道应用接口和受保护上下文类型，不知道其内容，也不知道检测器设计。
  • 受害对象：带系统提示词或 RAG 片段的 LLM 应用；检测发生在生成回复之前。

外部上下文泄漏

• 系统提示词与 RAG：系统提示词设定助手行为规则（prompts.chat, 2022; Hui et al., 2024; Jiang et al., 2025）；RAG 提供私有文档支撑回答（Lewis et al., 2020; Guo et al., 2024; Gekhman et al., 2024）。作者称二者与用户查询拼接后暴露给对抗泄漏，也称 stealing 或 extraction attacks（Zeng et al., 2024; Hui et al., 2024）。
• 提示词泄漏：启发式或优化查询抽取系统提示词（Peng et al., 2025; Hui et al., 2024; Zhang et al., 2024b;a; Agarwal et al., 2024）。RAG 泄漏：锚点查询加泄漏指令抽取数据库片段，常利用 black-box 反馈（Zhang et al., 2026b; Di Maio et al., 2024; Jiang et al., 2024; Zeng et al., 2024）。作者称两类目标不同，但都利用同一脆弱性：构造输入可诱导模型复现或披露受保护上下文。
• 只看查询的检测器：PromptGuard-2（Chennabasappa et al., 2025）与 PIGuard（Li et al., 2025）不访问目标 LLM。作者称它们轻量，但依赖输入文本，对未见攻击类型的泛化可能受限（Liu et al., 2025; Nasr et al., 2025）；LLM 评审能捕捉更丰富语义，但需要额外模型和自回归解码（Zhang et al., 2026b）。

解码前的模型信号

• 安全检测：Wen et al. (2025) 将隐藏状态与梯度结合；Hung et al. (2025) 的 Attention Tracker 跟踪注意力头变化，在生成前检测对抗指令。
• 提示词泄漏：I'vDtL（Dong et al., 2025）称可在任何解码之前，从目标模型隐藏状态预测泄漏风险。作者称提取这些信号需要内部激活、梯度或注意力张量，并涉及层、token 位置或注意力头的模型特定选择；注意力张量或梯度并不被 vLLM、SGLang 例行暴露。

Prefill 的 token 概率

• 概率用途：先前工作常用最后一个输入 token 的概率研究模型置信度（Kadavath et al., 2022）与偏好（Santurkar et al., 2023）。Brown et al. (2020)、Hu & Levy (2023) 被用来说明 token 概率反映对候选续写的预测偏好。

基线与基准

• 检测基线：部署对比使用 PromptGuard-2、PIGuard（零样本与在 Raccoon 上微调）、LLM-as-a-Judge、Attention-Tracker、I'vDtL。泄漏数据来自 prompts.chat 的 212 条系统提示词快照、Natural Questions 良性查询、Raccoon 的 44 个攻击模板、LeakDojo 的 39 个模板及 950 个检索实例。

作者将本文定位为：用自然语言 gauge 从 prefill token 概率引出泄漏攻击信号，无需访问内部表示，并把该信号做成可复用输入 KV cache 的轻量输入侧检测器。

LeakGauge 把固定 gauge 接在输入后面，用一次 prefill 读出该后缀每个 token 的条件对数概率，再由轻量 MLP 打成分。

问题设定与形式化

• 拼接：输入 x = (x1, …, xM)，gauge z = (z1, …, zT)，形成 [x; z]。Prefill 并行处理全部位置，一次前向得到 T 个 gauge token 的条件概率；vLLM 等引擎以 log-prob 暴露这些值。
• 特征向量：位置 t 记录 ℓt = log P(zt | x, z1, …, zt−1)，堆成 T 维向量 v(x;z)。作者称它刻画固定序列 z 与输入 x 所诱导预测状态之间的 token 级相容性。
• 风险分：单隐层、ReLU 的 MLP fθ 把该向量映到标量，再经 sigmoid：ŷ(x;z) = σ(fθ(v(x;z)))，取值在 0 到 1，越高表示 x 含攻击的证据越强。评分在 prefill 完成，不做自回归解码。
• 缓存：因为 z 在 x 之后，x 的 KV 状态不受 gauge 影响；若输入为良性，缓存可直接用于后续生成，不必对输入再做一次 prefill。额外计算只是短后缀的 prefill。

两种 gauge

• Exact：受保护上下文 c 的前 T 个 token。实现中 T = 20。它随具体内容变化，概率衡量模型把该内容当作输入续写的容易程度。论文举例时用系统提示词的开头片段，不在此复述。
• Behavior：只陈述披露这一行为，不包含受保护内容。系统提示词泄漏与 RAG 泄漏各用一条内容无关的声明；Section 5.2 还讨论若干改写变体。作者称对抗输入会把模型推向泄漏取向状态，即使安全对齐阻止实际泄漏，token 概率仍会反映这一偏移。
• 对照设计：End20 去掉后缀，改用输入最后 20 个 token 的 log-prob；Linear 把 Exact 的 MLP 换成线性探针。另有一条与泄漏无关的周末出行句子作对照后缀，细节在 Table 10。

探针训练

• 结构与优化：隐层 16 个单元；Adam，20 个 epoch，学习率 5e-3，batch size 64。每个设置用 5 个随机种子训练，报告各划分上的平均 AUROC。
• 划分：每个样本把一条受保护内容配上良性查询（负）或攻击（正），随机抽样内容–查询对。按 Dong et al. (2025)，留出 30% 内容实例和 30% 攻击模板作为未见；已见部分的 80% 内容×攻击对用于训练，20% 做分布内测试。三个留出划分至少有一个未见成分：Held-Out Content、Held-Out Attacks、Held-Out Strict（内容与攻击都未见）。
• 攻击池：Raccoon 44 个模板，LeakDojo 39 个。直接抽取明示索取内容；逻辑掩盖把泄漏目标藏在看似良性的任务下。目标分为逐字抽取与语义泄漏。

数据与成功判定

• 系统提示词：212 条 prompts.chat 快照；良性查询来自 Natural Questions。Table 1：训练 12,787（攻击 6,512 / 良性 6,275），分布内测试 3,197，Held-Out Content 6,912，Held-Out Attacks 7,104，Held-Out Strict 3,072。
• RAG：LeakDojo 框架构造 950 个检索实例，每例一个锚点查询（PoR）加五个检索块；攻击例在锚点上附加泄漏指令，五个块不变。语料含 WikiText、FiQA 及未见的 Enron-Mail、NFCorpus、SciFact。Table 7：训练 12,454，分布内 3,114，Held-Out Content 7,152，Held-Out Attacks 15,596，Held-Out Strict 7,200。
• 指标：AUROC 衡量风险分区分攻击与良性输入的能力；0.5 为随机，1.0 为完全区分。部署另报 best F1 与 TPR@FPR5（假阳率 5% 时的真阳率）。

实验设置

• 模型：Table 6 的 11 个开源指令模型，8B 到 2.8T，含 dense 与 MoE：Gemma-4-E4B-it、Gemma-4-31B-it、Qwen2.5-14B-Instruct、Qwen3.5-27B、Qwen3.5-35B-A3B、Qwen3-235B-A22B、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Llama-4-Scout-Instruct、GLM-5.2（753B）、Kimi-K3（2.8T）。官方聊天模板，vLLM 取 prompt log-prob；检测分不依赖 temperature。需要生成的辅助实验默认贪心解码。
• 任务与划分：系统提示词泄漏与 RAG 泄漏；训练、In-Dist Test、Held-Out Content、Held-Out Attacks、Held-Out Strict。规模见 Table 1 与 Table 7。
• 方法变体：Exact（T=20）、Behavior、End20、Linear。探针 5 个种子，报告平均 AUROC。
• 部署（Section 6）：全部方法在 LeakDojo 上评测且不在其上训练或配置。PromptGuard-2、PIGuard 有发布检查点的零样本，以及在 Raccoon 上微调的变体；LeakGauge 与其余基线在 Raccoon 上训练或配置，形成跨攻击评测。模型为 Llama-3.1-8B-Instruct，vLLM、prefix caching、2 张 NVIDIA A800、batch size 1。
• 转向（Section 5.3）：仅 Llama-3.1-8B-Instruct。按 Persona Vectors 的方向抽取：攻击回复的受保护文本 recall ≥ 0.5 标为泄漏，否则为非泄漏；方向为二者在转向层、解码前最后一个 prompt token 激活的均值之差，构造独立于 Behavior 探针。
• 跨任务（Appendix I）：StrongReject、BIPIA、ToxicChat、HaluEval 各训一个任务专用探针。Section 5 的语言、目标、归因与迁移分析都在系统提示词泄漏上。

主结果

Table 2 为 AUROC。下表只列 Behavior 与 Exact 的 Held-Out Strict（内容与攻击均未见）。作者称 Behavior 在每一个（模型, 划分）上至少 0.94；Exact 多数格子高于 0.90。Held-Out Attacks 与 Held-Out Strict 上，两种泄漏形式下 Behavior 在每个模型上都是该组最高 AUROC。

模型	系统提示词 Exact / Behavior	RAG Exact / Behavior
Gemma-4-E4B-it	0.839 / 0.953	0.955 / 0.984
Gemma-4-31B-it	0.885 / 0.954	0.968 / 0.998
Qwen2.5-14B-Instruct	0.885 / 0.983	0.884 / 0.993
Qwen3.5-27B	0.909 / 0.968	0.979 / 0.997
Qwen3.5-35B-A3B	0.897 / 0.952	0.945 / 0.999
Qwen3-235B-A22B	0.813 / 0.944	0.830 / 0.974
Llama-3.1-8B-Instruct	0.923 / 0.975	0.899 / 0.965
Llama-3.1-70B-Instruct	0.962 / 0.981	0.950 / 0.986
Llama-4-Scout-Instruct	0.841 / 0.950	0.969 / 0.997
GLM-5.2	0.941 / 0.972	0.848 / 0.982
Kimi-K3	0.942 / 0.991	0.925 / 0.986

• 作者解读：信号能泛化到训练时未见的上下文与攻击。Behavior 在多数设置上高于 Exact，Held-Out Strict 上差距更清楚。例：Gemma-4-E4B-it 系统提示词上 Exact 从分布内 0.919 到 Strict 0.839，Behavior 仍高于 0.95；Llama-3.1-8B-Instruct 的 RAG 上对应变化为 0.928→0.899 与 0.971→0.965。
• 消融：作者称 End20 分布内较好，但在留出攻击上下降明显，说明依赖输入表面模式。Linear 在多数设置上低于 Exact，作者以此支持非线性读出。把 Behavior 换成无关序列后，Held-Out Strict 的 AUROC 平均下降 0.178，最多下降 0.339（Table 10）。
• Table 2 中的低点：系统提示词 Held-Out Strict 上，End20 在 Llama-4-Scout-Instruct 为 0.545；RAG 上 Qwen3-235B-A22B 的 Linear 在 Held-Out Content 为 0.512、Held-Out Strict 为 0.565。这些是消融变体，不是 Behavior。

内容复现与披露行为

• 跨语言（Table 3，Llama-3.1-8B-Instruct，Held-Out Strict）：探针在英语上训练，受保护内容换成其他语言，攻击与 gauge 仍为英语。Exact 的英语开头被冻结。Exact：英语 0.923、西语 0.825、日语 0.647、中文 0.662、阿拉伯语 0.719、韩语 0.714。Behavior：0.975、0.952、0.983、0.974、0.985、0.954，均高于 0.95。作者称 Exact 对与内容的表面对齐敏感，Behavior 在该对齐被去掉后仍有信息。翻译由 GPT-5.1 完成。
• 跨目标（Table 4，11 个模型 mean±std）：V→S 为逐字训练、语义测试；S→S 为语义域内。Held-Out Strict 上 V→S 的 Exact 为 0.829±.12、Behavior 为 0.939±.10；S→S 为 0.880±.06 与 0.995±.01。作者认为 Behavior 捕捉更宽的披露取向信号，而不只是续写特定内容的倾向。
• token 归因（Figure 3，Llama-3.1-70B-Instruct）：Exact 探针 AUROC 0.962，作者称更重视前几个 token。原 Behavior 与三条改写的 AUROC 为 0.981、0.976、0.983、0.981，均高于 0.97；作者称权重落在 give、instructions、reproduce、prompt 等语义锚点上，措辞和位置不同时仍如此。

激活转向与跨模型迁移

• 转向（Figure 4，Llama-3.1-8B-Instruct）：α=0 时攻击输入的平均探针 logit（sigmoid 前）为 2.81，良性为 −2.83；对应平均 ROUGE-L recall 为 0.53 与 0.18。相对 α=0，α>0 时两项大体上升，α<0 时大体下降；阴影为 95% 置信区间。正 α 转向泄漏。作者称这一同向变化提供证据：风险信号对与泄漏行为相关的内部状态敏感。
• 跨模型（Figure 5）：Behavior 探针在源模型上训练，不重训即在目标模型上评测。作者称同族、双向迁移的 AUROC 为 0.87 到 0.97（黑框）；族外更不稳定，取决于源与目标。图中可见的族外低值包括 G4-E4→G3-27 的 0.54、L3.1-8→Q2.5-32 的 0.69。作者认为同族模型对 Behavior 探针有更相容的概率模式。
• 部署（Table 5，Llama-3.1-8B-Instruct，系统提示词，跨攻击）：LeakGauge 的 AUROC 0.996、F1 0.983、TPR@FPR5 0.963，延迟 10.34 ms，参数 <0.5K。PromptGuard-2 微调后 AUROC 0.927、F1 0.870、TPR@FPR5 0.854，延迟 5.23 ms、86M 参数；PIGuard 微调 AUROC 0.961、F1 0.858、TPR@FPR5 0.872，延迟 1.04 ms、184M。LLM-as-a-Judge 的 F1 为 0.932，每请求 2155 ms，AUROC 与 TPR 未报告。Attention-Tracker：0.985 / 0.972 / 0.931，46.03 ms，8B；I'vDtL：0.995 / 0.987 / 0.947，70.91 ms，8B。作者称后两者需要额外的 8B 模型副本才能读注意力或隐藏状态，用到 70B 时则需要 70B 副本；LeakGauge 的 MLP 不随模型规模增长。作者称其 AUROC 与 TPR@FPR5 最高，延迟约为基于激活的替代方案的七分之一。附录 G.2 用直接针对探针输出的 white-box 自适应攻击做压力测试，正文未给出该实验数字。

其他消融与分析

• Table 8：Behavior 的 F1 在全部组合上至少 0.903，TPR@FPR5 至少 0.871。Held-Out Strict 系统提示词的下限为 F1 0.903、TPR@FPR5 0.871；RAG 为 0.940 与 0.946。系统提示词 Held-Out Strict 上 Qwen3-235B-A22B 的 TPR@FPR5 为 0.871，是表中该指标最低值。
• Table 9：随机打乱标签后重训，AUROC* = max(AUROC, 1−AUROC) 在各模型、两种后缀、四个划分、两类任务上接近 0.50。作者称高于随机的 AUROC 对应与真实标签对齐的泄漏相关结构。
• Appendix I / Table 23：有害请求 StrongReject AUROC 0.995；间接提示注入 BIPIA 0.971（留出域 code、table、abstract）；ToxicChat 0.972；HaluEval 0.926。BIPIA 训练 8,029、分布内 3,441、Held-Out 21,849。StrongReject 含 314 条恶意查询，与系统提示词组合得到 4,500 条攻击样本，再从 BIPIA-GPT 抽 4,500 条良性样本。作者称更系统的分析留待后续。

作者指出的局限与后续方向

• 跨任务只是初步结果：Appendix I 称在其他安全任务上的结果说明该机制捕捉的信号不限于泄漏，并可能扩展到更广的安全相关行为，但更系统的分析留待未来工作（left for future work）。
• 结论中的定位：Section 7 将 StrongReject 与 BIPIA 上的结果称为 preliminary results，并称同一机制可以暴露泄漏以外的有用解码前信号。论文未另列 Limitations 专节。
• 伦理与复现声明不把实验范围写成局限：实验在公开模型与数据集、隔离环境中进行，不攻击真实或已部署应用；作者称释放代码库。这些是研究做法，不是作者标出的不足。

实验覆盖范围

• 泄漏主实验：11 个开源模型（Table 6），系统提示词与 RAG 两种形式，四个划分；探针每设置 5 个种子，主指标为平均 AUROC。攻击模板为 Raccoon 44 个与 LeakDojo 39 个。
• 信号分析：跨语言、跨目标、token 归因与跨模型迁移均在系统提示词泄漏上进行。跨语言只报告 Llama-3.1-8B-Instruct；归因只报告 Llama-3.1-70B-Instruct；转向只报告 Llama-3.1-8B-Instruct。跨模型矩阵为 Gemma、Qwen、Llama 中的 8 个代表模型，不含 GLM-5.2 与 Kimi-K3。
• 部署对比：Llama-3.1-8B-Instruct、vLLM、prefix caching、2×A800、batch size 1；LeakDojo 上零样本/跨攻击评测。Table 5 给出 AUROC、best F1、TPR@FPR5、额外延迟与额外参数。正文称附录 G.2 有针对探针输出的 white-box 自适应攻击，未在正文报告数字。
• 跨任务：四个基准各一个任务专用后缀与探针（Table 23）。BIPIA 按 email、QA 为已见域，code、table、abstract 为未见域。论文未报告这些扩展任务的延迟与参数。
• 随机标签与无关后缀：Table 9 覆盖 11 个模型、两种后缀、四个划分和两类泄漏；无关后缀使 Held-Out Strict AUROC 平均降 0.178、最多降 0.339（Table 10）。

LeakGauge 在解码前用一条陈述披露行为的后缀，从 prefill token 概率读出系统提示词与 RAG 泄漏的风险分。

• 问题：受保护上下文与用户查询处在同一窗口，对抗查询可诱导披露。只看文本的检测器对未见攻击泛化有限；读隐藏状态或注意力又依赖内部表示和模型特定配置。威胁模型为 black-box：攻击者能根据输出改编查询，知道接口与上下文类型，不知道内容与检测器。
• 方法：后缀 z 接在输入后，一次 prefill 得到各 gauge token 的 log-prob，单隐层 MLP（16 单元）经 sigmoid 得到 0–1 风险分。Exact 用受保护内容前 20 个 token；Behavior 不含内容本身。输入的 KV cache 可复用，检测不需要自回归解码。
• 主结果：11 个模型、两种泄漏、Held-Out Strict 上，Behavior 的 AUROC 为 0.944–0.996（Table 2 全表最低为 Qwen3-235B-A22B 系统提示词 0.944，最高为 Qwen3.5-35B-A3B 的 RAG 0.999）。作者称该设计在留出攻击上每个模型都高于 Exact、End20 和 Linear。
• 信号从哪来：Llama-3.1-8B-Instruct 上，内容换成日语后 Exact 的 Held-Out Strict AUROC 为 0.647，Behavior 为 0.983（Table 3）。11 模型上逐字训练再测语义泄漏，Strict 的 Behavior 为 0.939±.10，Exact 为 0.829±.12（Table 4）。转向泄漏方向时，探针 logit 与 ROUGE-L recall 相对 α=0 大体同向变化（Figure 4）。
• 部署：Llama-3.1-8B-Instruct 跨攻击评测中 AUROC 0.996、F1 0.983、TPR@FPR5 0.963，额外 10.34 ms 与少于 0.5K 参数（Table 5）。同一配方在 StrongReject、BIPIA 上的 AUROC 为 0.995 与 0.971；作者称之为初步结果，并认为该机制不限于泄漏。