RAG-PIBench：可信 RAG 系统中提示注入检测的泄漏感知基准

如何构建泄漏感知的基准，评测检测器能否区分 RAG 上下文里的良性指令与恶意指令覆盖。

• 场景：作者称 RAG 把外部文档放进生成上下文后，检索内容里的提示注入会让模型跟随对抗指令，而不是系统目标。良性文档本身也可能含指令、代码、示例或任务描述，恶意指令还可以改写或混入合法内容。
• 现有不足：作者称关键词防御常常失效；更复杂的方法可能误标良性内容，或依赖数据集伪迹，而不是稳健的语义信号。作者还称，既有评测可能因词法捷径、重复模板，或数据集构建与测试分离不足而高估表现。
• 作者的界定：恶意是试图覆盖、绕过、重定向或操纵助手既定指令遵循行为；良性可以含指令，但没有该意图。因此任务不是检测文本里有没有指令。
• 提出的对象：RAG-PIBench，4,876 条渲染后的上下文样本，冻结为训练、验证和保护测试；并在同一协议下比较关键词、语义参照、TF-IDF 与变换器检测器。
• 威胁模型：
  • 目标：间接提示注入。攻击者希望嵌在检索内容中的指令改变助手行为。论文评测的是检测，不评测生成端攻击是否成功。
  • 控制范围：攻击者控制或影响可能被检索并写入模型上下文的外部文本，不控制用户查询或系统提示。
  • 检测位置：检测器在生成之前，对渲染后的 RAG 式输入做二分类。
  • 论文划出的边界：只含英文文本；不评测下游生成、工具误用、数据外泄、检索投毒或检测后的缓解。

论文按间接提示注入基准和 RAG 防御组织相关工作。作者称前者对泄漏感知的检测器评估和保护测试强调有限，后者的评测协议差异大。

提示注入基准

• PromptShield（Table 1 标为 2025）——在现实误报约束下研究可部署的提示注入检测。
• PromptSleuth（2025）研究改写和分布偏移下的检测；BIPIA（2025）研究检索内容中的间接提示注入，Table 1 将其标为同时涉及 IPI 与 RAG。
• INJECAGENT（2024）评测工具集成智能体中的间接提示注入；WAInjectBench（2025）评测网页智能体，Table 1 标为文本和图像两种模态。

RAG 防御

• 自适应多层框架与 LLM Self Defense——论文介绍前者用于检测和缓解提示注入，后者用辅助 LLM 做生成后校验。
• TrustRAG 与 SeCon-RAG（Table 1 均为 2025）——分别面向可信 RAG，以及两阶段语义过滤和冲突处理。
• Palisade（2024）——组合规则、分类器与伴随模型的检测框架。作者称这些防御提高了稳健性，但评测协议差异较大，直接比较困难。

本文使用的基线与数据

• 基线方法：Keyword、MiniLM Ref.、TF-IDF LR、TF-IDF SVM、TF-IDF RF，以及 DistilBERT-base-uncased、DeBERTa-v3-base。
• 基准与来源：评测基准为 RAG-PIBench。宿主文档来自 WikiText-2、CNN/DailyMail、SQuAD；载荷父本来自 S-Labs、PromptShield、Natural Instructions、BIPIA。

作者把 RAG-PIBench 定位为补充：在 RAG 式上下文上做泄漏感知的二分类检测，而不是主要测量攻击成功率，或只评测单一检测器族。作者称三个区分点是泄漏感知的基准构建、把变换器与轻量基线一起比较，以及同时报告成功结果和失败模式。Table 1 在泄漏、基线、失败模式三列给 RAG-PIBench 标为 ✓，其余所列工作为 – 或 ◦；表注未定义这两个符号的差别。

作者用泄漏感知流水线构建 RAG-PIBench，再在冻结的训练、验证和保护测试上比较七个检测器；检测在生成前完成，不测量攻击是否改变最终回答。

任务定义

• 输入：每条样本是渲染文本，包含宿主上下文和一段嵌入内容。
• 映射：检测器学习 f(x_i)→y_i，其中 y_i∈0,1，0 为良性，1 为提示注入。
• 正类：嵌入内容试图覆盖、绕过、重定向或操纵下游助手的指令遵循行为。良性样本可以含合法任务或指令，但没有该意图。
• 范围：除总体分类外，还要在恶意检出和对良性指令文本的假阳性之间取得平衡。不评测下游生成、工具误用、数据外泄、检索投毒和检测后缓解；输入限于英文。

数据构建

Fig 1 分四段：来源登记、模式校验与溯源；候选复核；RAG 式渲染与泄漏审计；冻结划分、模型开发和保护测试。

• 宿主与载荷：宿主来自 WikiText-2、CNN/DailyMail、SQuAD。Fig 2(a) 在 3,500 篇宿主文档上标出 CNN/DailyMail 与 SQuAD 各 42.9%，WikiText-2 为 14.3%。载荷父本来自 S-Labs、PromptShield、Natural Instructions、BIPIA；图注写明良性与恶意父本池各 192。
• 渲染：宿主上下文加嵌入片段，良性与恶意成对，使用多种包装样式和可变插入位置。两侧都保留类指令措辞，避免任务退化成检测祈使句是否出现。
• 质控：检查模式一致性、重复、溯源、标签一致性和捷径伪迹。自动分析只辅助复核，不赋最终标签。含糊、缺少支持、不符合任务定义或可能引入伪迹的样本被排除或再审。纳入决定在模型评测前完成，保护测试在开发期不可访问。
• 审计与规模：审计重复内容、划分污染、重复模板、来源标记和格式伪迹；问题被改正、删除或显式登记。诊断分析与选型、保护测试分开。Table 2：训练 2,936（各 1,468）、验证 962（各 481）、保护测试 978（各 489），合计 4,876，两类各 2,438。保护测试文本只打开一次。

检测器配置

• Keyword：确定性词法模式。Table 8 写明无训练期调参。
• MiniLM Ref.：用与恶意参照库的最大相似度打分，决策阈值只在验证集选择。
• TF-IDF：LR 与线性 SVM 使用词级和字符级特征；RF 在 Table 8 中为词级 TF-IDF。超参数只在验证集选择。论文未给出具体取值。
• 编码器：DistilBERT-base-uncased 的最大序列长度为 256；DeBERTa-v3-base 为 192，并使用保守的数值稳定配置。二者都在训练集上训练、按验证集选检查点。这些设置在保护测试前固定，之后不改。

评测协议

• 单次保护测试：训练只用训练集，选型只用验证集。保护测试只为最终推断打开一次。之后不允许重选检查点、重调阈值、追加训练，或把诊断反馈用于调参。七个检测器使用同一 978 例。验证集上的变换器结果不得进入最终对比表。
• 诊断分离：另有宽上下文、难良性效用、外部迁移/来源审计三套。Table 7 写明它们不参与排序、调阈或事后修正。
• 指标：恶意类为正类。报告 Accuracy、Precision、Recall、F1、PR-AUC、ROC-AUC 和混淆矩阵。作者把 F1 作为主要排序指标，理由是类别平衡，且要同时权衡漏检与误报。Precision 为 TP 除以 TP+FP，Recall 为 TP 除以 TP+FN，F1 为二者的调和平均。
• 可追溯性：各阶段登记审计产物、清单和校验和。最终对比表在划分固定、基线结果登记、变换器的训练/验证与保护测试分离、且全体检测器评完同一测试集之后才冻结。

在同一 978 例平衡保护测试集上只做一次最终比较：Table 3 中 DistilBERT 的 F1 为列内最高，三种 TF-IDF 次之；Keyword 漏检多，DeBERTa-v3 把全部样本判为恶意。

实验设置

• 检测器：Keyword；MiniLM Ref.；TF-IDF LR；TF-IDF SVM；TF-IDF RF；DistilBERT-base-uncased；DeBERTa-v3-base。共 7 个。
• 数据：RAG-PIBench 共 4,876 例。训练 2,936、验证 962、保护测试 978，各划分内两类数量相等（Table 2）。保护测试为 489 条良性、489 条恶意。
• 来源：宿主为 CNN/DailyMail、SQuAD、WikiText-2。Fig 2 按 3,500 篇计，前两者各 42.9%，WikiText-2 为 14.3%。载荷父本为 S-Labs、PromptShield、Natural Instructions、BIPIA，良性与恶意池各 192。
• 配置：DistilBERT 最大序列长度 256；DeBERTa-v3 为 192，并采用保守数值稳定配置。MiniLM 的阈值和 TF-IDF 的超参数只在验证集选择；Keyword 无训练期调参（Table 8）。论文未给出学习率、批大小或 n-gram 范围。
• 指标与判定：恶意类为正类。主指标为 F1，同时报告 Precision、Recall、Accuracy、PR-AUC、ROC-AUC 和混淆矩阵。标签在构建时确定。论文未使用 LLM 评审，也未报告显著性检验或重复次数。
• 协议：保护测试在开发期不可见，最终只推断一次。不允许事后重选检查点、重调阈值或用诊断套件调参。诊断套件不进入模型排序。

主结果

据 Table 3，978 例平衡保护测试集，恶意类为正类。

Swipe horizontally to read the table

模型	Prec.	Rec.	F1	PR-AUC	Acc.
DistilBERT	0.924	0.869	0.896	0.968	0.899
TF-IDF SVM	0.853	0.890	0.871	0.950	0.868
TF-IDF LR	0.822	0.916	0.867	0.950	0.859
TF-IDF RF	0.822	0.879	0.850	0.933	0.845
MiniLM Ref.	0.508	0.969	0.667	0.576	0.515
DeBERTa-v3	0.500	1.000	0.667	0.488	0.500
Keyword	0.981	0.104	0.189	0.550	0.551

• 作者称 DistilBERT 在检出恶意样本和保留良性效用之间更均衡，且优势不只来自单一阈值；Table 3 中其 ROC-AUC 为 0.967，同为该列最高。
• 作者称相对最强稀疏基线，DistilBERT 的 F1 从 0.871 升至 0.896，增益有限，词级和字符级线索已捕获大量可分信号。作者还称 TF-IDF SVM 与 LR 计算开销更低、更易训练、更可解释，论文未报告耗时。
• 作者称 Keyword 只覆盖一小部分明显攻击，不适合单独防御；MiniLM 参照可能大量误标良性内容。DeBERTa-v3 呈全正类预测。作者认为这反映所采用的保守训练与数值稳定配置，而不是该架构必然不适用；并称它完成了训练和评测，但没有学到可用决策边界。

混淆矩阵与误差权衡

同一 978 例的操作点计数见 Table 6。

• DistilBERT：454 个真阴性、35 个假阳性、64 个假阴性、425 个真阳性。
• 稀疏模型：TF-IDF SVM 为 75 个假阳性、54 个假阴性；TF-IDF LR 为 97 个假阳性、41 个假阴性。作者称前者更偏向精度，后者更偏向召回。TF-IDF RF 为 396/93/59/430（TN/FP/FN/TP）。
• 两端：Keyword 为 488 个真阴性、1 个假阳性、438 个假阴性、51 个真阳性。MiniLM Ref. 为 30/459/15/474。DeBERTa-v3 为 0/489/0/489。

诊断、排序与作者讨论

• 诊断：Table 7 的 contextual diagnostic、hard benign diagnostic、external transfer audit 只用于行为分析。论文未报告这三套的 Precision、Recall 或 F1，并写明它们不参与最终排序、调阈或事后修正。
• 排序与召回：作者称应同时看操作点和排序。TF-IDF LR 与 SVM 的 ROC-AUC 在 Table 3 中均为 0.949。作者称，把每条样本都标成恶意就不会漏掉攻击，但也会拒绝全部良性内容。
• 对基准的解读：作者称 TF-IDF 的表现说明任务含可学习的词法与结构信号，它与 Keyword 的差距说明信号超出简单规则。作者认为 DistilBERT 相对最强 TF-IDF 的改进有限，使经典基线仍然有信息量；并称模型容量本身不决定保护测试结果，训练稳定性、优化、序列长度和检查点选择都会影响结果。

其他消融与分析

• 论文未报告改变学习率、序列长度、n-gram 或正则强度后的指标，没有数值消融表。
• Table 3 的 ROC-AUC：DistilBERT 0.967，TF-IDF SVM 0.949，TF-IDF LR 0.949，TF-IDF RF 0.931，MiniLM Ref. 0.571，DeBERTa-v3 0.487，Keyword 0.551。
• Figure 3 柱上标注的 F1 与 PR-AUC 与 Table 3 相同，包括 MiniLM Ref. 与 DeBERTa-v3 的 F1 均为 0.667。
• Table 5 登记：未发现跨划分的渲染文本重复泄漏；保护测试文本在训练和验证阶段被扣留。
• Table 8：RF 只用词级 TF-IDF，LR 与 SVM 使用词级和字符级；论文没有针对这一差别单独给出消融数字。

作者在 4.8 节和结论中把范围限定在该基准的英文二分类检测，并写出多语言、对抗生成和检测与缓解联合评测等后续方向。

作者指出的局限与后续方向

• 不做缓解：只评测二分类检测，不评测隔离、清洗、忽略、引用或升级检索内容等策略（4.8）。
• 外推边界：风格匹配、溯源、去重和泄漏审计仍不能消除全部分布伪迹。作者称结果应解释为 RAG-PIBench 上的表现，而不是对提示注入攻击普遍适用的证据（4.8）。
• 编码器范围：变换器只包括两个编码器，且训练与选型协议冻结。作者写出更大编码器、decoder-only 模型、指令微调分类器和检索感知架构可能呈现其他特征；DeBERTa-v3 的发现应放在所评估的训练与数值稳定配置内理解（4.8）。
• 类别先验：主保护测试集类别平衡。作者称真实部署的类别先验可能不同，校准和阈值选择可能需要独立于保护测试数据的额外验证（4.8）。
• 语言与迁移：限于英文文本。作者提出后续考察多语言提示注入、跨域迁移、对抗生成内容和应用特定的 RAG 环境（4.8）。
• 结论中的扩展：更广的模型族、多模态提示注入场景，以及联合评测检测与缓解的部署导向研究（Section 5）。

实验覆盖范围

• 主结果包含 Keyword、MiniLM Ref.、TF-IDF LR、TF-IDF SVM、TF-IDF RF、DistilBERT-base-uncased、DeBERTa-v3-base，在同一 978 例上各做一次最终推断（Section 4，Table 3，Table 8）。
• 划分为训练 2,936、验证 962、保护测试 978，各划分内两类数量相等（Table 2）。
• 宿主文档 3,500 篇，来自 CNN/DailyMail、SQuAD、WikiText-2；载荷父本的良性池与恶意池各 192，来自 S-Labs、PromptShield、Natural Instructions、BIPIA（Fig 2）。
• 诊断套件为 contextual diagnostic、hard benign diagnostic、external transfer audit；Table 7 写明不参与选型、调阈和主排序。论文未报告这三套的分数。
• 论文未报告人工复核人数与一致性、重复次数、统计显著性检验，以及学习率、批大小和 TF-IDF 的 n-gram 范围。

RAG-PIBench 用冻结的保护测试，比较检测器能否把 RAG 上下文中的良性指令和恶意指令覆盖分开。

• 问题：检索进上下文的外部文本可以携带间接提示注入，良性文档也会含指令。作者认为词法捷径、重复模板和训练测试不隔离可能高估检测器。
• 做法：宿主段落来自 CNN/DailyMail、SQuAD 和 WikiText-2，载荷父本来自 S-Labs、PromptShield、Natural Instructions 和 BIPIA。渲染后 4,876 例，训练 2,936、验证 962、保护测试 978，两类各半。检测在生成前做二分类，恶意按覆盖、绕过、重定向或操纵指令遵循行为来定。
• 协议：Keyword、MiniLM 恶意参照、三种 TF-IDF，以及 DistilBERT-base-uncased 和 DeBERTa-v3-base，都在开发期看不到保护测试，最终在同一 978 例上各评一次。诊断套件不参与选型。
• 结果：DistilBERT 的 F1 为 0.896，PR-AUC 为 0.968，ROC-AUC 为 0.967，Accuracy 为 0.899（Table 3）。TF-IDF SVM 的 F1 为 0.871，TF-IDF LR 的 PR-AUC 为 0.950。Keyword 召回率为 0.104。DeBERTa-v3 召回率为 1.000、精度为 0.500，Table 6 中假阳性 489、真阴性 0。
• 作者的结论：作者认为上下文表示可以带来增益，但稀疏基线仍有竞争力，后续比较应包含稀疏模型，而不是只对照启发式检测器。作者称高召回若不能控制误报就不够；若只报告成功的变换器结果，评价会偏高。作者还称，冻结划分并把诊断与最终测试分开，有助于减少泄漏和评测偏差的机会。