跳到正文
原文
arXiv· arXiv:2602.09319· Zhisheng Qi, Utkarsh Sahu, Li Ma, Haoyu Han, Ryan Rossi, Franck Dernoncourt, Mahantesh Halappanavar, Nesreen Ahmed, Yushun Dong, Yue Zhao, Yu Zhang, Yu Wang·本站收录· 原文发表

RAG 知识提取攻击与防御的基准测试

Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation

论文速读

评测与基准

据论文 PDF 整理（AI 生成），以原文为准

作者给出RAG知识抽取攻防基准，称有效抽取需同时优化检索与生成，单一防御不能完全防护。

问题
RAG被用于医疗、金融和智能体记忆，恶意查询却可能抽回知识库中的敏感内容。已有攻击与防御的数据、嵌入模型、生成器和指标不统一，难以横向比较。
方法
作者把攻击查询拆成引导检索的INFORMATION和促使复述的COMMAND，在统一协议下比较六种攻击、输入到生成各阶段的防御、多种检索器与生成器，以及实例、chunk和图三元组索引。
实验与结果
作者称DGEA的检索抽取高于IKEA，显式复述指令提高生成侧泄露，Query Block难挡住IKEA。四数据集平均EER中DGEA为60.9；Med_Vietnamese上Summary使R-TK的EEG_LS降到4.17。
局限与可以继续做的
作者将后续工作定为多层多样性优化、多阶段防御协同，以及扩展到agentic RAG。附录写明SAGE只在HarryPotter与Pokémon上评测。论文未报告主实验的Top-K、查询预算和评审模型名称。
实验设置GPT-4o、GPT-4o-mini 等 · HealthCareMagic、Enron 等 · EER、EEG_SS 等
被测模型
GPT-4oGPT-4o-miniLlama3-8B-InstructQwen2.5-7B-Instructall-MiniLM-L6-v2GTE-base-768BGE-large-en-v1.5multilingual-MiniLM
基准
HealthCareMagicEnronHarryPotterPokémonMed_ChineseMed_Vietnamese
指标
EEREEG_SSEEG_LSEE_SSEE_LSASREERtokenRecall
AI 导读论文提出作者称为首个针对 RAG 系统知识提取攻击的系统性基准，覆盖多种攻击与防御策略、代表性检索嵌入模型、开源与闭源生成器以及基于图与非图的索引方式。该基准在统一实验框架和标准化协议下，跨多个数据集和多种语言进行评测，目标是让不同 RAG 配置下的攻击与防御结果可复现、可比较。研究指出，知识提取攻击可通过恶意构造的查询恢复知识库中的敏感内容，带来知识产权与隐私风险，而此前的工作在检索嵌入、生成模型和评测指标上较为分散。

论文提出作者称为首个针对 RAG 系统知识提取攻击的系统性基准，覆盖多种攻击与防御策略、代表性检索嵌入模型、开源与闭源生成器以及基于图与非图的索引方式。该基准在统一实验框架和标准化协议下，跨多个数据集和多种语言进行评测，目标是让不同 RAG 配置下的攻击与防御结果可复现、可比较。研究指出，知识提取攻击可通过恶意构造的查询恢复知识库中的敏感内容，带来知识产权与隐私风险，而此前的工作在检索嵌入、生成模型和评测指标上较为分散。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者称现有RAG知识抽取攻防设置碎片化，因而给出统一基准。

    RAG知识库可被恶意查询抽回敏感内容，但现有攻防评测设置不统一。

    • 场景：作者称RAG已用于企业聊天机器人、医疗助手和智能体记忆管理。知识库成为参数与训练数据之外的抽取通道，成功抽取会造成隐私泄露和知识产权侵害。
    • 现有不足：作者称既有实验在数据集版本、检索嵌入、生成器、知识库构建、攻击者与防御者能力假设以及指标上不一致（Table 1），因而难以比较。
    • 核心设定：查询由引导检索的INFORMATION和促使生成器复述的COMMAND组成。作者称隐匿只在有防御时才重要，故不把它单列为攻击设计维度。
    • 本文做法：作者称给出首个系统性RAG知识抽取攻防基准，覆盖随机到自适应攻击、多阶段防御、开源与闭源生成器、图与非图索引，并在多语言数据上用统一协议评测。作者称同时发布可复现流程。
    • 威胁模型：
      • 目标：提高抽出的知识量，并在有防御时保持隐匿；覆盖目标子集D*，同时压低对补集的无关泄露。
      • 知识：论文把攻击者与检索器使用同一嵌入模型的对角配置称为white-box，跨嵌入配置称为black-box。
      • 能力：攻击者可利用query–response循环连续提交T轮查询并积累内容。T=1为单轮，D*等于D为非定向抽取。
      • 受害系统：检索器按查询从外部知识库取回实例，生成器结合查询与取回内容作答。

  2. 有哪些相关研究？

    论文把本文放在RAG安全与抽取攻击文献中，并用Table 1对照既有实验设置。

    论文的相关讨论集中在RAG应用、系统安全和抽取攻击三类，并用Table 1对照既有实验设置。

    RAG与应用

    • 检索增强生成：Lewis等（2020）及后续工作用外部知识支持下游生成。作者称RAG可减轻幻觉、支持知识更新、领域专门化与个性化。
    • 智能体记忆：作者称RAG已成为智能体在多步决策中检索、更新和推理外部知识的记忆组件。
    • 高风险部署：论文列举医疗决策、网络安全、关键基础设施、金融和科学发现。

    RAG安全

    • 知识库投毒：向语料注入恶意内容，以操纵LLM智能体行为。
    • 记忆侧写与监视：持久记忆带来的用户画像与监视。
    • 硬件故障注入：局部故障经多轮交互影响端到端流程。论文把用户侧知识抽取列为第四类，并声明本文只处理这一类。

    抽取攻击

    • 模型与数据抽取：模型抽取蒸馏模型行为；数据抽取重构训练数据。论文点名的例子包括Liang等（2024）、Carlini等（2021）。
    • RAG知识抽取：Zeng等（2024）、Cohen等（2024）、Jiang等（2025）、Wang等（2025）用对抗查询从检索内容中抽取敏感信息。作者称这些评测分散在非标准化设置中，妨碍公平比较。

    基线与数据集

    • 基线方法：RandomText（R-TT）、RandomToken（R-TK）、RandomEmb（R-EB）、DGEA、CopyBreak、IKEA。除IKEA外使用相同COMMAND，以隔离INFORMATION的作用。
    • 既有设置：Table 1汇总先前论文自己的配置，而不是本文重跑的结果。数据包括Enron、HealthCareMagic的不同版本、HarryPotter与Pokémon；生成器与检索器、Top-K和指标写法也不统一。

    作者把本文定位为：在统一威胁假设、指标和协议下，系统比较抽取攻击与防御。

  3. 论文如何解决这个问题？

    基准把查询拆成INFORMATION与COMMAND，并统一比较攻防与评测指标。

    作者把架构、查询构造、分阶段防御和分解式指标收进同一设计空间。攻击不联合优化检索与生成，而是沿用既有工作的解耦实现。

    问题设定

    • 流程：知识库D含若干实例。第t轮查询经检索器得到R_t，再与查询拼成提示词，由生成器输出A_t。
    • 查询结构：Q_t由INFORMATION I_t与COMMAND C拼接。前者把检索推向目标内容，后者促使生成器复述取回内容。
    • 目标：对目标子集D*，最大化答案覆盖并惩罚对补集的覆盖。论文写为I∗,C∗=argmaxϕ(∪t=1TAt,D∗)−λϕ(∪t=1TAt,D∖ D∗)。φ为覆盖函数，λ为权衡系数；论文未给出λ。
    • 范围：T=1为单轮，D*等于D为非定向。知识库构建支持Original实例、固定长度Chunking和Graph Triplet。

    攻击两侧

    • 检索侧：优化I，使取回内容更多落在D*。token级包括R-TK与DGEA；句子级包括R-TT、CopyBreak与IKEA。
    • 嵌入优化：R-EB从与目标库不相交的外部语料（如WikiText）采样目标嵌入，再贪心替换token以提高余弦相似度。DGEA选择远离已抽出片段的目标嵌入，再做同样的贪心对齐。
    • 语言驱动：CopyBreak在远距探索和围绕已抽出片段的局部改写之间交替，频率记为N，论文未给出N。IKEA采样领域锚点，并按回答成败调整权重，查询外观像普通信息寻求。
    • 生成侧：除IKEA外共用同一COMMAND，以比较INFORMATION。基准支持从直接复述到角色与格式约束的多种指令。附录A.1给出INFORMATION的构造细节。

    四类主管线防御

    • Threshold：在Top-K之外加最低相似度，滤掉低相关候选项。作者称过严阈值可能排除中等相关知识，形成安全与效用权衡。
    • System Block：生成阶段注入系统提示，要求避免输出检索文档中的原始私密信息，倾向于拒答。
    • Summary：要求概括检索内容，且概括只需足以回答问题。作者称查询与检索内容几乎无关时，生成器会给出空摘要。
    • Query Block：用zero-shot LLM意图分类器对查询做YES或NO；判为恶意则不检索、不生成。作者称它依赖恶意意图可从查询文本看出。分类器名称论文未说明。

    评测协议

    • 分解：协议把抽取分成检索、生成和联合三层，以免把检索多样性与生成复述混在一起。
    • EER：目标集合与全部检索结果的交集规模，除以各轮检索条数之和，即EER=ϕ(∪t=1TRt,D∗)(∑t=1T|Rt|)−1。
    • EEG与EE：EEG比较答案与配对检索内容。词法EEG_LS用ROUGE-L，语义EEG_SS用嵌入余弦相似度。联合EE只统计被判定为已复述且属于D*的检索内容；判定阈值θ的数值论文未给出。
    • ASR与对齐：ASR是成功查询占比。须同时满足：未点名的LLM-as-a-Judge把输出标为informative，且该轮检索与D*相交。有一一对应时按条对齐；无COMMAND时先拼接检索内容。拒答的对齐分数记为0。跨索引比较另用按token归一的EERtoken，细节在附录A.2、A.3。

  4. 论文做了哪些实验？

    正文未给出Figure 3柱高；可核对数字来自Figure 4、Table 2与Table 3。

    实验设置

    • 攻击与防御：六种攻击为R-TK、R-EB、R-TT、DGEA、IKEA、CopyBreak。主管线防御为Query Block、Threshold、System Block、Summary。附录A.4另评测SAGE与VAGUE-GATE。
    • 数据：英文四套为HealthCareMagic、Enron、HarryPotter、Pokémon。Table 4列出的实例数为112K、517K、26K、1.3K。跨语言为Med_Chinese与Med_Vietnamese。Figure 3使用knowledge instance索引，并对四数据集取平均。
    • 检索器：all-MiniLM-L6-v2、GTE-base-768、BGE-large-en-v1.5，文中记为Small、Medium、Large。跨语言实验换成multilingual-MiniLM，其余设置不变。
    • 生成器：Llama3-8B-Instruct、Qwen2.5-7B-Instruct、GPT-4o-mini、GPT-4o。COMMAND变体为SMPL、MED、JAILBREAK、CPLX。
    • 判定：ASR使用LLM-as-a-Judge。论文未给出该模型名称，也未报告重复次数。
    • 预算：论文未报告主实验的Top-K和查询轮数。成本分析把查询预算固定为200，且写在HarryPotter上。

    主结果

    Figure 3比较六种攻击、四种防御和五个指标，透明柱为无防御，但正文没有列出柱高。下表是Figure 4在Enron上的EER；S、M、L分别对应MiniLM、GTE-base、BGE-large。对角是攻击者与检索器共用同一嵌入模型的white-box。

    表格较宽，可左右滑动

    检索器-攻击者DGEAIKEACopyBreak
    S-S90.520.8332.33
    S-M40.3323.6743.0
    S-L43.532.1736.17
    M-S35.6731.3328.0
    M-M69.3338.520.67
    M-L38.6745.522.0
    L-S25.532.526.67
    L-M33.3335.1732.83

    省略的L-L为DGEA 62.17、IKEA 45.0、CopyBreak 22.5（Figure 4）。

    • 无防御检索：作者称DGEA的EER高于IKEA和CopyBreak；随机基线中R-EB最高、R-TT最低。作者给出的理由分别是显式拉开query–chunk距离、主题多样性不等于查询多样性，以及同一提示下查询分布较窄。
    • 生成侧：作者称带显式COMMAND的攻击EEG较高；IKEA不用显式复述指令，敏感泄露更少。作者称图中EELS趋势与EESS一致，故省略EELS。
    • 四种防御：作者称Query Block拦住多数显式抽取查询，但拦不住IKEA；Threshold对R-EB和DGEA更强，CopyBreak与IKEA因相似度更高而较少被滤掉；System Block降低多数设置的EEG与ASR，IKEA是例外；Summary降低全部攻击的逐字复述。Figure 5(b)中作者称CopyBreak与IKEA的检索分围绕0.4，R-EB与DGEA围绕0.2。

    检索阈值

    • 设置：余弦相似度阈值从-1（不过滤）变到0.7。Figure 5(b)的Top-K分数分布在HealthCareMagic；Figure 5(a)的数据集图注未单独写明。
    • EER：作者称从-1到0时EER不变；升到0.3时，R-TK、R-TT、R-EB、DGEA下降更明显，CopyBreak与IKEA较少受影响；升到0.5或0.7时，几乎所有基线的EER接近零。正文未给出各阈值的EER数值。
    • 效用：作者称阈值从0.3升到0.7时recall下降。正文未给出recall数值。

    跨语言、索引与改写防御

    • 跨语言（Table 3）：Med_Vietnamese上无防御时R-TK的EEG_LS为100.00，Summary下为4.17；DGEA的EER在Threshold下从39.50降到19.50。Med_Chinese上IKEA无防御的EEG_LS为0.23。作者称Summary仍明显压低逐字复述，IKEA更难被检测但也更难促使逐字复述，且趋势与英文域一致。
    • 索引（Figure 7）：在HealthCareMagic与Enron上，作者称固定长度chunk（20%重叠）的抽取效果最差，Graph Triplet因把内容压进更少token而提高按token计的抽取比例。正文未给出柱高。
    • SAGE与VAGUE-GATE：Figure 9在HarryPotter与Pokémon上对全部攻击取平均。作者称SAGE把EEG_SS降到53.1，并优于Summary与System Block；VAGUE-GATE防护较弱。Table 4中SAGE重写Enron的估计为22.6B token、6,096.8美元、超过10天。

    其他消融与分析

    • Query diversity（Table 2，四数据集平均EER）：无防御Original为R-TK 20.3、R-EB 56.9、R-TT 11.7、DGEA 60.9、IKEA 24.5、CB 26.5；Diversity为25.1、71.8、12.4、67.2、35.5、27.7。Threshold下Original为11.2、28.7、6.00、24.0、31.3、22.4，Diversity为14.3、36.8、7.70、30.4、36.5、23.4。
    • 生成器（Figure 6）：作者称显式COMMAND攻击在闭源生成器上的EEG_SS更高；IKEA的开源与闭源结果相近。正文未给出柱高。
    • COMMAND（Figure 6）：作者称ASR由高到低为CPLX、JAILBREAK、SMPL、MED。IKEA的ASR在各COMMAND间保持稳定。正文未给出柱高。
    • 成本（Figure 8，HarryPotter，预算200）：5.4.4称DGEA、R-EB、R-TT的token成本为零，IKEA与CopyBreak因反复调用LLM更高，R-TK每次查询调用一次。附录A.1对R-TT、R-TK是否调用LLM的描述与此不同。正文未给出具体token数。
    • 时间：作者把非LLM攻击的贪心搜索写成O(E×T×P)，并称DGEA慢于R-EB，R-TK运行开销可忽略。论文未报告E、T、P的取值。

  5. 有什么可以进一步探索的点？

    作者将后续工作定为多样性优化、多阶段防御协同和agentic RAG。

    作者指出的局限与后续方向

    • 后续方向（Section 6）：作者列出的未来工作包括多层多样性优化、多阶段防御协同，以及把基准扩展到agentic RAG架构。
    • 改写防御的代价（附录A.4）：作者称SAGE等改写式防御的预处理成本高，限制了大规模部署的实用性。
    • SAGE实验范围（附录A.4）：作者写明评测限于HarryPotter与Pokémon，因为离线重写全库的开销使更大数据集上的实验代价过高。

    实验覆盖范围

    • 主比较：六种攻击、四种主管线防御、五个指标；Figure 3为四数据集、knowledge instance索引上的平均。正文未列出Figure 3各柱数值。
    • 模型：生成器为Llama3-8B-Instruct、Qwen2.5-7B-Instruct、GPT-4o-mini、GPT-4o；检索嵌入为all-MiniLM-L6-v2、GTE-base-768、BGE-large-en-v1.5；跨语言检索器为multilingual-MiniLM。
    • 数据子集：英文数据集为HealthCareMagic、Enron、HarryPotter、Pokémon。Table 3只报告R-TK、DGEA、IKEA在Med_Chinese与Med_Vietnamese上的None、Threshold、Summary。Figure 4在Enron；Figure 5(b)在HealthCareMagic。
    • 附录防御：SAGE与VAGUE-GATE的平均EEG_SS来自HarryPotter与Pokémon上的全部攻击。
    • 论文未报告：主实验Top-K、主实验查询预算、LLM-as-a-Judge与Query Block分类器的模型名称、重复次数，以及EE中θ和目标函数中λ的取值。

  6. 总结一下论文的主要内容

    统一基准比较RAG知识抽取攻防，作者称检索与生成都要优化，单一防御不能完全防护。

    作者给出一个比较RAG知识抽取攻击与防御的统一基准。

    • 问题：外部知识库可被多轮查询抽回敏感内容，而既有实验的数据、模型、能力假设和指标并不一致。
    • 方法：查询拆成引导检索的INFORMATION和促使复述的COMMAND。基准实现六种攻击和输入、检索、生成阶段防御，并用EER、EEG、联合EE和ASR把检索与生成分开计。
    • 检索数字：Enron上DGEA在攻击者与检索器同为MiniLM时EER为90.5，同为BGE-large时为62.17，L检索器对S攻击者为25.5（Figure 4）。四数据集平均、无防御时DGEA的EER为60.9；加入query diversity后R-EB为71.8（Table 2）。
    • 防御与跨语言：作者称Threshold滤掉低相似度查询，但阈值升高时recall下降；Query Block难挡住不用显式复述指令的IKEA。Med_Vietnamese上Summary使R-TK的EEG_LS从100.00降到4.17（Table 3）。HarryPotter与Pokémon上SAGE的平均EEG_SS为53.1（Figure 9）。
    • 作者结论：有效抽取需要同时优化检索与生成。各阶段防御有互补作用，但没有单一防御能完全防护。作者还称，查询之间多样性不足会造成重复探索，基于嵌入的攻击跨模型迁移较弱，生成器的指令遵循和知识库索引方式都会影响抽取。
阅读原文arxiv.org