Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.09319· Zhisheng Qi, Utkarsh Sahu, Li Ma, Haoyu Han, Ryan Rossi, Franck Dernoncourt, Mahantesh Halappanavar, Nesreen Ahmed, Yushun Dong, Yue Zhao, Yu Zhang, Yu Wang·Indexed by this site · Originally published

Benchmarking Knowledge Extraction Attacks and Defenses in RAG

Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

作者给出RAG知识抽取攻防基准，称有效抽取需同时优化检索与生成，单一防御不能完全防护。

Questions
RAG被用于医疗、金融和智能体记忆，恶意查询却可能抽回知识库中的敏感内容。已有攻击与防御的数据、嵌入模型、生成器和指标不统一，难以横向比较。
Methods
作者把攻击查询拆成引导检索的INFORMATION和促使复述的COMMAND，在统一协议下比较六种攻击、输入到生成各阶段的防御、多种检索器与生成器，以及实例、chunk和图三元组索引。
Experiments and results
作者称DGEA的检索抽取高于IKEA，显式复述指令提高生成侧泄露，Query Block难挡住IKEA。四数据集平均EER中DGEA为60.9；Med_Vietnamese上Summary使R-TK的EEG_LS降到4.17。
Limitations and future work
作者将后续工作定为多层多样性优化、多阶段防御协同，以及扩展到agentic RAG。附录写明SAGE只在HarryPotter与Pokémon上评测。论文未报告主实验的Top-K、查询预算和评审模型名称。
Experimental setupGPT-4o、GPT-4o-mini et al. · HealthCareMagic、Enron et al. · EER、EEG_SS et al.
Evaluated models
GPT-4oGPT-4o-miniLlama3-8B-InstructQwen2.5-7B-Instructall-MiniLM-L6-v2GTE-base-768BGE-large-en-v1.5multilingual-MiniLM
Benchmarks
HealthCareMagicEnronHarryPotterPokémonMed_ChineseMed_Vietnamese
Metrics
EEREEG_SSEEG_LSEE_SSEE_LSASREERtokenRecall
AI summaryThe paper proposes what the authors call the first systematic benchmark for knowledge extraction attacks against RAG systems, covering multiple attack and defense strategies, representative retrieval embedding models, open- and closed-source generators, and graph-based and non-graph-based indexing methods. The benchmark is evaluated across multiple datasets and languages under a unified experimental framework and standardized protocol, aiming to make attack and defense results across different RAG configurations reproducible and comparable. The study notes that knowledge extraction attacks can recover sensitive content in the knowledge base through maliciously crafted queries, posing intellectual property and privacy risks, while prior work has been fragmented across retrieval embeddings, generation models, and evaluation metrics.

The paper proposes what the authors call the first systematic benchmark for knowledge extraction attacks against RAG systems, covering multiple attack and defense strategies, representative retrieval embedding models, open- and closed-source generators, and graph-based and non-graph-based indexing methods. The benchmark is evaluated across multiple datasets and languages under a unified experimental framework and standardized protocol, aiming to make attack and defense results across different RAG configurations reproducible and comparable. The study notes that knowledge extraction attacks can recover sensitive content in the knowledge base through maliciously crafted queries, posing intellectual property and privacy risks, while prior work has been fragmented across retrieval embeddings, generation models, and evaluation metrics.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者称现有RAG知识抽取攻防设置碎片化，因而给出统一基准。

    RAG知识库可被恶意查询抽回敏感内容，但现有攻防评测设置不统一。

    • 场景：作者称RAG已用于企业聊天机器人、医疗助手和智能体记忆管理。知识库成为参数与训练数据之外的抽取通道，成功抽取会造成隐私泄露和知识产权侵害。
    • 现有不足：作者称既有实验在数据集版本、检索嵌入、生成器、知识库构建、攻击者与防御者能力假设以及指标上不一致（Table 1），因而难以比较。
    • 核心设定：查询由引导检索的INFORMATION和促使生成器复述的COMMAND组成。作者称隐匿只在有防御时才重要，故不把它单列为攻击设计维度。
    • 本文做法：作者称给出首个系统性RAG知识抽取攻防基准，覆盖随机到自适应攻击、多阶段防御、开源与闭源生成器、图与非图索引，并在多语言数据上用统一协议评测。作者称同时发布可复现流程。
    • 威胁模型：
      • 目标：提高抽出的知识量，并在有防御时保持隐匿；覆盖目标子集D*，同时压低对补集的无关泄露。
      • 知识：论文把攻击者与检索器使用同一嵌入模型的对角配置称为white-box，跨嵌入配置称为black-box。
      • 能力：攻击者可利用query–response循环连续提交T轮查询并积累内容。T=1为单轮，D*等于D为非定向抽取。
      • 受害系统：检索器按查询从外部知识库取回实例，生成器结合查询与取回内容作答。

  2. What related research exists?

    论文把本文放在RAG安全与抽取攻击文献中，并用Table 1对照既有实验设置。

    论文的相关讨论集中在RAG应用、系统安全和抽取攻击三类，并用Table 1对照既有实验设置。

    RAG与应用

    • 检索增强生成：Lewis等（2020）及后续工作用外部知识支持下游生成。作者称RAG可减轻幻觉、支持知识更新、领域专门化与个性化。
    • 智能体记忆：作者称RAG已成为智能体在多步决策中检索、更新和推理外部知识的记忆组件。
    • 高风险部署：论文列举医疗决策、网络安全、关键基础设施、金融和科学发现。

    RAG安全

    • 知识库投毒：向语料注入恶意内容，以操纵LLM智能体行为。
    • 记忆侧写与监视：持久记忆带来的用户画像与监视。
    • 硬件故障注入：局部故障经多轮交互影响端到端流程。论文把用户侧知识抽取列为第四类，并声明本文只处理这一类。

    抽取攻击

    • 模型与数据抽取：模型抽取蒸馏模型行为；数据抽取重构训练数据。论文点名的例子包括Liang等（2024）、Carlini等（2021）。
    • RAG知识抽取：Zeng等（2024）、Cohen等（2024）、Jiang等（2025）、Wang等（2025）用对抗查询从检索内容中抽取敏感信息。作者称这些评测分散在非标准化设置中，妨碍公平比较。

    基线与数据集

    • 基线方法：RandomText（R-TT）、RandomToken（R-TK）、RandomEmb（R-EB）、DGEA、CopyBreak、IKEA。除IKEA外使用相同COMMAND，以隔离INFORMATION的作用。
    • 既有设置：Table 1汇总先前论文自己的配置，而不是本文重跑的结果。数据包括Enron、HealthCareMagic的不同版本、HarryPotter与Pokémon；生成器与检索器、Top-K和指标写法也不统一。

    作者把本文定位为：在统一威胁假设、指标和协议下，系统比较抽取攻击与防御。

  3. How does the paper address this problem?

    基准把查询拆成INFORMATION与COMMAND，并统一比较攻防与评测指标。

    作者把架构、查询构造、分阶段防御和分解式指标收进同一设计空间。攻击不联合优化检索与生成，而是沿用既有工作的解耦实现。

    问题设定

    • 流程：知识库D含若干实例。第t轮查询经检索器得到R_t，再与查询拼成提示词，由生成器输出A_t。
    • 查询结构：Q_t由INFORMATION I_t与COMMAND C拼接。前者把检索推向目标内容，后者促使生成器复述取回内容。
    • 目标：对目标子集D*，最大化答案覆盖并惩罚对补集的覆盖。论文写为I∗,C∗=argmaxϕ(∪t=1TAt,D∗)−λϕ(∪t=1TAt,D∖ D∗)。φ为覆盖函数，λ为权衡系数；论文未给出λ。
    • 范围：T=1为单轮，D*等于D为非定向。知识库构建支持Original实例、固定长度Chunking和Graph Triplet。

    攻击两侧

    • 检索侧：优化I，使取回内容更多落在D*。token级包括R-TK与DGEA；句子级包括R-TT、CopyBreak与IKEA。
    • 嵌入优化：R-EB从与目标库不相交的外部语料（如WikiText）采样目标嵌入，再贪心替换token以提高余弦相似度。DGEA选择远离已抽出片段的目标嵌入，再做同样的贪心对齐。
    • 语言驱动：CopyBreak在远距探索和围绕已抽出片段的局部改写之间交替，频率记为N，论文未给出N。IKEA采样领域锚点，并按回答成败调整权重，查询外观像普通信息寻求。
    • 生成侧：除IKEA外共用同一COMMAND，以比较INFORMATION。基准支持从直接复述到角色与格式约束的多种指令。附录A.1给出INFORMATION的构造细节。

    四类主管线防御

    • Threshold：在Top-K之外加最低相似度，滤掉低相关候选项。作者称过严阈值可能排除中等相关知识，形成安全与效用权衡。
    • System Block：生成阶段注入系统提示，要求避免输出检索文档中的原始私密信息，倾向于拒答。
    • Summary：要求概括检索内容，且概括只需足以回答问题。作者称查询与检索内容几乎无关时，生成器会给出空摘要。
    • Query Block：用zero-shot LLM意图分类器对查询做YES或NO；判为恶意则不检索、不生成。作者称它依赖恶意意图可从查询文本看出。分类器名称论文未说明。

    评测协议

    • 分解：协议把抽取分成检索、生成和联合三层，以免把检索多样性与生成复述混在一起。
    • EER：目标集合与全部检索结果的交集规模，除以各轮检索条数之和，即EER=ϕ(∪t=1TRt,D∗)(∑t=1T|Rt|)−1。
    • EEG与EE：EEG比较答案与配对检索内容。词法EEG_LS用ROUGE-L，语义EEG_SS用嵌入余弦相似度。联合EE只统计被判定为已复述且属于D*的检索内容；判定阈值θ的数值论文未给出。
    • ASR与对齐：ASR是成功查询占比。须同时满足：未点名的LLM-as-a-Judge把输出标为informative，且该轮检索与D*相交。有一一对应时按条对齐；无COMMAND时先拼接检索内容。拒答的对齐分数记为0。跨索引比较另用按token归一的EERtoken，细节在附录A.2、A.3。

  4. What experiments did the paper conduct?

    正文未给出Figure 3柱高；可核对数字来自Figure 4、Table 2与Table 3。

    实验设置

    • 攻击与防御：六种攻击为R-TK、R-EB、R-TT、DGEA、IKEA、CopyBreak。主管线防御为Query Block、Threshold、System Block、Summary。附录A.4另评测SAGE与VAGUE-GATE。
    • 数据：英文四套为HealthCareMagic、Enron、HarryPotter、Pokémon。Table 4列出的实例数为112K、517K、26K、1.3K。跨语言为Med_Chinese与Med_Vietnamese。Figure 3使用knowledge instance索引，并对四数据集取平均。
    • 检索器：all-MiniLM-L6-v2、GTE-base-768、BGE-large-en-v1.5，文中记为Small、Medium、Large。跨语言实验换成multilingual-MiniLM，其余设置不变。
    • 生成器：Llama3-8B-Instruct、Qwen2.5-7B-Instruct、GPT-4o-mini、GPT-4o。COMMAND变体为SMPL、MED、JAILBREAK、CPLX。
    • 判定：ASR使用LLM-as-a-Judge。论文未给出该模型名称，也未报告重复次数。
    • 预算：论文未报告主实验的Top-K和查询轮数。成本分析把查询预算固定为200，且写在HarryPotter上。

    主结果

    Figure 3比较六种攻击、四种防御和五个指标，透明柱为无防御，但正文没有列出柱高。下表是Figure 4在Enron上的EER；S、M、L分别对应MiniLM、GTE-base、BGE-large。对角是攻击者与检索器共用同一嵌入模型的white-box。

    Swipe horizontally to read the table

    检索器-攻击者DGEAIKEACopyBreak
    S-S90.520.8332.33
    S-M40.3323.6743.0
    S-L43.532.1736.17
    M-S35.6731.3328.0
    M-M69.3338.520.67
    M-L38.6745.522.0
    L-S25.532.526.67
    L-M33.3335.1732.83

    省略的L-L为DGEA 62.17、IKEA 45.0、CopyBreak 22.5（Figure 4）。

    • 无防御检索：作者称DGEA的EER高于IKEA和CopyBreak；随机基线中R-EB最高、R-TT最低。作者给出的理由分别是显式拉开query–chunk距离、主题多样性不等于查询多样性，以及同一提示下查询分布较窄。
    • 生成侧：作者称带显式COMMAND的攻击EEG较高；IKEA不用显式复述指令，敏感泄露更少。作者称图中EELS趋势与EESS一致，故省略EELS。
    • 四种防御：作者称Query Block拦住多数显式抽取查询，但拦不住IKEA；Threshold对R-EB和DGEA更强，CopyBreak与IKEA因相似度更高而较少被滤掉；System Block降低多数设置的EEG与ASR，IKEA是例外；Summary降低全部攻击的逐字复述。Figure 5(b)中作者称CopyBreak与IKEA的检索分围绕0.4，R-EB与DGEA围绕0.2。

    检索阈值

    • 设置：余弦相似度阈值从-1（不过滤）变到0.7。Figure 5(b)的Top-K分数分布在HealthCareMagic；Figure 5(a)的数据集图注未单独写明。
    • EER：作者称从-1到0时EER不变；升到0.3时，R-TK、R-TT、R-EB、DGEA下降更明显，CopyBreak与IKEA较少受影响；升到0.5或0.7时，几乎所有基线的EER接近零。正文未给出各阈值的EER数值。
    • 效用：作者称阈值从0.3升到0.7时recall下降。正文未给出recall数值。

    跨语言、索引与改写防御

    • 跨语言（Table 3）：Med_Vietnamese上无防御时R-TK的EEG_LS为100.00，Summary下为4.17；DGEA的EER在Threshold下从39.50降到19.50。Med_Chinese上IKEA无防御的EEG_LS为0.23。作者称Summary仍明显压低逐字复述，IKEA更难被检测但也更难促使逐字复述，且趋势与英文域一致。
    • 索引（Figure 7）：在HealthCareMagic与Enron上，作者称固定长度chunk（20%重叠）的抽取效果最差，Graph Triplet因把内容压进更少token而提高按token计的抽取比例。正文未给出柱高。
    • SAGE与VAGUE-GATE：Figure 9在HarryPotter与Pokémon上对全部攻击取平均。作者称SAGE把EEG_SS降到53.1，并优于Summary与System Block；VAGUE-GATE防护较弱。Table 4中SAGE重写Enron的估计为22.6B token、6,096.8美元、超过10天。

    其他消融与分析

    • Query diversity（Table 2，四数据集平均EER）：无防御Original为R-TK 20.3、R-EB 56.9、R-TT 11.7、DGEA 60.9、IKEA 24.5、CB 26.5；Diversity为25.1、71.8、12.4、67.2、35.5、27.7。Threshold下Original为11.2、28.7、6.00、24.0、31.3、22.4，Diversity为14.3、36.8、7.70、30.4、36.5、23.4。
    • 生成器（Figure 6）：作者称显式COMMAND攻击在闭源生成器上的EEG_SS更高；IKEA的开源与闭源结果相近。正文未给出柱高。
    • COMMAND（Figure 6）：作者称ASR由高到低为CPLX、JAILBREAK、SMPL、MED。IKEA的ASR在各COMMAND间保持稳定。正文未给出柱高。
    • 成本（Figure 8，HarryPotter，预算200）：5.4.4称DGEA、R-EB、R-TT的token成本为零，IKEA与CopyBreak因反复调用LLM更高，R-TK每次查询调用一次。附录A.1对R-TT、R-TK是否调用LLM的描述与此不同。正文未给出具体token数。
    • 时间：作者把非LLM攻击的贪心搜索写成O(E×T×P)，并称DGEA慢于R-EB，R-TK运行开销可忽略。论文未报告E、T、P的取值。

  5. What are some points that can be further explored?

    作者将后续工作定为多样性优化、多阶段防御协同和agentic RAG。

    作者指出的局限与后续方向

    • 后续方向（Section 6）：作者列出的未来工作包括多层多样性优化、多阶段防御协同，以及把基准扩展到agentic RAG架构。
    • 改写防御的代价（附录A.4）：作者称SAGE等改写式防御的预处理成本高，限制了大规模部署的实用性。
    • SAGE实验范围（附录A.4）：作者写明评测限于HarryPotter与Pokémon，因为离线重写全库的开销使更大数据集上的实验代价过高。

    实验覆盖范围

    • 主比较：六种攻击、四种主管线防御、五个指标；Figure 3为四数据集、knowledge instance索引上的平均。正文未列出Figure 3各柱数值。
    • 模型：生成器为Llama3-8B-Instruct、Qwen2.5-7B-Instruct、GPT-4o-mini、GPT-4o；检索嵌入为all-MiniLM-L6-v2、GTE-base-768、BGE-large-en-v1.5；跨语言检索器为multilingual-MiniLM。
    • 数据子集：英文数据集为HealthCareMagic、Enron、HarryPotter、Pokémon。Table 3只报告R-TK、DGEA、IKEA在Med_Chinese与Med_Vietnamese上的None、Threshold、Summary。Figure 4在Enron；Figure 5(b)在HealthCareMagic。
    • 附录防御：SAGE与VAGUE-GATE的平均EEG_SS来自HarryPotter与Pokémon上的全部攻击。
    • 论文未报告：主实验Top-K、主实验查询预算、LLM-as-a-Judge与Query Block分类器的模型名称、重复次数，以及EE中θ和目标函数中λ的取值。

  6. Summarize the main content of the paper

    统一基准比较RAG知识抽取攻防，作者称检索与生成都要优化，单一防御不能完全防护。

    作者给出一个比较RAG知识抽取攻击与防御的统一基准。

    • 问题：外部知识库可被多轮查询抽回敏感内容，而既有实验的数据、模型、能力假设和指标并不一致。
    • 方法：查询拆成引导检索的INFORMATION和促使复述的COMMAND。基准实现六种攻击和输入、检索、生成阶段防御，并用EER、EEG、联合EE和ASR把检索与生成分开计。
    • 检索数字：Enron上DGEA在攻击者与检索器同为MiniLM时EER为90.5，同为BGE-large时为62.17，L检索器对S攻击者为25.5（Figure 4）。四数据集平均、无防御时DGEA的EER为60.9；加入query diversity后R-EB为71.8（Table 2）。
    • 防御与跨语言：作者称Threshold滤掉低相似度查询，但阈值升高时recall下降；Query Block难挡住不用显式复述指令的IKEA。Med_Vietnamese上Summary使R-TK的EEG_LS从100.00降到4.17（Table 3）。HarryPotter与Pokémon上SAGE的平均EEG_SS为53.1（Figure 9）。
    • 作者结论：有效抽取需要同时优化检索与生成。各阶段防御有互补作用，但没有单一防御能完全防护。作者还称，查询之间多样性不足会造成重复探索，基于嵌入的攻击跨模型迁移较弱，生成器的指令遵循和知识库索引方式都会影响抽取。
Read originalarxiv.org