通过随机投影实现隐私保护的检索增强生成

1. 01这篇论文试图解决什么问题？

   RAG 检索库可被 API 查询抽出敏感文本；作者用同一随机投影降低提取并保留相似度。

   如何在不提供形式化差分隐私保证时，降低 RAG 检索库被数据提取攻击泄漏敏感信息的风险，同时保住检索与生成效用。

   • 场景：RAG 用外部知识增强 LLM。作者称精心构造的提示词可抽出邮箱、电话、URL 等个人信息；攻击查询可以很像正常查询，简单访问控制可能挡住普通用户。
   • 现有不足：作者称已有防御侧重差分隐私。形式保证面向最坏情况，常推高困惑度，实现也更复杂。合成数据、对地址等做局部 DP、混合原文与清洗文档，被作者称为在大数据上降低效率，或要额外训练、验证，或先标出全部隐私 token。
   • 观察：作者认为挡住现有强攻击不必依赖形式化 DP。特定随机投影在降维后仍近似保持成对相似度；额外随机性改变检索库嵌入，使用户仍能得到较准确的回答，攻击者则难以恢复原文。
   • 做法：提出对检索库嵌入和查询嵌入乘同一矩阵的 随机投影（random projection, RP），用于 KNN-LM 与 Standard RAG，并用强提取攻击的经验成功率评隐私。
   • 威胁模型：
     • 目标：从检索库抽出敏感信息。作者把姓名、地址、电话、邮箱等可识别细节视为敏感，把过泛、缺少辨识度的内容视为非敏感（Table 1）。
     • 知识：black-box。只能看到模型 API 的文本回答；参数、投影矩阵、logits、嵌入和隐表示不可得。攻击者知道用了 RP，但没有具体矩阵。
     • 能力：经 API 提交查询，可一轮或多轮进行，包括重复查询（Section 4.2）和多轮自适应攻击（Section 4.3）。
     • 系统与范围外：受害系统是内部检索库、只向用户返回文本答案的 RAG。作者称不评网络与系统层攻击、白盒、嵌入反演、投影矩阵反演，以及需要侧信息的侧信道。

   收起这一问

2. 02有哪些相关研究？

   论文把隐私 RAG 防御与保相似度随机投影分开评述，并把本文定位为不追求形式化保证的经验基线。

   隐私 RAG 的泄漏与防御

   • Huang et al. (2023)、Zeng et al. (2024)、He et al. (2025)、Wang et al. (2025)、Jiang et al. (2024) 与 Di Maio et al. (2024)：不同 RAG 可从外部检索库露出邮箱、电话、URL 等个人数据。论文引用这些工作说明风险，并沿用其中的攻击协议，Related Works 未逐篇批评攻击本身。
   • Koga et al. (2024)、Grislain (2025) 的 DP 采样与聚合，以及 Zeng et al. (2025) 的纯合成数据：作者称这些防御在大数据上降低效率，且常要额外验证或训练。引言把 Koga et al. (2024) 与 Wu et al. (2025) 列为 DP 方向的主要关注。
   • Zhao and Zhang (2025)：作者引述合成数据本身不能完全阻止记忆或泄漏。He et al. (2025) 对地址等内容做局部 DP，作者称隐私可以是整句或整段，简单掩码不够。Thareja et al. (2025) 混合原文与清洗文档，作者称必须找出全部隐私 token，不适合大规模 RAG。

   保相似度的随机投影

   • Johnson and Lindenstrauss (1984)：随机投影可在高概率下降维并保留某种相似度。
   • Blocki et al. (2012) 及文中归为一组的后续工作：在特定应用上，建立在投影上的方法可以达到差分隐私。作者称本文要说明的是，随机投影本身也可用于多种 RAG；实验把 Blocki 等人的方法改成文档检索可用的 DP-RP-G。

   基线方法与基准/数据集

   • 基线方法：无检索参数模型、vanilla RAG、DP-RP-G、DPSparseVoteRAG（Koga et al., 2024）。
   • 基准/数据集：Enron Email、ECHR、C4、HotpotQA。重复查询参考 Huang et al. (2023)；多轮攻击用 Jiang et al. (2024) 与 Yao et al. (2026)；成员推断用 E-MIA（Guan et al., 2026）。

   作者把本文放在不追求形式化隐私保证的设定中，用现有强攻击的成功率评泄漏。作者称结果首次提示：随机投影可作为隐私 RAG 的实用基线，而形式化 DP 对挡住现有攻击可能过强，并损害效用。

   收起这一问

3. 03论文如何解决这个问题？

   离线与在线共用同一高斯矩阵投影嵌入，再在低维空间做近邻检索或拼接生成。

   方法是 RP：离线用同一高斯矩阵投影全部检索库嵌入，在线只对查询做一次矩阵向量乘，检索在投影后的空间进行。

   两种架构与敏感内容

   • KNN-LM：下一 token 由参数语言模型分布与 k 近邻分布线性组合。近邻分布是查询与检索库嵌入余弦相似度上的 softmax。实验取 λ=0.1、K=1024（Section 4.1）；Algorithm 2 写 λ=0.25。
   • Standard RAG：按相似度取出文本，与原查询拼接后交给参数 LLM。作者用这个名字与 KNN-LM 对照，并称还存在其他 RAG 架构。
   • 检索库是 n 篇自然语言文档。嵌入函数 f 为分词器加嵌入层；全文假设编码器是固定的预训练模型。敏感与非敏感的对照例子在 Table 1，此处不抄写其中的身份细节。

   投影与生成

   • 采样 R_ij∼𝒩(0,1/k)，R 为 k×d 矩阵。离线计算一次 ẽi=R ei 并放入 FAISS 或其他索引；作者称这一步不增加推理时开销。在线计算 x=f(q)、x̃=Rx。
   • KNN-LM 在投影空间取近邻，再按 P(y∣ x)=λ P_LM(x)+(1−λ)P_KNN(x̃,Ẽ_D) 选下一 token，直到达到最大长度或结束符。
   • Standard RAG 用投影后的余弦相似度取最相关文本，拼到原查询后生成（Algorithm 1）。RP 唯一可调参数是 k。作者取 k=100，称其效用可与 k=1600 相比，计算更省。对 d=2048，作者建议更偏隐私或降低离线延迟时用更小 k（如 25），更偏效用时用更大 k（如 1600）。

   相似度保持与替换

   • 作者用 Johnson–Lindenstrauss 论证：方差取 1/k 时，投影后的 L2 距离落在原距离的 (1±λJL) 倍内。附录 B.1 给出投影后余弦相似度期望为原相似度乘 (1-(1-ρ)/(2k))，再加 O(1/k^2) 余项。附录 B.2 用合成向量和由 Llama3-8B-Instruct 生成的 100 条检索项、每项 100 条查询做了一致性检查。
   • 隐私机制是改变被检索的邻居：与原 top-1 足够接近的嵌入，投影后以非可忽略概率超过它（附录 C，条件写为归一化嵌入的 L2 距离不超过 Δ）。作者据此称，敏感 token 可能被语义接近的其他 token 替换。附录 C 的概率下界依赖 Δ、原 top-1 相似度、k 和 Fisher 变换后相关系数上界，此处不展开公式。

   对照方法 DP-RP-G 与判定

   • DP-RP-G 沿 Blocki et al.：先投影，再把向量裁剪到范数至多 c，然后加高斯噪声。噪声标准差为 c 乘 sqrt(2 ln(1.25/δ)) 再除以 ε；噪声只加在检索库嵌入上，不加在查询上（Algorithm 3）。原方法假设二元或有界向量，作者称 LLM 嵌入不满足该假设，所以增加裁剪。
   • 定向泄漏按标注信息是否被抽出计数；无定向的 C4 用 ROUGE-L；多轮攻击用块重叠、语义相似度和扩展编辑距离。具体阈值与预算放在实验设置。

   收起这一问

4. 04论文做了哪些实验？

   Table 2 中 RP 的泄漏低于无保护 RAG；ECHR/Llama3-1B 上 RP 的 PPL 高于 RAG。

   实验设置

   • 模型：GPT-2 配 Enron Email；Llama3-1B-Instruct 与 Qwen3-4B 配 ECHR；Llama3-8B-Instruct 配 C4；Qwen2-7B-Instruct 配 HotpotQA。Section 4.1 的四组配对未列出 Qwen3-4B，但 Table 2 与 Figure 4 使用了它。ECHR 的敏感信息由 Llama3-8B-Instruct 标注。
   • 架构与基线：KNN-LM（λ=0.1，K=1024）和 Standard RAG。对照为无检索参数模型、vanilla RAG、DP-RP-G、DPSparseVoteRAG。ε 取 1、5、10、20。
   • 数据规模：Enron 全部入库，4576 条敏感项；ECHR 用 10K 文档；C4 选 5000 条；HotpotQA 训练集入库，超过 90K 文档，distractor 设定，多轮攻击随机抽 100 篇。作者另称评测检索库最大约 100K 篇 HotpotQA 文档、约 2 亿 token。
   • 指标与判定：效用为 PPL，ECHR 与 HotpotQA 还有 F1、EM。隐私为泄漏条数或百分比、CRR、SS、EED、E-MIA 成员泄漏率，以及检索余弦相似度。成功不由 LLM 裁判打分。
   • 攻击协议：重复查询每条做 10 次，任一次成功即计泄漏，并假设同一查询重复超过 10 次会被拦截；可注入数据集相关先验，构造细节在 Section E，此处不抄查询句。C4 以生成与任一库内样本 ROUGE-L 大于 0.5 为泄漏。多轮攻击预算最多 200 次查询；块长 1500 词、最大重叠 300 词，重建重叠超过 1200 词算块被恢复。
   • 其他参数：RP 取 k=100。DP-RP-G 在 0.1 到 100 的九个裁剪界中报告最优，正文未列出每个设置选中的界。DPSparseVoteRAG 的子集数 m 在 10 到 60 间选取 50。δ 在 Enron 与 ECHR 为 10^-4，HotpotQA 与 C4 为 10^-5。嵌入维：GPT-2 为 128，Llama3 为 2048，Qwen2 为 3584；用各模型最后隐状态。最大输出 2048 token，repetition penalty 0.75。论文未报告效用指标的重复次数。

   主结果

   重复查询下的泄漏与 PPL，据 Table 2。Enron、C4 的泄漏为条数，ECHR 为百分比。

   表格较宽，可左右滑动

   设置	RAG 泄漏	RP 泄漏	RAG PPL	RP PPL
   KNN-LM，Enron/GPT-2	13	0	2.87	2.89
   KNN-LM，ECHR/Llama3-1B	82.72%	2.26%	2.90	46.15
   KNN-LM，ECHR/Qwen3-4B	19.08%	1.94%	1.55	1.55
   KNN-LM，C4/Llama3-8B	269	17	3.16	2.98
   Standard RAG，Enron/GPT-2	217	3	1.58	2.05
   Standard RAG，ECHR/Llama3-1B	37.92%	2.16%	9.84	47.92
   Standard RAG，ECHR/Qwen3-4B	21.30%	2.05%	1.19	1.19
   Standard RAG，C4/Llama3-8B	358	23	2.83	2.96

   • 效用例外：作者称 RP 的困惑度接近无保护 RAG。ECHR/Llama3-1B 两行不是这样。同表 F1：KNN-LM 上 RAG 90.32、RP 87.70；Standard RAG 上 RAG 97.18、RP 66.70。Qwen3-4B 的 F1 更接近：KNN-LM 为 90.32 对 89.32，Standard RAG 为 97.32 对 95.43。
   • DP 并非处处更低泄漏：作者称增大 DP 预算会降低困惑度并增加泄漏。Standard RAG、C4/Llama3-8B 上 DPSparseVoteRAG 在 ε=1、5、10、20 的泄漏为 0、33、79、203 条。例外：Standard RAG、ECHR/Qwen3-4B 上 DP-RP-G 在 ε=1 泄漏 25.43%，高于 RAG 的 21.30%；KNN-LM、ECHR/Llama3-1B 上 DPSparseVoteRAG 在 ε=5、10、20 泄漏 37.86%、38.68%、38.82%，ε=1 为 1.75% 但 PPL 为 228.59。
   • 与无检索模型及总括数字：KNN-LM 无检索模型泄漏为 Enron 0 条、ECHR/Llama3-1B 32.82%、ECHR/Qwen3-4B 2.03%、C4 0 条。作者称 RP 大约与该模型同一防护水平；C4 两行的 RP 高于 0，ECHR/Llama3-1B 的参数模型则高于 RP。Standard RAG 的参数模型列为 –。作者称相对基线效用平均提高超过 50%，相对 vanilla RAG 总体下降 7%；论文未给出这两项的逐格计算。

   多轮自适应攻击

   HotpotQA、KNN-LM、Qwen2-7B-Instruct。Jiang et al. 与 Yao et al. 两种攻击，隐私预算只报告 ε=10（Table 5）。

   表格较宽，可左右滑动

   方法	Jiang CRR	Jiang EED	Yao CRR	Yao EED
   Parametric	30%	0.030	37%	0.07
   RAG	60%	0.028	75%	0.10
   RP	3%	0.88	0%	0.93
   DP-RP-G，ε=10	3%	0.89	0%	0.90
   DPSparseVoteRAG，ε=10	2%	0.88	0%	0.90

   • 作者的读法：高 CRR 与低 EED 表示提取成功。Jiang 攻击的 SS 为 0.16 或 0.17，Yao 攻击为 0.033、0.034、0.032、0.031、0.034；作者把相近的 SS 归于模型仍试图给出正确答案。Jiang 攻击的平均轮数为 2.18、2.05、2.05、2.01、2.34。无检索模型的 CRR 仍为 30% 与 37%，论文未单独解释该格。
   • 效用：Table 6 的 Ans EM/F1 为参数模型 7.48/28.74、RAG 12.48/29.88、RP 11.32/28.57；余弦相似度三者为 0.73、0.75、0.75。DP-RP-G 与 DPSparseVoteRAG 在 ε=10 的 Ans EM 为 3.58 与 7.48，余弦相似度均为 0.54。作者称三种隐私方法效用相近且 RP 准确率最高；表中 RP 接近 RAG，两种 DP 方法更低。
   • 案例：Table 7 比较原块与重建，此处不抄身份细节。作者称问题中已出现的人名出现在回答里是合理的；RP 的回答与原块差别大，未写出地址、国籍或库中的出生日期，并写出了不同日期。作者称攻击者可能误以为日期已被抽出而停止。作者称 Standard RAG 与 Jiang et al. 抽出大段原文，知识图谱方法恢复大部分原信息。

   成员推断与分类型泄漏

   • E-MIA：Table 4 只标明 ECHR 使用 Qwen3-4B。该列成员泄漏率为参数模型 0.006、RAG 0.996、RP 0.007。Enron、C4、HotpotQA 三列的模型论文未在表头标明，RP 为 0.003、0.003、0.001，RAG 为 0.282、0.843、0.913。作者称 RP 与参数模型大约同一水平，攻击者几乎辨不出成员信息。论文称不重点比较多种 MIA。
   • Enron 分类型：Table 3 与 Table 2 的总数一致。Standard RAG 无保护泄漏为邮箱 36、URL 56、电话 125；RP 为 0、3、0。KNN-LM 的 RAG 只泄漏 13 条 URL，RP 为 0。作者称三类泄漏率都低于 3%，URL 最容易漏。若干小 ε 的 DP 设置为 0，但 ε=20 的 DPSparseVoteRAG 在 Standard RAG 泄漏 URL 8、电话 1。
   • 失败形态：附录 H.1 称失败例都落在不含敏感信息的泄漏，数字、ID 和邮箱得到完全防护，常见词可能被误标成身份信息。该节未给出分母。附录 H.2 的生成例子中，作者称参数模型续写不基于检索库，RAG 与 RP 回答相关，两种 DP 方法常不连贯或无关。

   规模、延迟与 DP 裁剪

   • 规模：Figure 4 为 Standard RAG、ECHR、Qwen3-4B，检索库大小为 1K、5K、10K。作者称 vanilla RAG 的提取率随库增大下降，RP 保持在参数模型附近。纯文本转换后各读数与方法的列对应不够清楚，这里不把图中百分比绑到具体方法。作者认为库越大，可用来替换的相近 token 或块越多，提取率越低。
   • 延迟：Table 8 在 ECHR、NVIDIA A100 上，未写模型。RAG、RP、DPSparseVoteRAG 的每次生成延迟为 8.35、9.42、258.9 秒，每 token 为 0.08、0.08、2.80 秒。作者称 DPSparseVoteRAG 每次推理约比 RP 和 vanilla RAG 慢 30 倍，原因是把库分成 m 个子集并对每个子集生成 token。
   • 裁剪：作者称 DP 的效用损失来自形式保证所需的裁剪和噪声，而不是投影本身；ε 趋于无穷且裁剪界足够大时，DP-RP-G 会接近 RP。Table 9 在 ECHR 上未写模型：KNN-LM / Standard RAG 的 PPL，RP 为 43.20/47.92，DP-RP-G 为 97.09/102.66，只裁剪不加噪为 45.47/46.99。其中 47.92 与 Table 2 的 Standard RAG、ECHR/Llama3-1B、RP 相同。作者称 Figure 5 中更大的裁剪界降低困惑度；图注未写数据集。

   其他消融与分析

   • k（Figure 3）：图例为 k=25、100、1600，并区分 RP 与 DP-RP-G；坐标为 PPL 与 Leakage (%)。作者称 k 与隐私关系弱，更大 k 效用更好。图注未写数据集。
   • 方差偏离 1/k（Section 4.4，未写数据集）：k=1600、从 N(0, 0.2^2) 采样时 PPL 70.86、泄漏 2.32%；k=25、从 N(0, 0.025^2) 采样时 PPL 71.38、泄漏 3.1%。作者称方差设为 1/k 最优。
   • m（Table 10，ε=5，未写模型）：Enron 的 KNN-LM 泄漏从 m=10 的 4 条降到 m=30 及以后的 0；ECHR 的 KNN-LM PPL 在 m=10–30 为 512.64，m=50 为 109.64。作者称各 m 效用差别不大，论文未报告统计检验。
   • 投影分布（Table 11，Enron/GPT-2）：Rademacher 矩阵的 KNN-LM PPL 为 2.92、URL 泄漏 2 条；Standard RAG PPL 为 1.76、URL 3 条、电话 1 条。Gaussian 与 Table 3 的 RP 一致。作者称只要保持相似度结构，分布不必是高斯。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者把真实 RAG 系统的大规模评测留作后续，并按单次约 8 秒估算百万次查询需 92 天。

   作者指出的局限与后续方向

   • 大规模真实系统评测：作者称在真实 LLM RAG 系统上评估隐私保护方法仍是后续工作（Limitations）。
   • 查询规模与耗时：作者称真实系统每天可能处理数十亿查询；按 Table 8，一次查询约 8 秒，不做系统级优化时评测一百万次查询要 92 天。作者把这类评测所需的系统层工作留到未来（Limitations）。

   实验覆盖范围

   • 生成模型为 GPT-2、Llama3-1B-Instruct、Qwen3-4B、Llama3-8B-Instruct、Qwen2-7B-Instruct；架构为 KNN-LM 与 Standard RAG（Section 4.1、Table 2）。
   • 数据为 Enron Email（4576 条敏感项）、ECHR（10K 文档）、C4（5000 条）和 HotpotQA（检索库超过 90K 文档）；另有 ECHR/Qwen3-4B 上 1K、5K、10K 的规模对照（Section 4.5、Figure 4、Section E）。
   • 攻击包括每条 10 次的重复查询、HotpotQA 上 KNN-LM 的两种多轮自适应攻击（最多 200 次查询），以及 E-MIA 成员推断（Section 4.2–4.3、Table 4–5）。作者在 Section 3.1 写明不评白盒、嵌入反演、投影矩阵反演和侧信道。
   • 对照包括无检索参数模型、vanilla RAG、DP-RP-G 和 DPSparseVoteRAG，ε 为 1、5、10、20。论文未报告各设置选中的裁剪界，也未报告效用指标的重复次数。
   • k、采样方差、Rademacher 矩阵、子集数 m 和裁剪界有单独结果（Section 4.4–4.6、Table 8–11、附录 G）。多轮攻击的隐私与效用表只给出 KNN-LM（Table 5、Table 6）。

   收起这一问

6. 06总结一下论文的主要内容

   用同一随机投影保护 RAG 检索库；作者称经验隐私接近无检索模型，多数设置效用好于 DP 基线。

   作者提出用随机投影做隐私 RAG，面向不追求形式化差分隐私、只看经验提取泄漏的设定。

   • 问题：外部检索库会把邮箱、电话、URL 以及更长的敏感文本暴露给精心构造的查询。作者认为形式化 DP 常推高困惑度，实现也更复杂。
   • 方法：black-box 下，攻击者只看 API 文本，知道用了 RP 但不知矩阵。离线与在线乘同一高斯矩阵，在低维空间做余弦近邻检索。KNN-LM 把近邻分布与语言模型分布加权；Standard RAG 把检索文本拼进原查询。作者用相似度保持解释效用，用近邻被替换解释隐私。
   • 重复查询：Table 2 中，八组设置的 RP 泄漏都低于无保护 RAG。Enron/GPT-2 的 Standard RAG 从 217 条降到 3 条；ECHR/Llama3-1B 的 KNN-LM 从 82.72% 降到 2.26%。后者 PPL 从 2.90 升到 46.15，Standard RAG 的 F1 从 97.18 降到 66.70。ECHR/Qwen3-4B 上 RP 的 PPL 与 RAG 相同，均为 KNN-LM 1.55、Standard RAG 1.19。
   • 其他攻击：HotpotQA、KNN-LM 上，Jiang et al. 攻击的 CRR 从 RAG 的 60% 降到 RP 的 3%，Yao et al. 攻击从 75% 降到 0%（Table 5）。Ans EM 为 RAG 12.48、RP 11.32（Table 6）。ECHR（Qwen3-4B）的 E-MIA 成员泄漏率从 RAG 的 0.996 降到 RP 的 0.007（Table 4）。
   • 作者结论：作者称 RP 的经验防护大约与无检索参数模型同一水平，语义效用相对 vanilla RAG 总体下降 7%，并相对 DP 基线平均提高效用超过 50%。Table 2 里 C4 的 RP 仍泄漏 17 与 23 条，高于参数模型的 0；也有 DP 设置泄漏高于无保护 RAG。作者称随机投影可作为隐私 RAG 的实用基线。

   收起这一问

相关论文