CIG-MIA：利用上下文信息增益对 RAG 系统发起成员推断攻击

判断一份候选文档是否被索引在 RAG 的外部知识库中，而不是它是否被写进生成器参数。

• 场景：RAG 由知识库、检索器和 LLM 生成器组成。用户查询到来后，检索器取出文档或 chunk 并插入提示词。作者认为该接口会暴露候选文档是否在库中，知识库含用户文档、病历、专有报告或版权材料时风险更大。
• 现有方法不足：作者将已有 RAG 成员推断分为直接成员提示、响应相似度或掩码恢复、以及查询扰动校准。作者认为这些信号间接：成员式提问依赖模型是否回答；相似度与掩码恢复会被语义相近的检索文档或生成器参数知识干扰；扰动方法依赖稳定改写和响应敏感性。
• 核心观察：显式注入候选文档对成员与非成员作用不同。若文档已能被检索到，再注入对文档派生答案几乎不增加支持；若不在库中，注入带来新证据，答案似然增益更大。
• 提出的方法：作者提出 CIG-MIA，用上下文诱导信息增益（context-induced information gain, CIG）比较正常探测与注入候选文档后的答案支持，并聚合成文档级成员分数。灰盒直接用 token 级似然；纯文本黑盒用轻量 surrogate 估计同一增益。
• 威胁模型：
  • 目标：给定对带私有知识库 D 的 RAG 的查询访问，推断候选文档 d 是否被索引，标签 m(d)=I[d∈D]，输出 m̂(d)∈{0,1}。这是知识库成员身份，不是预训练或微调成员身份。
  • 知识与能力：对手持有 d，可经用户接口提交输入并观察响应；不能读写 D，也不能查看检索文档、检索分数、嵌入、查询日志或逐查询检索输出。探测查询按检索对齐构造，但不假设每次都能把已索引的 d 取进 top-k，攻击也不以检索结果为条件。
  • 两种访问：灰盒可见最终响应和生成器返回的 token 级 log-probability，对应暴露置信度的 API 或自托管开源权重系统。纯文本黑盒只见生成文本；对手可用校准语料、检索器、RAG 式提示格式和能读 log-probability 的 surrogate 生成器建本地 surrogate RAG，校准语料为同域或相近域的公开或自有非成员文档，不访问目标检索输出或目标库文档。
  • 阈值：主设定沿用 RAG-MIA 与 S2MIA 的强对手校准，用一小份含已确认成员与非成员的验证集只选决策阈值；附录另评只用非成员选阈值的弱设定。

论文把 RAG 知识库成员推断与训练数据成员推断分开，再按对手能看到的信号组织已有攻击。

RAG 与训练数据成员推断

• RAG 系统（Lewis 等及后续工作，论文引 [7, 8, 24]）——用外部知识库 D 在推理时提供私有、领域或常更新知识，检索器返回 top-k，再把检索内容写入提示词。论文还提到知识对话、本地文档助手、医疗应用和代码或邮件补全等用法。
• 经典与 LLM 成员推断（[14–18, 29, 30]）——推断样本是否用于训练目标模型，常利用过拟合、置信度差或损失差；对 LLM 则利用似然、困惑度、生成行为或校准损失等参数信号。作者强调 RAG 要问的是文档是否在外部检索语料中，而不是是否被生成器记忆。

灰盒 RAG 成员推断

• RAG-MIA [19]——把成员推断做成对 RAG 的直接提问；灰盒变体使用 “Yes”“No” 等决策 token 的概率。
• S2MIA [20]——把目标文档拆成查询前缀和参考续写；灰盒除响应相似度外还可加入似然或困惑度特征。
• DCMI [21]——扰动查询并测量置信度变化，做差分校准，目的是减弱非成员检索文档的干扰、分离成员检索证据的贡献。

黑盒 RAG 成员推断

• RAG-MIA-black [19]——只用直接成员提示得到的 yes/no 生成答案。S2MIA-black [20]——用语义相似度比较生成响应与参考续写。
• MBA [23]——掩盖候选文档中的若干词，根据系统能否恢复被掩盖内容推断成员身份。IA [22]——构造只有目标文档在库时才应能答对的自然盘问，并跨多个查询汇总答案正确性。
• DCMI 的纯响应形式 [21]——把基于扰动的校准用到文本输出上。作者认为这些信号仍可能间接或不稳定：直接成员提示依赖模型是否愿答成员式问题；相似度与掩码恢复会被语义相近文档或参数知识混淆；扰动校准依赖稳定改写和响应行为。

基线方法与基准

• 基线：灰盒为 DCMI-gray、RAG-MIA-gray、S2MIA-gray；黑盒为 DCMI-black、RAG-MIA-black、S2MIA-black、IA、MBA。各基线沿用其原始威胁模型和对应决策分数。S2MIA-black 的响应–参考相似度用 BLEU 度量。
• 基准：Natural Questions、MS-MARCO、HealthCareMagic。黑盒似然估计借鉴 PETAL [31] 的仅标签、用生成 token 相似度估计似然的做法，但论文指出 PETAL 面向预训练成员推断并用全序列困惑度，CIG-MIA 改为估计 RAG 式 base/target 探针之间的增益。

作者把本文定位为直接度量“显式注入候选文档相对于已检索上下文还增加多少证据”的信号：成员因检索冗余而增益小，非成员因注入新证据而增益大；灰盒用 token 概率计算，黑盒从仅标签生成估计。

CIG-MIA 为每份候选文档构造探测问答，比较正常 RAG 探针与显式注入该文档后的答案支持，把较小的似然增益当作成员证据。流程分四步：构造问答、base/target 探测、逐查询打分、聚合成文档级分数（Figure 2）。

问题设定与 CIG 定义

• 成员判定：m(d)=I[d∈D]，预测 m̂(d)=I[S(d)>τ]。S(d) 越高表示成员证据越强。
• 机制：设 C(q)=R(q,D) 为检索上下文，Rd(q) 表示 C(q) 含 d。该事件只用于解释，对手既观察不到也不把它当作攻击条件。成员且检索成功时，d 相对 (q,C(q)) 近似冗余，条件互信息接近 0，增益 Δ(d)≈0；非成员无法作为索引项被检索，若上下文缺少作答所需证据，则注入提供新证据，Δ(d)≫0。
• 定义：对由 d 支持的答案 y，上下文诱导信息增益为归一化答案对数似然之差

Δ(d)=LL(y∣ q,d)−LL(y∣ q)

LL(y|q) 来自只以 q 和检索上下文为条件的原 RAG 流程；LL(y|q,d) 是额外把 d 提供给生成器之后的似然。检索对齐的探测使成员更可能出现 Rd(q)，因此成员倾向更小的 Δ(d)。

探测问答与成对探针

• 问答构造：对手只有 d，没有自然查询或参考答案。本地 LLM 生成 M 对 Q(d)={(qi,yi)}，尽量覆盖不同事实侧面。四条约束：yi 必须直接由 d 支持；qi 不得包含 yi 或浅层词形变体；qi 在语义上对齐 d 并带足够非答案线索，以便 d 在库中时能被检索；yi 应具体，如实体、数字、日期或短事实短语。事实不足 M 条时允许在保持语义和答案的前提下改写。附录 A-A 给出生成提示词。
• 多探针：单次探测只覆盖文档一面，查询过泛、答案属常识或证据不影响响应时会失败，知识密集文档更明显。多个探针对同一文档的不同事实侧面互补，而不是等质量的独立测量。
• Base 与 target：同一 (qi,yi) 只差是否把 d 显式放进上下文。Base 为 P(qi)，LLbase=LL(yi|P(qi))，度量正常检索–生成已有的支持。Target 为 P(qi,d)，度量检索与显式注入同时可用时的支持。实现上检索查询 qi 不变，检索之后把 d 接到生成器侧上下文。

灰盒打分与黑盒估计

• 灰盒：答案 yi 有 Ti 个 token 时，归一化对数似然为长度平均的条件 log-probability，避免长答案仅因 token 更多而总似然更低。第 i 对的增益为

Δ_i(d)=LL(y_i∣ P(q_i,d))−LL(y_i∣ P(q_i))

每对需要两次灰盒查询。Δi(d) 更小表示注入几乎不增加证据，更支持 d 为成员。

• 黑盒与 PETAL 的三点差别：只在文档特异答案 token 上估计似然；同时用语义相似度和精确匹配；为每份候选文档在本地 surrogate RAG 上拟合自适应估计器，用于差分增益而不是绝对困惑度阈值。
• token 选择：用 LLM 选出 yi 的信息片段 Zi，每个片段必须是 yi 的精确子串且不出现在 qi 中，保留实体、数字、日期、术语和有辨识度的事实短语，滤掉停用词和泛化表达，再映射到目标分词位置。无有效片段则退回非停用词 token，仍为空则用全部答案 token。选择提示在附录 A-B。
• 特征与校准：对每个选中位置，向目标系统提交前缀与完整答案前缀，只记录第一个生成 token，以避免自回归漂移。特征为该 token 与目标 token 的余弦相似度，以及是否精确相等。Surrogate 生成器 Ms 可读 token log-probability，提示格式与目标攻击一致，只用于校准。在同一组 base/target 提示上，用生成 token 算特征、用真实 log-probability 作回归目标，拟合 log p̂d=w⊤ϕ+b。校准不用目标 logits、检索输出或成员标签。估计似然在选中位置上取平均，黑盒增益为 target 与 base 估计似然之差。每对探测需要 2|Ti| 次目标查询。语义相似度用 all-MiniLM-L6-v2。

聚合、阈值与默认实现

• 文档分数：S(d)=−Agg(Δ1(d),…,ΔM(d))，黑盒把 Δi 换成估计增益。负号使更小的增益对应更高的成员分。默认 Agg 为最小值，保留最强的那一次探测信号。若 S(d)>τ 则判为成员，τ 在验证集上选择。
• 默认探测数：NQ 上 M=1，MS-MARCO 上 M=2，HealthCareMagic 上 M=3，由数据集自适应。问答构造与 token 选择使用 GPT-5.4。
• Surrogate：开源目标模型的黑盒实验用对应目标模型作 surrogate 生成器，但攻击阶段目标仍只通过文本输出查询。API 目标用 Llama-3.1-8B-Instruct 作 surrogate。Surrogate 的检索器、top-k 和 base/target 提示格式与目标管线相同，校准语料为对应数据集验证划分中的 2,000 条非成员样本。
• 成功判定：在验证集选定阈值后报告 AUC、ACC、TPR、FPR。AUC 衡量成员与非成员分数可分性；测试集平衡，ACC 为该阈值下的分类准确率。

实验设置

• 被测生成器：开源为 Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Llama-2-13b-chat-hf、Qwen3-4B-Instruct，同时做灰盒和纯文本黑盒。API 只做纯文本黑盒：GPT-5.4-mini、Gemini-3.1-Flash-Lite。配置实验默认生成器为 Mistral-7B-Instruct-v0.3。
• 数据：NQ（论文写含超过 30 万训练样本及长答案标注）、MS-MARCO（超过 100 万查询、880 万段落）、HealthCareMagic（约 10 万医患问答）。每集随机划分，80% 条目入知识库为成员，20% 留出为非成员。平衡测试集为 500 成员 + 500 非成员；另从验证集抽 200 对成员–非成员做阈值和超参。
• RAG：默认检索器 Contriever，top-k=3，按检索分数排序后拼进固定 QA 提示（附录 A-C）。默认贪心解码、temperature 0。开源实验在四块 80GB A100 上运行。随机采样实验重复三次并报告均值。
• 基线：灰盒 DCMI-gray、RAG-MIA-gray、S2MIA-gray；黑盒再加 IA 与 MBA。指标为 AUC、ACC、TPR、FPR。
• 默认 M：NQ 为 1，MS-MARCO 为 2，HealthCareMagic 为 3。黑盒相似度模型为 all-MiniLM-L6-v2；开源 surrogate 为对应目标模型，API surrogate 为 Llama-3.1-8B-Instruct，校准语料 2,000 条验证集非成员。
• 评审：成员标签由是否被索引决定，分数阈值在验证集上选择。论文未报告人工一致性或 LLM 评审成员标签。

主结果

Table I 为四开源模型灰盒结果。CIG-MIA 在三数据集上 AUC 为 0.98–0.99，ACC 高于 0.96。下表只列 CIG-MIA 与同格最强基线的 AUC（据 Table I）。

Swipe horizontally to read the table

数据集	模型	CIG-MIA AUC	最强基线 AUC
NQ	Llama-3.1-8B-Instruct	0.98	DCMI-gray 0.89
NQ	Mistral-7B-Instruct-v0.3	0.99	DCMI-gray 0.73
NQ	Llama-2-13b-chat-hf	0.98	DCMI-gray 0.71
NQ	Qwen3-4B-Instruct	0.99	DCMI-gray 0.94
MS-MARCO	Llama-3.1-8B-Instruct	0.99	DCMI-gray 0.86
MS-MARCO	Llama-2-13b-chat-hf	0.98	DCMI-gray 0.74
HealthCareMagic	Llama-3.1-8B-Instruct	0.99	DCMI-gray 0.72
HealthCareMagic	Qwen3-4B-Instruct	0.99	RAG-MIA-gray 0.86

• 灰盒：作者称 CIG-MIA 在三数据集、四模型上 AUC 为 0.98–0.99，ACC 始终高于 0.96。FPR 在 NQ 上约 0.01，HealthCareMagic 上为 0.00，MS-MARCO 上至多 0.07。Table I 中 HealthCareMagic、Llama-3.1-8B-Instruct 的 CIG-MIA 为 AUC 0.99、ACC 0.98、TPR 0.99、FPR 0.00；Qwen3-4B-Instruct 为 AUC 0.99、ACC 1.00、TPR 1.00、FPR 0.00。同表 MS-MARCO 上 RAG-MIA-gray 与 S2MIA-gray 的 FPR 可达 0.67，而 CIG-MIA 每个模型不超过 0.07。作者称 HealthCareMagic 上已有的 DCMI-gray 约 0.70 AUC，低于 CIG-MIA；Table I 实际为 0.67–0.76。
• 黑盒开源：作者报告 CIG-MIA 的 AUC 在 NQ 上为 0.89–0.94，MS-MARCO 上 0.92–0.95，HealthCareMagic 上 0.85–0.94。Llama-3.1-8B-Instruct 在 NQ 上的黑盒 AUC 为 0.93（与摘要一致的那一格）。作者称 MS-MARCO 最稳定，HealthCareMagic 更难，因为医学术语和临床表达使生成 token 变化更大。反例式失败模式：MS-MARCO、Qwen3-4B-Instruct 上 RAG-MIA-black 的 TPR 为 0.99、FPR 为 0.71；若干 Qwen3 设置上 DCMI-black 的 FPR 可为 0.00，但 TPR 和 AUC 低得多。MBA 在 HealthCareMagic 的部分设置上有竞争力，但作者称优势并不稳定地迁移到其他数据集或模型。
• 分数分布：Figure 1 在 HealthCareMagic、Llama-3.1-8B-Instruct 上画 −Δ(d) 的 ECDF，成员与非成员各 n=500。灰盒均值 μM=−0.147、μN=−2.442；黑盒 μM=−0.025、μN=−0.240。作者称成员更靠近 0，非成员更负。NQ 与 MS-MARCO 的 ECDF 在附录 Figure 4。

API 模型与弱阈值校准

• API：GPT-5.4-mini 与 Gemini-3.1-Flash-Lite 只做纯文本黑盒，结果在附录 B-A。Surrogate 为 Llama-3.1-8B-Instruct，因此这些数字的目标模型不是 surrogate 本身。论文正文未在可见表格中逐格列出这两个 API 的 AUC，故此处不填具体数字。
• 非成员阈值：附录 B-E、Table XVI 把阈值固定为已知非成员 CIG 分数的第 95 百分位。Mistral-7B-Instruct-v0.3 上，NQ 灰盒 AUC 0.99、ACC 0.97、TPR 0.99、FPR 0.04，黑盒 AUC 0.92、ACC 0.88、TPR 0.92、FPR 0.15；MS-MARCO 灰盒 AUC 0.99、FPR 0.03，黑盒 AUC 0.94、FPR 0.14；HealthCareMagic 灰盒 AUC 0.99、FPR 0.02，黑盒 AUC 0.93、FPR 0.16。Llama-2-13b-chat-hf 灰盒 AUC 为 0.98–1.00，黑盒 AUC 为 0.89–0.92，黑盒 FPR 为 0.12–0.18。作者称 AUC 与阈值策略无关，故可分性仍在；黑盒工作点不如灰盒稳定，测试集 FPR 不必等于校准目标 FPR。
• 提示伪影与位置：Table XVII 在 MS-MARCO、Mistral-7B-Instruct-v0.3 上比较等长无关上下文和文档位置。灰盒把目标文档放在查询前或后，AUC 均为 0.99；换成无关文档、放在查询前时 AUC 为 0.52。黑盒目标文档在查询前 AUC 0.93、在查询后 0.88，无关文档在查询前为 0.67。作者用该对照说明增益来自目标文档内容，而不是任意附加上下文或固定位置。

RAG 配置

• 检索器：Figure 3a 在 HealthCareMagic、Mistral-7B-Instruct-v0.3 上比较 BM25、Contriever、BGE、E5-base。作者称 CIG-MIA 在四种检索器上均为最高 AUC，灰盒 0.97–1.00，黑盒 0.90–0.94；黑盒中最强非 CIG 结果达到 0.79 AUC。作者认为 BM25 在该医疗集上略好，可能因为实体和事实短语受益于精确词匹配。
• 检索深度：Figure 3b 中，灰盒 AUC 从 k=1 的 1.00 降到 k=5 的 0.96，黑盒保持在 0.91–0.94。作者认为更小的 k 使 base 探针更由相关证据主导；k 增大时弱相关文档带来噪声，差距略收窄。附录 B-B 进一步评到 k=20，覆盖三个数据集和两个目标 LLM。
• 探测条数：Table III 用 Mistral-7B-Instruct-v0.3。NQ 在 M=1 时已接近饱和。MS-MARCO 灰盒 AUC 保持 0.99；黑盒 AUC 从 0.87 升到 M=2 的 0.92，FPR 从 0.22 降到 0.15，M=3 的 AUC 与 FPR 改进有限。HealthCareMagic 在 M=3 时灰盒 AUC 0.98、黑盒 AUC 0.92。

其他消融与分析

• 聚合函数：默认用最小值；论文在 §VI-D 比较聚合策略，正文可见数字以 Table III 的 M 为主，其余聚合表的逐格数字在截断文本中未完整对齐，不另填。
• 鲁棒性：§VI-F 分析改写和生成随机性。随机采样重复三次并报告均值；具体逐格数字若与表格列无法对齐则不写入。
• Figure 1 之外：作者称 NQ 与 MS-MARCO 的 ECDF（附录 Figure 4）同样分开，但正文只给出 HealthCareMagic 的均值。
• 灰盒 FPR 例外：Table I 中 CIG-MIA 最高 FPR 出现在 MS-MARCO、Llama-3.1-8B-Instruct，为 0.07，仍低于同格 S2MIA-gray 的 0.67。
• 黑盒高低 FPR：作者同时报告 RAG-MIA-black 的高 TPR 伴随高 FPR，以及 DCMI-black 在部分 Qwen3 设置上 FPR 为 0.00 但 TPR、AUC 更低。
• 校准语料：surrogate 校准不用成员标签；强阈值设定仍用含确认成员的验证集选 τ，弱设定见 Table XVI。

作者指出的局限与后续方向

• 黑盒近似：作者指出纯文本设定用 surrogate 回归估计似然，存在近似误差，工作点不如直接使用 token log-probability 稳定（附录 B-E 对 Table XVI 的讨论）。
• 检索不保证命中：探测只提高成员被检索到的可能性，不保证每次进入 top-k；攻击不按检索是否成功做条件，因此端到端结果包含检索失败的样本（§III-B、§IV）。
• 阈值数据：主实验用含确认成员与非成员的验证集选阈值；作者另外评估仅非成员校准，并指出黑盒操作点波动更大（附录 B-E）。
• 深度增加：作者称 top-k 增大时弱相关文档引入噪声，增益差距略收窄，并在附录把深度评到 k=20（§VI-C）。
• 后续：作者在贡献与实验安排中把 RAG 配置、消融和改写、生成随机性下的鲁棒性作为分析内容；对防御的专门评测，论文若在 Limitations 中提出，则以作者原文的后续工作为准。可见文本强调攻击分析，未把某一防御实现写成已完成结果。
• 分布：成员与非成员来自同一数据集、只差是否被索引，作者称这是为了减少分布偏移造成的虚假可分；该协议不覆盖跨域候选文档（§VI-A）。

实验覆盖范围

• 模型：灰盒与开源黑盒覆盖 Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Llama-2-13b-chat-hf、Qwen3-4B-Instruct；纯文本黑盒另含 GPT-5.4-mini 与 Gemini-3.1-Flash-Lite，其 surrogate 为 Llama-3.1-8B-Instruct（§VI-A、附录 B-A）。
• 数据与规模：NQ、MS-MARCO、HealthCareMagic；测试集每集 500 成员和 500 非成员，验证阈值用 200 对；知识库为随机 80% 条目（§VI-A）。
• 基线：灰盒三类、黑盒五类，指标为 AUC、ACC、TPR、FPR（Table I、Table II）。
• 配置：检索器含 BM25、Contriever、BGE、E5-base；主文深度从 k=1 到 k=5，附录到 k=20；默认 Contriever、k=3、贪心解码（§VI-C）。
• 论文未报告：自适应防御下的攻击成功率，以及 API 两模型在正文主表中的逐格数字（结果放在附录 B-A）；随机采样重复次数为三次，论文未报告与人工标注的一致性。

CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。

• 问题：对手持有候选文档，只能经用户接口查询，要判断该文档是否被索引。作者认为直接提问、续写相似度、掩码恢复和查询扰动都偏间接，易受提示行为、语义相近文档和参数知识影响。
• 方法：从文档生成若干事实问答，比较正常 RAG 与显式注入该文档后的归一化答案对数似然。增益小说明检索已经提供证据，判为更像成员；文档级分数取增益聚合后的相反数，默认聚合为最小值。黑盒只在选出的文档特异 token 上，用语义相似度和精确匹配，经本地 surrogate 回归估计同一差值。
• 主结果：Table I 中，四个开源生成器在 NQ、MS-MARCO、HealthCareMagic 上的灰盒 AUC 为 0.98–0.99，ACC 高于 0.96。NQ、Llama-3.1-8B-Instruct 的灰盒 AUC 为 0.98；摘要称 NQ 灰盒约 0.99、黑盒 0.93，Table II 的对应黑盒区间为 0.89–0.94。HealthCareMagic 上该模型灰盒成员与非成员的 −Δ 均值分别为 −0.147 与 −2.442（Figure 1，各 n=500）。
• 其他结果：黑盒在 MS-MARCO 上 AUC 为 0.92–0.95，HealthCareMagic 上为 0.85–0.94。仅用非成员第 95 百分位做阈值时，Mistral-7B 灰盒 AUC 仍为 0.99，黑盒 FPR 升到 0.14–0.16（Table XVI）。等长无关上下文的灰盒 AUC 降到 0.52（Table XVII）。
• 作者结论：作者认为该似然差直接对应“检索是否已经提供候选文档证据”，因此在所列基线上更可分，且不绑定某一种检索器或固定 top-k。黑盒依赖 surrogate 近似，操作点波动大于灰盒。