WPMIA：面向严格黑盒大模型的词级概率成员推断攻击

在只能看到文本续写、拿不到 tokenizer 与 per-token logits 时，如何对 LLM 做有统计依据的预训练数据成员推断。

• 场景与重要性：作者称预训练语料规模持续增大，过滤后仍可能含受版权保护内容或个人可识别信息。成员推断（membership inference attacks, MIAs）用于审计给定文本是否进入目标 LLM 的训练语料。
• 现有方法的不足：作者称多数有效 MIA 依赖 gray-box，需要 tokenization results 与 per-token logits，因而不能用于只通过 API 或订阅返回 textual continuations 的闭源模型。作者认为近期黑盒方法（He et al., 2025; Kaneko et al., 2025; Yi and Li, 2026）多靠启发式，缺少对成员信号的原则性统计表述。
• 核心观察：作者沿用过拟合效应：成员文本的似然往往高于非成员（Yeom et al., 2018）。思路是从续写中恢复序列级似然，并用不同前缀下的条件似然差放大成员与非成员的分布差异。
• 提出的方法：作者提出 Word-level Probability MIA（WPMIA），用蒙特卡洛采样与局部核平滑估计词级生成概率，聚合成序列级似然，再对比成员与非成员前缀。
• 威胁模型：
  • 目标：判断文本 x 是否属于目标自回归 LLM fθ 的训练语料 D。
  • 知识：论文关注的是 strict black-box。攻击者不能获得模型权重、tokenization results 或 token logits，只能观察生成的 textual continuations（Kaneko et al., 2025）。
  • 对照设定：多数既有 MIA 假设 gray-box，可获得 tokenization results 与 per-token logits，但不能获得内部权重（Figure 1）。
  • 受害系统：通过 API 访问的闭源 LLM，作者举 ChatGPT、Gemini、Claude；实验还包括开源模型。

作者把相关工作分成灰盒似然类 MIA、依赖扰动或前缀的灰盒方法，以及只看续写的黑盒方法。

• 经典成员推断与似然信号：Shokri et al. (2017) 提出对机器学习模型的成员推断；Yeom et al. (2018) 把过拟合下成员似然高于非成员作为信号。Carlini et al. (2021) 从 LLM 抽取训练数据。Chen et al. (2025) 讨论由 token-level logits 计算序列级似然。
• 灰盒 LLM 成员推断：Shi et al. (2024) 的 Min-K% 关注低概率 token 以检测预训练数据；Zhang et al. (2025) 的 Min-K%++ 沿此方向改进。Mattern et al. (2023) 的 Neighbor 比较邻域扰动下的似然。Xie et al. (2024) 的 ReCaLL 与 Wang et al. (2025) 的 Con-ReCall 用相对条件对数似然或对比解码检测预训练数据。这些方法需要 tokenizer 与 per-token logits。
• 黑盒与启发式评分：He et al. (2025) 的 PETAL 面向 label-only 设定。Kaneko et al. (2025) 的 SaMIA 用续写与参考后缀的平均 ROUGE-N 近似伪概率质量，作者称它不是对数似然估计，且续写越往后越依赖模型自己生成的历史。Yi and Li (2026) 的 SimMIA 在词级做硬匹配或语义相似度，再对词级比值取平均；作者认为分母接近零时不稳定，且应先聚成序列级对数似然后再做相对比较。
• 基线方法与基准：黑盒基线为 PETAL、SaMIA、SimMIA（含用硬匹配式 (12) 的 SimMIA∗）。灰盒基线为 Loss、Reference、Lowercase、Zlib、Neighbor、Min-K%、Min-K%++、ReCaLL，结果放在附录。基准为 WikiMIA（Shi et al., 2024）、MIMIR（Duan et al., 2024）与 WikiMIA-25（Yi and Li, 2026）。

作者把 WPMIA 定位为：直接估计序列级似然，作为启发式黑盒评分的统计替代，并在聚合之后再做前缀对比，以避免词级比值不稳定。

WPMIA 在词序列上用采样估计生成概率，先加总成序列级对数似然，再用非成员前缀与成员前缀的归一化差值作为成员分数。

问题设定与形式化

• 似然：自回归模型对文本 x=(x1,…,xL) 的概率为各 token 条件概率之积，式 (1)。数值上使用平均对数似然 LL(x)，式 (2)。攻击输出分数 S(θ,x)，以阈值 κ 判定成员，式 (3)。
• 黑盒下的基本单位：目标 tokenizer 不可用，因此用标准词切分器（Bird et al., 2009）把文本切成词序列，而不是模型 token。
• 词级对数概率：ℓ̂(xi|ci)=log(ϵ+p̂(xi|ci))，式 (4)，ϵ>0 用来避免零估计。

词级概率与序列级估计

• 蒙特卡洛：对上下文 ci 查询目标模型 M 次，只取每次回复的第一个生成词。式 (5) 用核 K 把这些样本的质量分配给目标词 xi。
• 核的选择：精确匹配核是指示函数，预算有限、词表很大时估计稀疏。语义核 Kτ 用词嵌入余弦相似度，温度 τ 控制平滑，式 (6)：更近的词权重大。作者称这带来语义稳健性，并在有限采样下更稳定。
• 序列聚合：未加前缀的估计为各词对数概率的平均，式 (7)，记为 L̂L⁰(x)。嵌入模型默认 all-MiniLM-L6-v2。MIMIR 的 DM Mathematics 划分对数值 token 用精确匹配，不用语义相似度。

对比前缀

• 构造：受 ReCaLL 与 Con-ReCall 启发，把非成员前缀 Pnm 或成员前缀 Pm 接到目标词之前的词上，式 (8)。每种前缀由 T 段文本拼接。前缀样例从评测集中留出，各方法共用。
• 分数：先分别估计两种前缀下的序列级对数似然，再计算 S(θ,x)=(L̂Lnm(x)−L̂Lm(x))/L̂L⁰(x)，式 (9)。作者称非成员前缀下成员文本的似然下降往往更大，成员前缀则带来不对称偏移；除以未加前缀的似然是为了考虑文本自身的基线似然。
• 聚合顺序：作者明确反对先在词级做相对比值再平均，即式 (10)。理由是单词对数概率可接近零，比值不稳定，且逐词归一化破坏序列对数似然的可加结构。默认对比强度 γ=1，对应完整式 (9)；文中也讨论 Sγ=(L̂Lnm−γ L̂Lm)/L̂L⁰。

关键实现参数与和启发式方法的差别

• 预算：WikiMIA 与 MIMIR 上 M=100；WikiMIA-25 为控制 API 成本取 M=10。前缀数 T：WikiMIA 与 WikiMIA-25 为 7，MIMIR 为 10。闭源模型沿用 Yi and Li (2026) 的 next-word 采样提示模板；论文未在正文给出该模板原文。
• 与 SaMIA、SimMIA：SaMIA 把目标文本分成前缀与参考后缀，用 M 条续写与后缀的平均 ROUGE-N。SimMIA 对硬匹配频率或嵌入余弦做词级比值再平均，式 (11)–(13)。作者称 WPMIA 先得到对数概率再在序列级对比。
• Figure 2：作者展示 min–max 归一化后的 S0、Snm 与 Sctr。作者称对比前缀分数 Sctr 使成员与非成员分得最开；图注写从左到右分别是这三种分数。

实验设置

• 开源模型：WikiMIA 上为 OPT-6.7B、Pythia-6.9B、LLaMA-13B、GPT-NeoX-20B。MIMIR 上为 Pythia-dedup 的 160M、1.4B、2.8B、6.9B。WikiMIA-25 上另有 Qwen3-8B-Base。开源模型经 Hugging Face 访问，实验在 8 张 NVIDIA L40 上完成。
• 闭源模型：Claude-4.5-Haiku、Gemini-2.5-Flash、GPT-5-Chat，经官方 API 访问。灰盒基线在这些模型上不适用，Table 17 中对应格子为 “-”。
• 基准规模：WikiMIA 长度 32/64/128 的样本数分别为 776、542、250（Table 7），非成员比例 50.1%、47.6%、44.4%。MIMIR 用 7-gram，七个域：wikipedia 2000、github 536、pile_cc 2000、pubmed_central 982、arxiv 1000、dm_mathematics 178、hackernews 1292（Table 8）。WikiMIA-25 用长度 32 的均衡子集，成员与非成员各 120，共 240（Table 9）。
• 基线：黑盒为 PETAL、SaMIA、SimMIA∗（式 (12)）、SimMIA（式 (13)）。灰盒为 Loss、Reference、Lowercase、Zlib、Neighbor、Min-K%、Min-K%++、ReCaLL，完整数在附录表。基线按其官方超参复现。
• 指标：扫描阈值画 ROC，主指标为 AUC，并报告 TPR@5%FPR。平均结果为对相应划分与目标模型的宏平均。论文未报告重复次数或人工一致性。
• 分析默认设置：除非另有说明，组件与参数分析报告 WikiMIA 上 Pythia-6.9B 的 AUC。

主结果

WikiMIA 黑盒结果据 Table 1（AUC / TPR@5%FPR）。粗体在原文中表示该列最优。

Swipe horizontally to read the table

模型	Len 32 WPMIA	Len 64 WPMIA	Len 128 WPMIA	Len 32 最强黑盒基线
OPT-6.7B	89.1 / 38.7	90.2 / 57.8	87.2 / 49.0	SimMIA∗ 85.1 / 28.9
Pythia-6.9B	84.8 / 27.9	86.5 / 35.9	84.7 / 39.4	SimMIA∗ 82.8 / 27.4（32）
LLaMA-13B	75.9 / 21.6	74.3 / 23.9	67.4 / 15.4	PETAL 或 SimMIA，AUC 最高约 67.1
GPT-NeoX-20B	89.5 / 52.6	86.9 / 45.4	87.5 / 48.1	SimMIA∗ 85.9 / 34.5（32）
四模型平均	84.8 / 35.2	84.5 / 40.8	81.7 / 38.0	SimMIA∗ 78.5 / 24.9（32）

• 作者解读：作者称 WPMIA 在 WikiMIA 上相对最强黑盒基线平均提高 4.6 个 AUC 点、14.1 个 TPR@5%FPR 点（跨三种长度）。作者称在若干设置上它也超过最强灰盒方法，包括 OPT-6.7B 的全部 WikiMIA 长度（完整对比见 Tab. 15）。
• 闭源与较新开源模型（Table 2 / Table 17，WikiMIA-25）：WPMIA 的 AUC / TPR@5%FPR 为 Pythia-6.9B 89.0 / 56.6，Qwen3-8B-Base 65.9 / 23.0，Claude-4.5-Haiku 66.3 / 22.1，Gemini-2.5-Flash 78.2 / 36.5，GPT-5-Chat 91.0 / 67.3。摘要称这三家商业模型上平均 TPR@5%FPR 为 42.0。三家 TPR 的算术平均为 (22.1+36.5+67.3)/3=41.97，与 42.0 一致。
• 例外：Table 2 中 GPT-5-Chat 的 TPR@5%FPR，SimMIA∗ 为 73.3，高于 WPMIA 的 67.3；该列 AUC 仍是 WPMIA 91.0 高于 SimMIA∗ 90.6。PETAL 在 Claude-4.5-Haiku 上为 “-”，论文未给出该格数字。Qwen3-8B-Base 上各黑盒 AUC 集中在 50.3–65.9，低于同表 Pythia-6.9B。Table 17 中同基准灰盒 ReCaLL 在 Pythia-6.9B 上为 96.1 / 78.8，在 Qwen3-8B-Base 上为 91.0 / 43.4，高于同模型的 WPMIA。

MIMIR

• 测了什么：7-gram、七个域、Pythia-dedup 四个规模，指标为 AUC（Table 16）。正文称 WPMIA 在大多数 domain–model-size 组合上是最好的黑盒方法。
• 转写可读的黑盒行：Table 16 后部按列给出 PETAL、SaMIA、SimMIA∗、SimMIA、WPMIA。以文中能对齐的末组四列为例，WPMIA 为 71.1、72.6、73.4、73.1，同列 PETAL 为 66.5、67.9、68.6、68.8，SimMIA 为 68.7、70.3、70.5、69.8。更前一组 WPMIA 为 91.6、94.9、94.3、95.3，同列 SimMIA 为 86.7、89.6、89.3、90.3。另一组 WPMIA 仅为 54.7、55.6、56.1、56.0，接近 50。
• 作者解读：作者称效果不限于 WikiMIA 风格数据。因 Table 16 在纯文本中列错位，域与模型规模的逐格对应不以推断补全。

组件、估计器与前缀稳健性

• 组件（Table 3，Pythia-6.9B，WikiMIA AUC）：未加前缀 S0 在长度 32/64/128 为 58.8 / 55.4 / 62.0。序列级非成员前缀 Snm 为 75.5 / 77.2 / 76.2；再加成员前缀的序列级 Sctr 为 84.8 / 86.5 / 84.7。同样用词级归一化时，+NP 为 52.0 / 46.9 / 54.7，+MP 为 51.4 / 48.8 / 48.8，低于未加前缀的分数。作者称应在序列级做相对条件似然。
• 估计器×前缀（Table 4）：对三种长度平均，无前缀 AUC 为 59.1，非成员前缀升至 73.3，再加上成员前缀对比为 81.8（作者对估计器与长度取平均）。完整对比下语义核平均 AUC 85.3，比原始嵌入相似度高 4.1 个点，比精确匹配高 6.3 个点。语义核 +MP 的三长度为 84.78 / 86.48 / 84.67。
• 前缀池（Table 6，长度 32，各 7 条成员与 7 条非成员前缀）：干净池 AUC 84.78、TPR@5%FPR 27.89（错标 0/14）。轻噪声换每池 1 条后为 79.76 / 15.79（2/14）。重噪声 48.73 / 6.05（6/14）。完全打乱 48.14 / 5.08（8/14）。正确标注但域不匹配的 MIMIR GitHub 前缀为 56.54 / 8.11。按 ReCaLL 与 Con-ReCall 构造的合成前缀为 75.27 / 14.84，作者称比干净设置低 9.5 个点以内。作者称方法依赖两个前缀池之间有意义且与标签一致的对比，标签正确但域不匹配仍不够。

其他消融与分析

• 续写比例（Figure 3a，长度 32）：作者称各方法 AUC 随 continuation ratio 从 0.1 增到 0.9 而上升，且 WPMIA 在各比例上高于 SimMIA∗ 与 SimMIA。图中具体端点数值在文本里未给出。
• 采样数 M（Figure 3b）：作者称各方法随 M 增加而上升；SimMIA 约在 M=50 饱和，WPMIA 在 M=70 之后稳定，AUC 约为 85。SimMIA∗ 随样本增加但仍低于 WPMIA。
• 前缀条数 T（Figure 3c）：作者称 1 或 2-shot 不稳定；从 T=3 起总体上升，约在 T=8 稳定。此范围内作者称 WPMIA 的 AUC 最高。
• 嵌入模型（Table 5，Pythia-6.9B）：Word2Vec 在三长度上为 61.5 / 58.2 / 62.2；fastText 为 80.9 / 82.1 / 82.2。稠密模型平均 AUC 仅在 85.3 到 86.6 之间。all-MiniLM-L6-v2 为 84.8 / 86.5 / 84.7，平均 85.3，比最好的稠密编码器低 1.3 个点；作者给出其 384 维、22.7M 参数，其余三款约 1024 维、约 335M 参数。
• 温度 τ（Figure 4）：作者称过小的 τ 更弱，尤其长度 128；AUC 随 τ 增大而上升，接近最好的位置约在 τ=0.2；增到 0.5 时略降。图中未给出各 τ 的具体 AUC。
• 对比强度 γ（Figure 5）：γ=0 去掉成员前缀对比，作者称最弱；γ 增大则三长度 AUC 上升，在 0.75 到 1.0 之间进入平台。γ=0.75 在部分长度上略好，默认仍取 γ=1.0。图中具体 AUC 未在文本中列出。

作者指出的局限与后续方向

• 查询成本（Limitations）：与灰盒一次前向就能得到序列似然不同，WPMIA 必须反复查询并用续写估计词级概率。对比前缀还要分别估计成员与非成员前缀下的条件似然，从而增加总查询预算。作者称对长文本和闭源 API，计算、延迟和费用都会更大。
• 样本效率（Limitations）：作者认为后续重要方向是提高样本效率，例如自适应采样、降方差估计，或在保持检测表现的同时用早停减少所需续写数。
• 语言范围（Limitations）：评测限于英文。作者称多语言效果可能受语言相关的 tokenization、语义嵌入和前缀构造影响，后续应在多语言基准上评测并研究针对语言的适配。

实验覆盖范围

• 模型与访问：开源包括 OPT-6.7B、Pythia-6.9B、LLaMA-13B、GPT-NeoX-20B、Pythia-dedup 四个规模和 Qwen3-8B-Base；闭源为 Claude-4.5-Haiku、Gemini-2.5-Flash、GPT-5-Chat。灰盒方法只在能读 tokenizer 与 logits 的模型上报告。
• 数据：WikiMIA 三个长度、MIMIR 七个域的 7-gram、WikiMIA-25 长度 32 的 240 条均衡子集。前缀从评测集留出；Table 6 另测了标签噪声、GitHub 域外前缀和合成前缀。
• 预算：WikiMIA 与 MIMIR 上 M=100，WikiMIA-25 上 M=10；T 分别为 7 与 10。默认嵌入为 all-MiniLM-L6-v2，τ 与 γ 有敏感性曲线。论文未报告各次攻击的总查询次数。
• 指标与对照：报告 AUC 与 TPR@5%FPR，黑盒对照为 PETAL、SaMIA、SimMIA∗、SimMIA，灰盒对照放在附录表。论文未报告重复次数。
• 分析范围：组件、估计器、续写比例、M、T、嵌入、温度和 γ 的分析，除非另有说明，是 WikiMIA 上的 Pythia-6.9B。

WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。

• 问题：灰盒 MIA 依赖 tokenization 与 per-token logits，闭源 API 通常不提供。作者认为已有黑盒分数多是启发式，而不是序列级对数似然估计。
• 方法：用标准词切分，对每个词的上下文做蒙特卡洛采样，以语义核（默认 all-MiniLM-L6-v2）估计生成概率，先平均成序列级对数似然，再用 (非成员前缀似然 − 成员前缀似然) / 无前缀似然 作为分数。词级先归一化再平均在消融中差于先聚合。
• 开源主结果：WikiMIA 上四模型平均 AUC / TPR@5%FPR，长度 32 为 84.8 / 35.2，长度 64 为 84.5 / 40.8，长度 128 为 81.7 / 38.0（Table 1）。作者称相对最强黑盒基线平均高 4.6 个 AUC 点、14.1 个 TPR@5%FPR 点。WikiMIA-25 上 Pythia-6.9B 为 89.0 / 56.6，Qwen3-8B-Base 为 65.9 / 23.0。
• 闭源：Claude-4.5-Haiku、Gemini-2.5-Flash、GPT-5-Chat 上 WPMIA 的 AUC 为 66.3、78.2、91.0，TPR@5%FPR 为 22.1、36.5、67.3；摘要中的三模型平均 TPR@5%FPR 为 42.0。GPT-5-Chat 上 SimMIA∗ 的 TPR@5%FPR 为 73.3，高于 WPMIA。
• 作者的结论：作者认为这些结果为严格黑盒隐私审计提供了基础。同时写明方法需要反复采样，前缀对比进一步提高查询预算，且当前评测限于英文。