无需参考模型：用邻居样本校准单轮成员推理攻击

在只有单个已训练模型、不能再训练参考模型时，如何恢复逐样本的成员推断校准。

• 场景：成员推断（membership inference）判断样本是否在训练集中，并用作隐私审计。作者认为最强攻击靠参考模型估计“该样本未被训练时模型会给多高分”，从而区分“本身就容易”与“被记住”。Transformer 与大规模基础模型训练昂贵，再训数十至上百个参考模型往往不可行。
• 现有不足：one-round 设定下审计者只有一个模型。作者称现有 one-round 方法退回全局损失阈值或简单启发式，丢掉逐样本校准；在低假阳性率下信号弱，单次运行的差分隐私审计因此偏松。
• 核心观察：参考模型的作用只是揭示样本在“未用它训练的模型”上的表现；在目标模型上查询邻近非成员，可近似同一信息。
• 提出的方法：用邻居分数替代 LiRA 的 out 模型分数。两种邻居为 Similarity Neighbors（从测试集检索）和 Synthetic Neighbors（扩散模型合成）；内部审计还可对早期检查点查询邻居。
• 威胁模型：
  • 目标：对给定样本输出其属于训练集的分数，阈值后做成员判定；DP 审计中还把 canary 的成员分数转成隐私参数 ε 的经验下界。
  • 知识与能力：作者称研究最受限、也最现实的 one-round membership inference。攻击者得到单个目标模型 Ft 与样本 x，可查询损失或置信度等逐样本信号，不能再训练模型。
  • 受害系统：一个已部署或单次训练得到的模型；DP 审计时审计者控制这一次训练、可插入 canary。
  • Early Checkpoint：该变体需要中间训练快照，作者称这放松了 black-box 假设，更适合内部审计；外部攻击者仅在检查点可用时适用。

论文把相关工作分成参考模型攻击、无参考攻击、单次 DP 审计，以及用邻近样本做推断的近期工作。

参考模型成员推断

• Shokri et al. [24]：在同分布数据上训练多个辅助模型，再用其输出训练攻击分类器，建立标准 black-box MIA。
• Salem et al. [22]、Li et al. [15] 的 ℓ-Leaks：前者表明更少 shadow model、甚至不要专用攻击分类器仍可推断；后者认为后验概率丢掉信息，用 shadow model 刻画 pre-softmax logits 分布。
• LiRA [4]：把成员推断写成逐样本假设检验，显式建模不确定性并关注低 FPR。作者称它持续优于此前基于 shadow model 的攻击，并被广泛视为 state-of-the-art 参考模型攻击。Online LiRA 还要训练包含目标样本的 in 模型，成本高于只用 out 模型的 Offline LiRA。

无参考模型的成员推断

• Yeom et al. [30]、Bertran et al. [3]：前者对损失做阈值；后者用分位数回归训练轻量辅助模型估计分数分布、不做 shadow 训练，并称在低 FPR 上相对 LiRA 有竞争力。
• 语言模型方向：Carlini et al. [5] 用 zlib 熵归一化困惑度；Min-K% [23] 与 Min-K%++ [31] 聚合最低概率 token 的统计量。论文还提到推荐系统 [7] 与联邦学习 [10] 中的无 shadow 方法。

单次运行的 DP 审计

• Steinke et al. [25] 的 ORA：把随机纳入的 canary 放进单次训练，用二项尾界把成员猜测转成 (ε, δ)-DP 下的 ε 下界。Mahloujifar et al. [17] 用完整 f-DP 权衡曲线收紧转换；Xiang et al. [29] 在 f-DP 下用次序统计给出理论上最优的成员解码器。
• 信号本身：作者称这些进展主要改进“从猜测到隐私下界”的统计程序，成员信号多直接用损失或梯度投影。Keinan et al. [14] 指出 canary 信号相互干扰是 DP-SGD 上审计偏松的主要障碍。Liu et al. [16] 用基于 Bertran et al. [3] 的分位数回归替代损失信号，训练辅助模型预测样本特定分位数，并称在 black-box 设定下有较大提升。

用邻近样本替代参考模型

• 近期文本方向：有工作用合成邻近文本上的分数刻画分布，从而不需要参考数据；Galli et al. [13] 在嵌入空间做随机扰动，查询目标实例的带噪变体；Mozaffari and Marathe [19] 生成语义扰动文本，并训练神经分类器根据这些响应区分成员与非成员。

基线与上界：实验基线是 Steinke et al. [25] 的 one-round 审计；Offline LiRA 作为上界。数据集为 CIFAR-10、CIFAR-100、CINIC-10。

作者把本文放在 one-round 攻击与单次 DP 审计的共同瓶颈上：不训练 out 模型，而用目标模型对邻居的分数估计离群分布 D1。

整体思路是对 Offline LiRA 做一次替换：不训练 out shadow model，而用目标模型 Ft 在 canary 的邻居上的分数估计离群分布，方法称为用邻居校准的 one-round 成员推断。

问题设定与 LiRA 估计量

• 分数：标准选择是 logit 缩放置信度。设 p = Ft(x) 在真实标签 y 上的预测概率，则 s(F, x) = log(p / (1-p))。作者称 raw confidence 不近似高斯，而 s 近似高斯；s 越大表示记忆越强。
• Offline LiRA：只用未在 x 上训练的 out 模型，把 out 分数分布估成高斯 D1 = N(μ_out, σ_out²)，再算目标分数相对该分布的上尾概率。Λ(x) 小表示 x 更像成员。Online 变体还要训练包含 x 的 in 模型，one-round 下不可用，后文 LiRA 默认指 offline。
• 本文的替换：给定 n 个邻居，用 s(Ft, 邻居) 的均值和方差得到 D̂1，canary 仍用 s(Ft, x) 在 D̂1 下的高斯尾概率打分。Algorithm 1 只查询 Ft，不训练模型。

什么样的邻居有用

• Assumption 1（Local smoothness）：目标模型的成员分数在 canary 附近的数据流形上平滑变化，因此足够近的非成员分数可近似 out 模型给 canary 的分数。
• 距离权衡：邻居要够近才有代表性；太近则会在 canary 被记住时把分数拉向成员区间，污染 D̂1。难记样本可容忍更近的邻居，易记样本需要更远。成员标签在推断时不可用，且最优距离随 canary 与模型变化，作者因此不设单一距离阈值。
• 操作化：把邻居限制在“近但不过近”的相似带内。Figure 3 用 shadow model 的 in（蓝）与 out（红）分布对照邻居分布：Stable Diffusion img2img、strength 0.45 的过近邻居更像成员分布，strength 0.75 更接近非成员分布。

Similarity Neighbors

• 来源：测试集按构造全是非成员、与训练同分布，并处在训练–测试距离上，作者称这正是相似带的上沿。
• 检索：丢掉不同类的测试样本；用 OpenAI 的 CLIP ViT-B/32 嵌入 canary 与剩余测试样本，算余弦相似度。对输入对做 18 次增强（水平平移、垂直平移、垂直翻转）后取平均。作者采用该配方，因其经验表现最好；去掉类别过滤或增强的更简变体是可能的。

Synthetic Neighbors

• 生成：用 stable-diffusion-v1-5 的 image-to-image 流程，对输入部分加噪再去噪。作者称测试集没有合适邻居时仍可用，且可通过生成模型、超参和可选文本提示控制样本。
• 超参：去噪步数、strength（[0, 1]，决定输出可偏离输入的程度）、guidance scale（文本提示的影响）。作者只用中到高 strength 以保证距离。为评估潜力，报告步数 ∈ {30, 35, 40}、strength ∈ {0.55, 0.65, 0.75, 0.85}、guidance scale ∈ {1, 3, 5} 上的最高分。guidance scale 为 1 时用空提示；更大时用短的类别代表提示。

Early Checkpoint

• 做法：邻居分数改在目标模型的早期检查点上计算，canary 分数仍对完全训练后的模型计算。作者称记忆出现前，模型已有泛化但尚未过拟合具体训练样本，成员附近的分数景观更像非成员，从而放松距离权衡。
• 选择：训练中定期存检查点，选取隐私泄漏最高的一个。Figure 4 是一个真实例子：查询合成邻居时，[email protected]%FPR 在早期 epoch 达到峰值，随后下降。该变体需要中间训练状态，作者称在审计者控制训练时可免费获得。

实验设置

• 场景：三个数据集 × 三种隐私设置，共九个场景。每个场景推断 500 个 canary 在 64 个独立训练模型上的成员身份。架构与训练流程遵循 Aerni et al. [1]，按其特征在高效用模型上评估隐私防御。
• 数据：CIFAR-10、CIFAR-100、CINIC-10。CINIC-10 去掉全部 CIFAR-10 图像后再下采样到 50k 训练、10k 测试，并保持类别平衡。
• Canary：从训练集随机抽取，独立地分给一半模型；每个模型在全部非 canary 上再加其被分配的 canary 训练。每个 canary 作为成员与非成员的次数相同。训练前翻转全部 canary 标签，以增加记忆和隐私泄漏。
• 隐私设置：无防御训练、RelaxLoss、DP-SGD，分别对应无保护、经验泄漏缓解和形式化隐私保证。
• 指标：全部设置报告 TPR at 0.1% FPR。DP-SGD 另按 Steinke et al. [25] 估计 empirical ε：对 k+、k− ∈ {10, 20, …, 250} 的所有配对取每个模型最紧的估计，再对 64 个模型取平均。作者称低 FPR 的 TPR 是最坏情况指标，ε 反映整体可区分性，二者可能分歧。
• 对照：基线为 Steinke et al. [25]；LiRA 作为上界。主对比方法是 Synthetic Neighbors 的 Early Checkpoint 变体。论文未报告 LiRA 的 shadow 模型数量，也未报告统计显著性检验的具体检验。

主结果

主表取 Table 1 与 Table 2 中四舍五入后的数；附录 Table 3、Table 4 给出更多小数位，二者一致。行为数据集 × 隐私设置，列为方法。

Swipe horizontally to read the table

设置	Steinke et al.	Synt. Neighbors E.C.	LiRA
CIFAR-10 / DP-SGD ε	1.29	1.78	2.99
CIFAR-100 / DP-SGD ε	1.24	1.88	3.16
CINIC-10 / DP-SGD ε	0.79	1.38	2.37
CIFAR-10 无防御 TPR	23.38%	84.98%	97.03%
CIFAR-100 无防御 TPR	99.28%	99.03%	99.73%
CINIC-10 无防御 TPR	22.88%	79.10%	91.29%
CIFAR-10 / RelaxLoss TPR	1.06%	21.45%	69.24%
CIFAR-100 RelaxLoss；DP-SGD TPR	72.68%；2.19%	84.64%；4.43%	98.31%；13.89%

Table 2 中 CINIC-10 的 RelaxLoss TPR 为 Steinke 10.96%、本文 53.73%、LiRA 78.46%；DP-SGD 的 TPR 为 Steinke 0.33%、本文 1.80%、LiRA 4.43%。最后一行把 CIFAR-100 的两个 TPR 并在一格，分号前为 RelaxLoss、后为 DP-SGD。

• 作者对 ε：Table 1 上相对基线的提升大约为 0.5 到 0.6，并称仍保留 LiRA 性能的 50% 以上。Figure 1 左图的 empirical ε 与 Table 1 相同：CIFAR-10 为 1.29 / 1.78，CIFAR-100 为 1.24 / 1.88，CINIC-10 为 0.79 / 1.38。
• 作者对 TPR：无防御下相对 LiRA 只有很小性能损失；相对 Steinke et al.，CIFAR-10 与 CINIC-10 约为 3.5 倍。CIFAR-100 上作者称任务更难、过拟合更明显，几乎所有攻击都接近 100% TPR；此处 Steinke et al. 的 99.28% 高于本文的 99.03%。
• DP-SGD 与 RelaxLoss：作者称尽管泄漏受限，本文相对基线在 CIFAR-10、CIFAR-100、CINIC-10 上分别约为 4 倍、2 倍、5 倍。RelaxLoss 上 CIFAR-10 约为 20 倍、CINIC-10 约为 5 倍；CIFAR-100 位于基线与 LiRA 之间。Figure 1 右图为 CIFAR-10 的 [email protected]%FPR：无防御 23.38 对 84.98，RelaxLoss 1.06 对 21.45，DP-SGD 0.65 对 2.51。

Similarity 与 Synthetic 的分项对比

• Figure 5：作者称 Similarity Neighbors 在所展示设置上显著优于 Steinke et al.（论文写了 significantly，但未给出检验）。图上标注的倍数包括 DP-SGD 的 empirical ε：CIFAR-10 1.15×、CIFAR-100 1.13×、CINIC-10 1.30×；无防御 TPR：CIFAR-10 3.37×、CINIC-10 2.85×；RelaxLoss TPR：CIFAR-10 19.16×、CINIC-10 3.12×。附录 Table 3 显示 DP-SGD 下 Similarity Neighbors 的 TPR 低于基线：CIFAR-10 0.5250% 对 0.6500%，CIFAR-100 0.8250% 对 2.1875%，CINIC-10 0.1875% 对 0.3312%。
• Figure 6：作者选取 Synthetic 优于 Similarity 且差距最大的设置。无防御 CIFAR-100 上 Synthetic 的 TPR 接近 96%（Table 4 为 95.8625%，Similarity 为 74.8875%）；CINIC-10 差距缩小（70.7562% 对 65.2125%）。RelaxLoss 下 Similarity 下降，Synthetic 更高（CIFAR-100：86.6188% 对 61.9687%；图中标注 1.40× 与 1.67×）。DP-SGD 的 TPR 标注为 CIFAR-100 2.64×、CINIC-10 6.03×。作者把优势归于生成方式可对几乎任意 canary 造出邻居。
• 例外：Table 4 中 RelaxLoss、CIFAR-10 上 Synthetic Neighbors（无 E.C.）为 19.9875%，低于 Similarity Neighbors 的 20.2437%。RelaxLoss、CINIC-10 上 Synthetic E.C. 为 53.7312%，低于无 E.C. 的 Synthetic 57.0500%。

Early Checkpoint

• Figure 7：作者称 E.C. 在 DP-SGD 与无防御、两种指标、三个数据集上优于对应的标准攻击。Similarity 的 DP-SGD ε 倍数为 CIFAR-10 1.03×、CIFAR-100 1.07×、CINIC-10 1.02×；TPR 倍数含 CIFAR-10 1.35×、CIFAR-100 2.93×、CINIC-10 1.57×。无防御 TPR 倍数为 CIFAR-10 1.03×、CIFAR-100 1.32×、CINIC-10 1.11×。正文给出无防御 CIFAR-100：Similarity 标准变体 74.9%，E.C. 为 99.0%（Table 4 为 74.8875% 与 99.0062%）。
• Synthetic 的 E.C.：DP-SGD 的 ε 倍数为 CIFAR-10 1.28×、CIFAR-100 1.29×、CINIC-10 1.23×；TPR 倍数含 CIFAR-10 1.27×、CIFAR-100 2.03×、CINIC-10 1.59×。无防御 TPR 倍数为 CIFAR-10 1.03×、CIFAR-100 1.03×、CINIC-10 1.12×。作者称收益在更具挑战的设置上更大，且不限于某一种邻居、数据集或防御。
• Figure 4：一个真实例子中，对早期检查点查询合成邻居时，[email protected]%FPR 在早期 epoch 最高，坐标覆盖 epoch 0 到 16，纵轴约 0 到 6；作者称峰值后随训练下降。图中未标出具体峰值数字。

其他消融与分析

• DP-SGD 全方法（Table 3，empirical ε / [email protected]%FPR）：CIFAR-10 上 Similarity 1.4851 / 0.5250%，Sim. E.C. 1.5294 / 0.7063%，Synthetic 1.3926 / 1.9688%，Synt. E.C. 1.7832 / 2.5063%，LiRA 2.9934 / 12.2125%。
• CIFAR-100 DP-SGD：Similarity 1.4062 / 0.8250%，Sim. E.C. 1.4981 / 2.4188%，Synthetic 1.4549 / 2.1812%，Synt. E.C. 1.8837 / 4.4250%，LiRA 3.1560 / 13.8875%。
• CINIC-10 DP-SGD：Similarity 1.0305 / 0.1875%，Sim. E.C. 1.0504 / 0.2938%，Synthetic 1.1216 / 1.1312%，Synt. E.C. 1.3849 / 1.8000%，LiRA 2.3675 / 4.4250%。
• 无防御 TPR（Table 4）：CIFAR-10 上 Similarity 78.9062%、Sim. E.C. 81.1063%、Synthetic 82.6375%、Synt. E.C. 84.9813%、LiRA 97.0250%。
• RelaxLoss TPR（Table 4）：CIFAR-100 上 Similarity 61.9687% 低于 Steinke 的 72.6750%；Sim. E.C. 82.0187%、Synthetic 86.6188%、Synt. E.C. 84.6361%、LiRA 98.3062%。
• 合成超参：第 4.5 节报告的是步数、strength、guidance scale 网格上的最高分，论文未逐格列出各超参的 TPR。

作者指出的局限与后续方向

• 距离无法事先确定：最优 canary–邻居距离依赖 canary 与模型的具体因素，且没有成员标签就无法解决；作者称无法给出能事先可靠量化邻居质量的度量，目前只靠检索、扩散 strength 和早期检查点间接控制这一权衡（Limitations）。
• 后续方向：为邻居质量建立有原则、随 canary 变化的准则仍是开放问题；作者认为这是进一步缩小与参考模型攻击差距最有希望的方向（Limitations）。
• Similarity Neighbors：邻居来自测试集，某个 canary 的效果受限于测试集里是否有落在合适相似带内的样本（Limitations）。
• 各构造各自的约束：作者称除上述核心限制外，每种构造还有自己的约束（Limitations）。转换文本在 Similarity Neighbors 之后中断，其余构造的具体约束未出现在可读正文中。

实验覆盖范围

• 模型与数据：实验使用遵循 Aerni et al. 的图像分类架构，数据集为 CIFAR-10、CIFAR-100，以及去掉 CIFAR-10 图像后下采样到 50k/10k 的 CINIC-10（第 4、4.1 节）。
• 协议：每个场景 500 个标签被翻转的 canary、64 个独立训练模型；隐私设置为无防御、RelaxLoss、DP-SGD（第 4 节）。
• 对照与指标：对照为 Steinke et al. [25] 与作为上界的 LiRA；指标为 TPR at 0.1% FPR，DP-SGD 另报告按 k+、k− ∈ {10,…,250} 取最紧估计后对 64 个模型平均的 empirical ε（第 4.1、4.5 节，Table 1–4）。
• 方法变体：报告了 Similarity Neighbors、Synthetic Neighbors 及二者的 Early Checkpoint；合成邻居用 stable-diffusion-v1-5，检索用 CLIP ViT-B/32（第 3、4 节，附录 B）。
• 未报告项：论文未报告每次攻击的邻居个数 n、LiRA 的 shadow 模型数量、查询次数，也未报告 TPR 或 ε 的重复实验次数以外的方差；“64 个模型上的平均”是 ε 的汇总方式。正文称若干对比 significantly outperform，但未报告检验方法。

本文研究 one-round 成员推断：只有一个目标模型、不能再训练参考模型时，如何仍做逐样本校准，并用于单次运行的 DP 审计。

• 问题：强攻击依赖 out 模型估计“未训练该样本时的分数分布”。没有这些模型时，全局损失阈值在低 FPR 下信号弱，经验 ε 下界也更松。
• 方法：在局部平滑假设下，用目标模型对邻近非成员的 logit 置信度估计该分布，再按 Offline LiRA 计算高斯尾概率。邻居来自同类测试样本的 CLIP 检索，或 stable-diffusion-v1-5 的 image-to-image；Early Checkpoint 只把邻居打分改到早期快照，canary 仍对最终模型计分。
• 主结果：九个图像分类场景中，作者把 Synthetic Neighbors E.C. 作为最强方案。CIFAR-10 无防御的 [email protected]%FPR 为 84.98%，Steinke et al. 为 23.38%，LiRA 为 97.03%（Table 2）。DP-SGD 的 empirical ε 在 CIFAR-10 / CIFAR-100 / CINIC-10 上为 1.78 / 1.88 / 1.38，基线为 1.29 / 1.24 / 0.79，LiRA 为 2.99 / 3.16 / 2.37（Table 1）。CIFAR-10 RelaxLoss 的 TPR 从 1.06% 到 21.45%，LiRA 为 69.24%。
• 例外：CIFAR-100 无防御下各方法都接近 100%，Steinke et al. 的 99.28% 高于本文的 99.03%。DP-SGD 下未加 E.C. 的 Similarity Neighbors，其 TPR 低于基线（Table 3）。
• 作者的结论：更强、经过校准的 one-round 分数可以收紧单次 DP 审计的经验 ε 下界，并更准确地估计模型的真实隐私泄漏。作者同时认为，事先未知的最优邻居距离仍是缩小与参考模型攻击差距的主要开放问题。