用权重谱密度预测隐私泄露：WeightWatcher 谱指标可作为成员推理攻击脆弱性的代理

问题是：只看训练后的权重谱，能否代理 LiRA 测得的成员推断泄漏，从而不必训练 shadow 模型。

• 审计场景： 敏感数据上的模型常在可信研究环境（TRE）中训练，放出前要说明未泄露训练集里的个人（Jefferson et al., 2022）。成员推断被用作总体风险审计，SACRO-ML 将其放进披露控制流程。作者称 LiRA、RMIA 要训练参考（shadow）模型，候选模型很多时代价过高。
• 已有代理的缺口： 泛化差距不必再训练模型，差距大通常更容易被成员推断。论文引 Nasr et al. [2019]：白盒下泛化误差预测不好隐私风险，单条记录的记忆可以不出现在整体留出性能里。其他免参考估计仍要留出数据或训练轨迹，或只给粗的模型级数字。
• 作者的猜想： 若 WeightWatcher（WW） 能区分泛化与记忆，它也许能代理隐私泄漏。作者的直觉是：谱接近随机，表示参数尚未围绕训练样本组织；强幂律则可能以攻击者可恢复的方式组织。作者同时称这一关系并不显然，而且此前没有实证。
• 所做的工作： 在图像与表格 MLP 上，比较 α、Log α-Norm、Log spectral norm、stable rank 与 online LiRA 的 AUC、[email protected] 以及泛化差距。作者称这是权重谱度量与 MIA 脆弱性的首次实证研究，并称谱度量与差距互补，还可把高风险模型做成二分类。

作者把文献收成四组，并称谱度量与 LiRA 脆弱性的关系此前没有被直接测量。

HT-SR 与 WeightWatcher

• Martin and Mahoney [2021]： 用重尾自正则（HT-SR）分析每层权重相关矩阵的经验谱密度。可泛化网络的谱常呈重尾幂律，被解释为隐式自正则。论文转述六个谱阶段，从接近随机直到秩坍缩；较小 batch 通常自正则更强。
• 不看数据的质量预测： Martin et al. [2021] 不访问训练或测试数据，用 WW 预测网络质量趋势。Prakash and Martin [2025] 用 HT-SR 讨论 grokking 与泛化崩溃。引言中的 Power et al. [2022] 描述：损失收敛很久之后，模型才从记忆转到泛化。

参考模型攻击

• LiRA（Carlini et al., 2022）： 训练含与不含目标记录的 shadow 模型，对 IN/OUT 损失拟合高斯并做似然比。论文称它被广泛视为最接近单条记录真实脆弱性的实用近似；可用估计通常要几十个条件匹配的 shadow 模型。
• 更少的参考模型： RMIA（Zarifzadeh et al., 2024）改成与大量总体��本成对比较，用少量参考模型和无标签总体数据归一化似然比；论文称参考模型少于 LiRA，效力仍可比。Galichin et al. [2025] 用知识蒸馏训练 shadow，并称图像分类上优于 LiRA 及相关损失轨迹攻击，但训练仍是主要成本。

免参考估计

• 白盒与单次训练： Nasr et al. [2019] 用梯度，并称后层梯度比激活或输出更有成员信息，泛化差距预测不好该泄漏。同组还有 Li et al. [2024]、Liu et al. [2024]、Liu et al. [2023] 的 Jacobian 范数、OSLO（Peng et al., 2024）、GLiR（Leemann et al., 2023）、Suri et al. [2024] 的逆 Hessian，以及 Steinke et al. [2023] 与 Andrew et al. [2024] 的单次训练审计。
• 仍要辅助数据或轨迹： QMIA（Bertran et al., 2023）在留出数据上做分位数回归，按输入设阈值；论文称稀疏区域可能较差。Zhang et al. [2024] 用类似思路检测语言模型文档成员。LT-IQR（Pollock et al., 2025）用损失轨迹做相对排序，通常不到校准概率。
• Dodd et al. [2025]： 用训练与测试损失尾的分离估计模型级披露，不训练参考模型。论文称这与 WW 最接近：都不必训练参考模型，但只给汇总量，不给逐条脆弱性。

廉价代理与实验对照

• 泛化差距： Yeom et al. [2018] 与 Shokri et al. [2017] 把它当作不必再训练的粗代理。论文引 Nasr et al. [2019]，称白盒下泛化误差预测不好隐私风险。
• Preen and Smith [2026]： 对树分类器用结构和预测构造模型级指标，得到精度高、召回低的脆弱性指示，从而可以不做参考模型 MIA。
• 实验里的基线： 对照是泛化差距和测试准确率，不是其他攻击的成功率；数据为 CIFAR-10 与 Volkert；隐私真值是 SACRO-ML 中的 online LiRA（AUC 与 [email protected]）。

第 2.3 节的定位是：参考模型攻击代价高；免参考方法或要额外数据与训练，或要完整轨迹，或只有粗汇总量。泛化差距仍最常用，但与 MIA 脆弱性的关系不一致。作者称 WW 完全不需要评估数据，比差距更便宜，且没有先前工作检验谱度量是否跟踪 LiRA、是否带有差距之外的信息。

作者用 WeightWatcher（WW） 从已训练权重抽出谱统计，再与 online LiRA 在同一批 MLP 上的成员推断读数做对照，看谱能否代理泄漏、是否强于泛化差距。WW 不使用训练或测试数据。

三条度量

• 每个目标模型记录泛化、谱复杂度和 LiRA 泄漏，汇总在 Table 1。
• 泛化包括训练准确率、测试准确率，以及 ϵ_gap=ϵ_test−ϵ_train。作者沿用既有预期：该差距大，表示记住了训练样本，因而更容易被 MIA。
• 隐私用 online LiRA，这里取 64 个 shadow 模型。AUC 以 0.5 为随机猜测、1.0 为完美攻击者；[email protected] 是假阳率固定为 0.001 时的真正例率。作者称后一指标对应更现实的低误报设置。
• Table 1 写明：WW 直接由权重计算；目标模型指标和 MIA 指标需要数据与/或 shadow 模型。

四个谱统计

• 对每一层权重 W，WW 取相关矩阵 X = W⊤W 的经验谱密度，将尾部拟合为截断幂律，再做成层聚合指标。论文写了 layer-aggregated，但没有写明汇总算子。
• α 是谱尾在对数–对数图上斜率的相反数。按 HT-SR，较小的 α 表示更强的隐式自正则；α 落在 [2, 4] 视为健康，小于 2 对应过拟合和秩坍缩，大于 4 对应欠训练或近随机层。
• Log α-Norm 同时用形状和尺度，用来比较不同超参数和深度。Log spectral norm 是 W 最大奇异值的对数，用来粗比不同深度。
• stable rank 定义为 R(W)=|W|_F²/|W|₂²，表示有效维度，比矩阵秩更耐噪声。作者称它更高时，层更像随机、隐式自正则更弱，多余容量使模型更倾向记忆。

数据与训练网格

• CIFAR-10：10 类、60,000 张 32×32×3 图像，标准 50,000/10,000 划分。Volkert（OpenML ID 41166）：10 类表格，58,310 条、180 个数值特征，零均值单位方差，随机分层 80–20%。作者称不用 MIA 比较里常见的 50–50 划分，以便更接近真实审计时的数据量。
• 模型全是前馈 MLP：ReLU，无 dropout、无归一化，10 类线性输出，交叉熵配隐式 softmax。11 组深度×宽度为 (1, 4096)、(2, 1024)、(2, 2048)、(3, 512)、(3, 1024)、(3, 2048)、(4, 1024)、(4, 2048)、(4, 4096)、(8, 512)、(8, 1024)（Table 2）。
• 每个结构再取学习率 {0.001, 0.01} 与 weight decay {0, 0.0005}（Table 2 写作 5×10−4），共 44 个目标模型。优化为 SGD，momentum 0.9，batch size 32，Kaiming uniform，训练 100 epoch 后评估。数据全部使用，无增强，标签噪声为 0。
• Table 2 的说明包括：去掉 dropout 和归一化，以免与 weight decay 混淆；两个学习率对应高低隐式正则；100 epoch 用来覆盖欠拟合和过拟合。激活、优化器和 batch size 全部固定。

相关、回归与高风险标记

• 主分析是模型级 Spearman 秩相关。每个数据集 44 个点，变量是四个 WW 指标或泛化指标，对象是 LiRA AUC 与 [email protected]。
• 互补性用普通最小二乘，预测变量先标准化。预测 AUC 时，正文先同时放入 ϵgap 与 stable rank，Table 4 改为 ϵgap 与 log stable rank。预测 TPR 时先取对数，再放入 ϵgap 与 Log α-Norm；取对数是因为原始 TPR 右偏，与 Figure 1、Figure 2 的对数轴一致。
• 筛查实验把模型标成脆弱或安全：LiRA [email protected] 高于 0.015。作者称这相当于随机猜测的 15 倍。各指标单独算 ROC-AUC，再用逻辑回归合并 ϵgap 与 Log α-Norm，并在 10 倍和 20 倍上重复。这是模型级标记，不是逐条记录的成员判定。

两个数据集上各 44 个 MLP 的谱度量与 LiRA 做 Spearman 相关，再用回归和二分类看能否标出高泄漏模型。

实验设置

• 模型与数据： Table 2 的 11 种 ReLU MLP，学习率取 0.001 或 0.01，weight decay 取 0 或 0.0005，每个数据集 44 个模型。CIFAR-10 共 60,000 张，划分 50,000/10,000；Volkert（OpenML 41166）共 58,310 条、180 维，随机分层 80–20%，并做零均值单位方差。
• 训练： SGD，momentum 0.9，batch size 32，Kaiming uniform，100 epoch；无 dropout、无归一化、无增强、无标签噪声。只在第 100 epoch 取值。
• LiRA： SACRO-ML 的 online 版本，64 个 shadow 模型。AUC 中 0.5 为随机、1.0 为完美攻击者；另一指标是 FPR=0.001 处的 TPR。论文没有另写 shadow 的 epoch 或学习率。
• 谱与对照： 层聚合的 α、Log α-Norm、Log spectral norm、stable rank。对照信号是 ϵgap 与测试准确率。WW 只用权重。
• 统计： 44 个模型为点的 Spearman（Table 3）；标准化后的 OLS（Table 4，n=44）；高风险 ROC-AUC（Table 5）。论文未报告多种随机种子。

主结果

下表均为 Spearman ρ，出自 Table 3，每个数据集 44 个模型。Figure 1 与 Figure 2 为对应散点，TPR 画在对数轴上。

配对	CIFAR-10	Volkert
stable rank 与 AUC	0.87（p=0.00）	0.60（p=0.00）
ϵgap 与 AUC	0.68（p=0.00）	0.54（p=0.00）
Log α-Norm 与 [email protected]	−0.55（p=0.00）	−0.41（p=0.01）
ϵgap 与 [email protected]	0.04（p=0.78）	−0.34（p=0.03）
α 与 AUC	−0.08（p=0.61）	0.61（p=0.00）
stable rank 与 [email protected]	0.02（p=0.88）	−0.44（p=0.00）
Log spectral norm 与 AUC	−0.55（p=0.00）	−0.27（p=0.08）
Log α-Norm 与 AUC	−0.50（p=0.00）	0.10（p=0.52）

• 作者称 stable rank 跟踪总体攻击成功，且这一关联强于 ϵgap；Log α-Norm 跟踪低 FPR，而 ϵgap 在该区域弱、方向还不一致。正文把 CIFAR-10 上 ϵgap 与 AUC 写成 0.67，把 Volkert 上 Log α-Norm 与 TPR 写成 −0.40；这两处以表中的 0.68 和 −0.41 为准。
• α 与 AUC 在两个数据集上方向不同。作者认为不同谱统计对应泄漏的不同侧面。按文中的 HT-SR 表述，更低的 stable rank 和更小的 α 表示更强自正则；作者认为在本网格里 stable rank 主要像容量，更大的矩阵 stable rank 更高。
• 作者称 CIFAR-10 上看不到 stable rank 与 [email protected] 的相关，Volkert 上则为负相关。表中 Volkert 的 Log α-Norm、Log spectral norm 与 AUC 的 p 为 0.52 和 0.08。

谱度量与泛化指标

• 测了什么： Figure 3、Figure 4 与 Table 3 把 ϵgap、测试准确率同 LiRA 以及同 Log α-Norm、stable rank 放在一起。
• 数字： stable rank 与测试准确率的 ρ 为 0.73（CIFAR-10）和 0.57（Volkert），p 均为 0.00；与 ϵgap 为 0.49（p=0.00）和 0.16（p=0.29）。Log α-Norm 与 ϵgap 为 −0.39（p=0.01）和 −0.08（p=0.62）；与测试准确率为 −0.22（p=0.15）和 0.44（p=0.00）。ϵgap 与训练准确率为 0.62 和 0.47（p 均为 0.00），与测试准确率只有 0.23（p=0.13）和 −0.09（p=0.58）。
• 作者的解读： 与更高 AUC 相伴的 stable rank，也与更高的测试准确率相伴。Log α-Norm 与这两种泛化指标的相关较弱，且对测试准确率的符号在两个数据集上相反。作者认为本网格里的 ϵgap 主要由训练准确率推动，模型之间的差别主要是记忆程度而不是留出性能，所以差距比 stable rank 更嘈杂。

联合回归

• AUC（Table 4，n=44）： 预测变量为标准化的 ϵgap 与 log stable rank。CIFAR-10 单独 R² 为 0.43 与 0.68，联合为 0.82；β 为 0.03 与 0.04，p 均为 0.00。Volkert 单独 R² 为 0.38 与 0.32，联合为 0.62；β 为 0.03 与 0.02，p 均为 0.00。作者称二者互补、并不重复。
• 未取对数的对照只在正文： 原始 stable rank 与 ϵgap 的联合 R²，CIFAR-10 为 0.71（单独 0.43 与 0.47；β=0.032 与 0.035，均 p<0.001），Volkert 为 0.57（单独 0.38 与 0.26；β=0.026 与 0.020，均 p<0.001）。此时 Volkert 上 ϵgap 的系数大于 stable rank，与 CIFAR-10 相反。作者称改用 log stable rank 后这一排序被消除，且其权重大于或等于差距。Table 4 里 Volkert 仍是 βgap=0.03、βlog stable rank=0.02。
• log [email protected]（Table 4）： CIFAR-10 联合 R²=0.19，Log α-Norm 单独 0.16，ϵgap 单独 0.00；β 为 −0.80（p=0.00）和 −0.33（p=0.21）。Volkert 联合 R²=0.16，单独为 0.07 与 0.09；β 为 −0.44（p=0.08）和 −0.50（p=0.05）。作者称低 FPR 的可解释方差低于 AUC，占优变量也会换边。正文把 CIFAR-10 上 ϵgap 的单独 R² 写成 0.001，p 写成 0.004、0.21、0.075、0.045。

高风险二分类

• 15 倍（正文）： [email protected]>0.015 视为脆弱，n=44。Log α-Norm 与 α 的 ROC-AUC：CIFAR-10 为 0.79 与 0.75，Volkert 为 0.70 与 0.74。ϵgap 为 0.47 与 0.79；stable rank 为 0.67 与 0.29。0.29 低于 0.5。作者称 α 与 Log α-Norm 在两个数据集上都能分开高低风险，ϵgap 与 stable rank 不能跨数据集保持同一表现。
• Table 5（10× / 15× / 20×）： CIFAR-10 上 Log α-Norm 为 0.74、0.79、0.83，ϵgap 为 0.50、0.47、0.40，逻辑回归合并为 0.73、0.77、0.82。Volkert 上 Log α-Norm 为 0.70、0.70、0.61，ϵgap 为 0.82、0.79、0.84，合并为 0.81、0.77、0.81。
• 作者的说法与表内对照： 作者报告 10× 与 20× 重复中，α 的 ROC-AUC 处于 0.70–0.77；ϵgap 在 CIFAR-10 为 0.40–0.50，在 Volkert 为 0.79–0.84。作者称合并后 Volkert 上升、CIFAR-10 基本不变，并举 20× 时 Log α-Norm 从 0.61 对 0.83 变为合并后的 0.81 对 0.82。Table 5 里 CIFAR-10 的合并值在三个阈值上都低于单独的 Log α-Norm。论文未报告各阈值下被标为脆弱的模型个数。

其他消融与分析

• 测试准确率与 AUC：CIFAR-10 ρ=0.77（p=0.00），Volkert ρ=0.40（p=0.01）；与 [email protected] 为 −0.13（p=0.41）和 −0.37（p=0.01）（Table 3）。
• α 与 [email protected]：−0.36（p=0.02）和 −0.37（p=0.01）；Log spectral norm 与 [email protected]：−0.45（p=0.00）和 −0.18（p=0.25）（Table 3）。
• 论文没有按学习率、weight decay 或单个 D×W 分开报告 ρ 或 R²。

作者把现有结果限定为两个数据集上、MLP 与 LiRA 之间的相关。

作者指出的局限与后续方向

• 只使用 CIFAR-10 和 Volkert，且都是训练 100 epoch 的 MLP。作者写明还不清楚关系能否延伸到 ResNet、Transformer，或文本等模态（Limitations）。
• 攻击只评估了 LiRA。作者称其他攻击形式与谱性质的关系可能不同（Limitations）。
• 每个数据集只有 44 个模型，回归应看作 suggestive，而不是 definitive。作者写明没有做跨数据集迁移，也没有对拟合模型做留出验证（Limitations）。
• 观察到的是相关。作者写明没有建立谱性质与隐私泄漏之间的因果关系（Conclusions）。
• 工作假设是 WW 经由泛化和过拟合间接代理隐私风险。作者认为该假设可能不完整，因为 WW 与 LiRA 的关联强于 ϵgap 与 LiRA；后续应检查谱度量是否直接对应似然攻击所利用的损失分布（Conclusions）。
• 目前只有成对组合和单调关系。作者称若把全部 WW 指标放进更丰富的多元或非线性组合，低 FPR 区间可能预测得更好。他们同时写明：结果说明 WW 是 LiRA 风险的一种有希望的指示，而不是确立它在各种架构、数据集和攻击上普遍适用（Conclusions 与 Limitations）。

实验覆盖范围

• 目标模型是 Table 2 的 11 种 MLP-D×W；学习率两个取值，weight decay 两个取值；每数据集 44 个；SGD（momentum 0.9）、batch size 32、100 epoch、Kaiming uniform、ReLU、无 dropout 与归一化、无增强、无标签噪声（Section 3.2）。
• 划分是 CIFAR-10 的 50,000/10,000，以及 Volkert 的随机分层 80–20%（58,310 条、180 维特征）。隐私侧是 online LiRA、64 个 shadow 模型，报告的是模型级 AUC 与 [email protected]（Section 3.1–3.2）。
• 统计是这 44 个模型上的 Spearman（Table 3）、n=44 的 OLS（Table 4），以及相对随机猜测 10×、15×、20× 的 ROC-AUC（Table 5）。联合模型只用了 ϵgap 配 stable rank（或 log stable rank），以及 ϵgap 配 Log α-Norm。
• 论文未报告层聚合的具体算法、各风险阈值下的模型个数、重复训练次数，以及 shadow 模型是否在超参数上与目标逐项相同（Section 3 只写 online LiRA 与 64 个 shadow 模型）。
• 回归和逻辑回归用全部 44 个模型拟合；作者在 Limitations 写明没有留出验证或跨数据集迁移。

作者在 MLP 上检查 WeightWatcher 谱统计是否与 online LiRA 同向，以便不看数据、不训练 shadow 模型就做模型级成员风险筛查。

放出前的审计要知道训练成员会不会被认出来。LiRA 依赖大量 shadow 模型，候选一多就难以逐个跑。泛化差距便宜，但在低假阳率下经常对不齐攻击成功。

网格只变深度、宽度、学习率和 weight decay。CIFAR-10 用 50,000/10,000，Volkert 用分层 80–20%，各 44 个 ReLU MLP，训练 100 epoch。隐私读数来自 64 个 shadow 模型的 online LiRA：AUC，以及 FPR=0.001 时的 TPR。谱侧是 α、Log α-Norm、对数谱范数和 stable rank。

• Table 3 中，stable rank 与 AUC 的 ρ 为 0.87（CIFAR-10）和 0.60（Volkert），高于同表泛化差距的 0.68 和 0.54。
• Log α-Norm 与 [email protected] 为 −0.55 和 −0.41；差距对应 0.04 和 −0.34。
• Table 4 里，差距与 log stable rank 预测 AUC 的 R² 为 0.82 和 0.62（各 n=44）。预测对数 TPR 的联合 R² 只有 0.19 和 0.16，占优系数随数据集对换。
• TPR 高于随机猜测 15 倍时，Log α-Norm 的 ROC-AUC 为 0.79 和 0.70，差距为 0.47 和 0.79，stable rank 在 Volkert 上为 0.29。Table 5 中 CIFAR-10 的合并 ROC-AUC 低于单独的 Log α-Norm。

作者的结论是：谱统计和泛化差距带有互补信息，因此有可能只凭权重做模型级筛查。他们写明这是相关而不是因果，44 个 MLP 上的回归不是定论，也不说明其他架构、模态或攻击会同样成立。