差分隐私混合公共数据集提升隐私学习效果

如何在差分隐私下，为给定敏感下游任务选择公开数据的预训练混合。

• 敏感数据上的效用下降：医疗记录、人际通信等任务往往只有敏感来源。作者称，即便匿名化，模型仍可能泄露贡献者信息；DP要求含某人数据与不含该人数据时的模型不可区分，但DP训练常带来较大效用下降。
• 均匀预训练的不足：先在可视为非敏感的公开数据上预训练、再DP微调，有时能减轻下降，效果取决于公开数据与敏感数据是否相关。作者称，对全部公开数据均匀预训练，是私下混合公开数据时的常见做法和state-of-the-art。
• 枚举混合的代价：用私有超参数选择试多种混合时，候选数随公开数据集个数指数增长，且每个候选都接触敏感数据。作者称，在某些混合问题上，固定误差所需的隐私预算随来源数线性增长。
• 本文做法：作者提出DP-MixMin。用各公开源的代理模型，在敏感数据的一部分上私有地学习低维线性混合，再按该混合预训练并DP微调，给出端到端隐私保证。作者称这是首个端到端私有化的预训练混合学习流程。

DP公开预训练

• Li等（2022）、Yu等（2022）以及De等（2022）、Mehta等（2022）：公开预训练后再私有微调，分别用于语言和视觉上的DP结果。作者称效果强烈依赖所用公开数据（Ganesh等，2023；Tramèr等，2022）。

非私有数据混合

• The Pile（Gao等，2020）、DoReMi（Xie等，2023）、RegMix（Liu等，2024）、Gururangan等（2020）：在多个来源上优化混合以提升预训练。MixMin（Thudi等，2025）表明，混合目标渐近等价于在各来源代理预测上拟合线性模型；本文在其上加差分隐私。

公开数据的私有选择

• GSD（Gu等，2025）：用梯度top-k子空间距离给候选公开源打分，并选择单一来源。作者指出，公开源共享输入空间时该方法按构造无法区分标签分布；其私有化选择被提出但未做端到端私有实验。作者称自己实现后在本设定下得不到有意义结果，且即便在CheXpert与MIMIC-CXR之间做oracle选择，仍不如在每个语料内做DP-MixMin（附录A.4）。
• Yu等（2024）：用DP域分类器在单一预先选定的公开语料内排序样本，并对靠前子集预训练。作者称其相对未过滤基线的收益在GPT2-Medium（355M）上不再明显，并引用对方图示：对OpenWebText做15%选择性预训练与100%全量预训练达到同一困惑度。

基线与数据

• 基线方法：Random Initialization（无公开预训练的DP微调）、Uniform Pretraining（各公开源等权）、Random Search（从随机候选混合中选最优者；选择步骤非私有，作者称因此高估私有超参数搜索）。
• 基准/数据集：敏感影像为NIH ChestX-ray14，公开源为CheXpert与MIMIC-CXR；语言任务为Enron与OpenWebMath，公开文本来自The Common Pile。

作者称，以往面向DP学习的公开数据选择无法超过均匀混合；DP-MixMin可在输入分布共享时工作，并给出端到端DP保证，且在GPT2-Medium规模上相对未加权预训练仍有收益。

DP-MixMin把“选哪些公开数据来预训练”变成对混合权重的私有凸优化，再接一次公开预训练和一次DP微调；两段使用不相交的敏感数据，总隐私取较差的一段。

数据混合设定

• 来源与目标：有k个公开数据集，来自共享输入输出空间上的源分布；敏感数据来自目标分布。要学习的是单纯形上的采样权重λ。
• 损失与假设：损失限定为交叉熵或MSE。作者假设公开源无协变量偏移，并称这只用于简化表述；生成任务没有协变量，疾病分类使用同一图像分布，实验中该假设成立。若有协变量偏移，作者指出应改用同时匹配输入与输出联合分布的目标。
• 双层问题：直接选λ需要为许多候选混合各训练一次模型。作者称，用随机搜索做私有超参数优化时，隐私–效用权衡更差。

凸化简与隐私缩放

• MixMin目标：作者沿用Thudi等的结果：当混合上训练的模型接近贝叶斯最优时，双层问题化为凸问题。式(2)写成F(λ)=E_{(x,y)∼ dt}[L(∑_i λ_i f_i(x), y)]，即用各来源贝叶斯最优预测的凸组合，在敏感分布上计算损失。
• 隐私缩放：Lemma 4.1称，存在Lipschitz混合目标，使Poisson采样的私有超参数搜索要达到固定且足够小的超额误差，需要ε为Ω(k)；对任意Lipschitz的MixMin目标，存在DP随机凸优化算法，在混合学习样本量n为Ω(1/α²)时，ε为O(√k)。该比较假设模型接近贝叶斯最优，因此后文改用经验代理。

经验流程

• 数据划分：敏感集分成不相交的混合学习子集和微调子集。Figure 1中，ρ是用于学混合的比例。代理模型只看公开数据。
• 私有更新：用代理预测代替贝叶斯最优模型，用经验损失代替对目标分布的期望。每步对λ计算逐样本梯度，裁剪到固定范数，加高斯噪声，再做熵下降并投影回单纯形（Algorithm 1）。作者称保证来自采样高斯机制、后处理与跨步组合，会计器使用Opacus。
• 预训练：按λ从公开源采样并预训练，再在剩余敏感数据上DP-SGD微调。影像预训练最小化标量输出与混合加权标签之和的二元交叉熵；脚注称这是重要性加权，相对按λ采样标签可降低方差。
• 总隐私：若两段分别为(ε1, δ1)与(ε2, δ2)，并行组合给出(ϵ,δ)=(max(ϵ₁,ϵ₂),max(δ₁,δ₂))。作者称学混合花费的是数据而不是额外隐私；相对用全部敏感数据微调的均匀预训练，微调数据更少。

代理、用户级与ρ

• 分类代理：把k个公开集的标签空间拼接，训练一个多类代理，第i个来源取输出的对应段。作者称，若达到贝叶斯最优，则与单独在该来源上训练的概率相同。语言建模仍对每个公开域单独训练代理。
• 用户级变体：Enron按用户划分混合学习集。Algorithm 2每步抽取一批用户，在用户内平均损失后裁剪再加噪；G_ULS限制每个用户进入一次更新的样本数。用户级并行组合要求划分沿用户边界。
• ρ的选取：正文用与非私有解的余弦相似度事后检查ρ。附录A.2由误差界给出事前的充分规模，并区分统计受限与隐私受限；作者称这是指引，不是普适常数。

实验设置

• 影像模型与数据：下游模型为随机初始化的ResNet-18，代理为ResNet-50。敏感任务是NIH ChestX-ray14的14个疾病分类；公开源是CheXpert与MIMIC-CXR，各有14个胸片疾病任务，疾病和标注方式不同。不确定标签−1映射为0。NIH的80%用于训练，20%分给验证和测试。
• 影像协议：DP-MixMin与Random Search用训练划分的10%学混合、其余微调；Uniform用全部训练划分微调。正文写每种方法重复5次；图注与表注写3–5个seed。δ=10^-5，ε取1、2、5。超参只在Atelectasis、CheXpert、ε=1上调一次，然后固定。混合学习裁剪范数13.0、批大小1000；学习率只给出候选{0.5, 1.0, 2.0}。下游微调36,000步，学习率10^-4，裁剪范数2.0。
• 语言模型与数据：代理为GPT-2 Small（124M），下游为GPT-2 Medium（355M）；DP微调只更新最后两层和输出头。公开源是The Common Pile中至少10GB的18个域里的16个，另两个因流式限制排除。Enron只用sent邮件文件夹，148个用户、约80,000封邮件，做用户级DP。OpenWebMath流式取50,000个样本，做样本级DP。语言结果为3个seed，δ=10^-5。
• 语言协议：混合学习200步、步长5.0；Enron裁剪范数0.01，OpenWebMath为0.2。Enron的ρ取0.1、0.2、0.3，OpenWebMath为0.1。Enron微调有效批为100个用户，G_ULS为15，token预算25M；OpenWebMath微调预算50M。
• 基线：Random Initialization、Uniform Pretraining、Random Search。Random Search的选择非私有，计算量不少于DP-MixMin；论文未报告候选数m。OpenWebMath只与Uniform比较。
• 指标与审计：影像报告各类AUC和无权重macro AUC，语言报告测试困惑度。混合恢复用与非私有MixMin的余弦相似度和L1。审计用Jagielski等的canary框架，每配置2000次，Clopper–Pearson、95%置信，并分SELECT与EVAL。

主结果

下表macro AUC来自Table 7、Table 8，困惑度来自Table 1、Table 2。影像δ=10^-5；语言ρ按行注明。无预训练列在语言表中未出现。

表格较宽，可左右滑动

条件	DP-MixMin	Uniform	Random Search	Random Initialization
CheXpert→NIH macro AUC，ε=1	0.707	0.670	0.667	0.636
CheXpert→NIH macro AUC，ε=5	0.729	0.701	0.698	0.675
MIMIC-CXR→NIH macro AUC，ε=1	0.712	0.679	0.670	0.636
MIMIC-CXR→NIH macro AUC，ε=5	0.730	0.706	0.703	0.675
Enron困惑度，ρ=0.3，ε=1	16.78±0.55	19.88±1.10	20.46±0.70	未报告
OpenWebMath困惑度，ρ=0.1，ε=1	12.22±0.17	14.05±0.17	未报告	未报告

• 作者对影像的概括：作者称每个测试的ε上，DP-MixMin都优于Uniform和Random Search（Figure 2）。Table 7、8的Δ行给出相对Uniform的绝对macro AUC增益：CheXpert为+0.037、+0.032、+0.029（ε=1、2、5），MIMIC-CXR为+0.033、+0.028、+0.024。引言写平均增益约0.03；摘要写最多提高0.037。ε=2的macro AUC，CheXpert为0.719、0.687、0.684，MIMIC-CXR为0.724、0.696、0.683。
• 逐类并不都是点估计最高：Figure 3在ε=1给出相对Random Initialization的macro相对AUC增益：CheXpert上DP-MixMin +11.48%、Uniform +5.42%、Random Search +4.74%；MIMIC-CXR上为+12.29%、+6.87%、+5.22%。作者称大致把两条基线的增益翻倍，且多数情况超过翻倍。摘要写Cardiomegaly在ε=1的相对AUC增益为+22.8%，该句未点名对照基线；Table 7该格为0.872±0.008与Uniform的0.710±0.009。Table 8中MIMIC-CXR、Atelectasis、ε=5为0.737±0.000，低于Uniform的0.740±0.008和Random Search的0.755±0.005。
• 语言：Table 1在ρ=0.3、ε=2与ε=5的DP-MixMin困惑度为16.44±0.95、15.71±0.77，Uniform为19.18±1.01、18.24±0.89，Random Search为19.72±0.66、18.72±0.62。正文写相对基线的降幅为15.6%、14.3%、13.9%（ε=1、2、5）；Figure 5注写相对均匀混合约16%/14%/14%，相对随机混合约18%/17%/16%；摘要写下降16%。Table 2中Uniform在ε=2、5为14.04±0.17、14.02±0.17；作者称约比均匀混合低13%，且均匀混合几乎不随ε变化。

与非私有MixMin的比较

• 权重：Table 11在ε=1、ρ=0.1、n=70时，余弦相似度为CheXpert→NIH的0.97±0.01、MIMIC-CXR→NIH的0.93±0.04。Table 14中Enron、ε=2、ρ=0.1（12个用户）为0.92±0.05。Table 15中OpenWebMath、ρ=0.1（2.8M tokens）、ε=0.2为0.92±0.02，ε=1为1.00±0.00。作者称多数设定下接近非私有解。
• 下游效用：非私有MixMin找混合时不付隐私，并在两个划分的全部私有数据上DP微调；Table 19表注称这是严格上界。Table 18的CheXpert macro AUC为0.712与0.711；Table 19的MIMIC-CXR为0.723与0.717。正文写成0.711 vs 0.712以及0.717 vs 0.723。作者称多数逐类差异在一个标准差内。
• ε很小时权重可以差于均匀参照：Table 11的均匀参照余弦相似度为CheXpert 0.75、MIMIC-CXR 0.80；ε=0.2时DP-MixMin为0.70±0.08与0.58±0.17。Table 14的均匀参照为0.40；ε=0.2、ρ=0.1时为0.08±0.11。

隐私审计

• 测了什么：审计混合学习机制，ε=1、δ=10^-5、ρ=0.1、k=14。自然canary是真实样本；max-clip canary使梯度达到裁剪范数，方向与权重最高的来源对齐。作者称后续输出只通过λ依赖该样本，因而只审计λ。
• 结果：Table 16、17中，自然canary在两个公开源、14个任务上的ε_LB均为0.000。max-clip的任务最大值，CheXpert为0.131，MIMIC-CXR为0.101。去掉噪声后，CheXpert最高5.60，MIMIC-CXR最高5.51；正文写高达5.6。
• 作者解读：作者称测量到的私有下界都低于声称的ε=1，没有经验上的隐私违反证据；无噪声对照能发现泄漏，因此该步骤对隐私敏感，DP是必要的。

超额误差随来源数

• 设置：附录A.6把ImageNet-1k的k个类当作公开源，k从2到1000，在CIFAR-100前10个二分类上运行，ε=1、δ=10^-5、N=50,000。超额误差相对非私有最优混合。
• 结果：Table 4的10任务平均（×10^-3）在k=16、32、64为4.9±2.0、3.8±1.6、3.4±1.1，到k=1000为17.7±4.3。作者称k≥32的log-log斜率为0.49，与√k的0.5一致，并低于私有超参数搜索的线性代价。

其他消融与分析

• ρ（Table 1，Enron、ε=1）：ρ=0.1/0.2/0.3的困惑度为17.97±2.72、17.52±1.55、16.78±0.55；正文与Figure 6注将末项标准差写成0.45。
• 代理轮数（Table 3，Atelectasis、CheXpert、ε=1）：1、2、4、6 epoch的AUC为0.744±0.005、0.745±0.005、0.742±0.006、0.749±0.003；文中均匀预训练为0.707。
• 顺序与并行组合（Table 6，总ε=1，只报告Atelectasis）：顺序0.740±0.010，并行0.747±0.005，非私有0.746±0.006。作者称没有一方一致更好。
• 类别分组（Table 10，相对Uniform）：CheXpert、ε=1，Group A（n=7）绝对+0.040、相对+5.6%，Group B（n=7）为+0.034、+6.0%。Table 9中Hernia阳性227例、占0.20%。
• 低患病率权重（Table 12，Hernia、CheXpert、ρ=0.1、ε=1）：余弦相似度0.99±0.00，均匀参照为0.64。
• GSD（附录A.4）：作者称14个来源共享图像集时梯度子空间距离没有区分力。

作者指出的局限与后续方向

• 其他领域：把DP-MixMin扩展到表格数据和其他领域，仍是重要后续工作（Conclusion）。
• 协变量偏移：公开表格源的输入特征常常不同，违反第3节的无协变量偏移假设（Conclusion）。
• 流程改进：后续工作可以研究如何改进当前DP-MixMin流程（Conclusion）。
• 优化器：Bassily等的理论结果提示，用DP Franke-Wolfe代替DP mirror descent（Conclusion）。

实验覆盖范围

• 下游被测模型为ResNet-18与GPT-2 Medium；代理为ResNet-50与GPT-2 Small。
• 敏感任务为NIH的14个疾病分类、Enron用户级语言建模（148个用户、约80,000封sent邮件）和OpenWebMath样本级语言建模（50,000个流式样本）；公开源为CheXpert、MIMIC-CXR与Common Pile的16个域。
• 主结果的ε为1、2、5，δ=10^-5。OpenWebMath的DP-MixMin只报告ε=1、ρ=0.1，且只与Uniform比较。论文未报告Random Search的候选数m。
• 影像混合学习报告裁剪范数13.0和批大小1000，未报告步数；学习率只给出{0.5, 1.0, 2.0}。语言混合学习为200步。
• 隐私审计对象是混合权重，两个公开源各14个任务、每配置2000次；作者称后续模型输出是λ的后处理。附录A.6报告ImageNet-1k到CIFAR-100前10个二分类的超额误差；附录A.7的顺序组合表只给出Atelectasis。

DP-MixMin是一条端到端的差分隐私训练流程：先私下决定多个公开数据集的预训练混合，再预训练并在敏感数据上DP微调。作者称这是首个这样的流程。

• 问题：DP训练常降低效用。公开预训练能否补回效用，取决于公开数据与敏感任务是否相关。均匀使用全部公开数据是常见做法；枚举混合则使计算和隐私代价随来源数变差。
• 方法：在模型接近贝叶斯最优时，混合选择可化为凸目标。实现上用公开数据训练的代理模型代替贝叶斯最优模型，在敏感数据的一个不相交子集上用裁剪加噪的梯度做熵下降，学出权重λ；再按λ预训练，并在剩余数据上DP微调。并行组合使总隐私取两段中较差者。分类用一个拼接标签空间的多类代理，语言则逐域训练代理。Enron使用用户级DP。
• 影像：CheXpert→NIH、ε=1的macro AUC为0.707，均匀混合为0.670，绝对增益+0.037；ε=2、5的增益为+0.032、+0.029（Table 7）。MIMIC-CXR→NIH在ε=1、2、5的增益为+0.033、+0.028、+0.024（Table 8）。摘要写Cardiomegaly在ε=1的相对AUC增益为+22.8%。Table 8里Atelectasis在ε=5的点估计低于Uniform和Random Search。
• 语言：Enron、ρ=0.3、ε=1的测试困惑度为16.78±0.55，均匀混合为19.88±1.10，Random Search为20.46±0.70（Table 1）。摘要写相对基线混合下降16%；正文写15.6%、14.3%、13.9%（ε=1、2、5）。OpenWebMath、ρ=0.1、ε=1为12.22±0.17，均匀混合为14.05±0.17（Table 2）。
• 作者的结论：作者认为更好的混合足以弥补微调数据变少，并称在低患病率标签、较紧隐私预算和用户级隐私下增益大。ε=1时，影像混合与非私有解的余弦相似度达到0.97±0.01和0.93±0.04（Table 11）。作者把扩展到输入特征不一致的表格数据，以及改用DP Franke-Wolfe，写成后续工作。