差分隐私混合公共数据集提升隐私学习效果
Differentially Private Mixing of Public Datasets Improves Private Learning
AI 导读
研究者提出首个能在差分隐私（DP）下为特定敏感下游任务学习多个公共数据集混合配比的流程，核心思路是通过隐私学习一个低维线性模型来找到最佳混合方案。在 NIH ChestX-ray14 的 X 射线分类任务上，该方法相比基线将 macro AUC 最多提升 0.037，在 ε=1 时 Cardiomegaly 的相对 AUC 提升达 22.8%；在 ENRON 邮件数据集的 DP 训练中，用 The Common Pile 混合数据预训练使测试困惑度相对降低 16%。