隐私保护模型转录：基于差分隐私合成蒸馏
Privacy-Preserving Model Transcription with Differentially Private Synthetic Distillation
AI 导读
研究者提出“隐私保护模型转录”，一种无需访问私有数据即可把预训练教师模型转换为隐私保护学生模型的方案。其差分隐私合成蒸馏让生成器、教师与学生三方交替优化：教师与学生为合成数据生成经噪声扰动的差分隐私标签，学生用噪声标签更新，并作为判别器推动生成器训练。作者证明该方法具备差分隐私与收敛保证，实验显示其优于 26 个 SOTA 方法。