PAC-Private Autoregressive Generation:将 PAC 隐私扩展到自回归生成
PAC-Private Autoregressive Generation: Calibrating Noise to Ensemble Disagreement
AI 导读
研究者将 PAC 隐私从分类扩展到自回归生成,用私有语料构建 m=128 个重叠世界、每个世界训练一个适配器,按各世界投票的后验加权分歧校准噪声,一致时无需加噪。在 WikiText-103 与 GPT-2-small 上,每 token 预算 2^{-32} 时保留 74% 微调收益,10^6 token 后成员推断成功率上限 51.08%。与 PMixED 在相同成员推断界下相比,10^2 至 10^6 token 区间保留 98% 非隐私余量,后者至多 56%。