从隐私到泛化：差分隐私学习算法的线性最大信息界
From Privacy to Generalization: Linear Max-Information Bounds for Differentially Private Learning Algorithms
AI 导读
新研究为任何满足 (ε, δ)-差分隐私或 Rényi 差分隐私的算法推导出近似最大信息（max-information）的显式上界，超越了纯 ε-差分隐私下的经典结果。作者还利用内部随机化结构，为 Gaussian 机制输出扰动和 streaming DP-SGD 这两种常见隐私学习算法证明了更强的保证。作为应用，这些结果为深度网络导出非空洞的 PAC-Bayes 泛化界，其中先验分布由 DP-SGD 学习，而非经典的数据无关选取方式。