大语言模型适配的实证隐私保护基准评测
Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models
AI 导读
研究者提出一个隐私基准，用鲁棒成员推断和金丝雀数据抽取等攻击，实测大语言模型在差分隐私（DP）适配下的实际隐私保护。他们系统改变适配数据分布，从与预训练数据完全重叠、同分布（IID）到完全分布外（OOD），并评测不同适配方法和隐私机制对脆弱性的影响。结果显示，同等理论保证下适配数据越接近预训练分布，实际隐私风险越高，即使没有直接数据重叠；LoRA 等参数高效微调方法在 OOD 数据上取得最好的实证隐私保护。作者还提出一个超越适配隐私、覆盖预训练到适配全流程的结构化隐私评估框架。