更精简的训练、更少的泄露：用 LoRA 重新审视大语言模型微调中的记忆化
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
AI 导读
Fei Wang 与 Baochun Li 的论文（arXiv 2506.20856）重新审视大语言模型微调中的记忆化（memorization），发现 LoRA 微调的记忆化风险明显低于全量微调，同时保持较强的任务性能。记忆化会使大语言模型容易受到数据提取攻击；预训练阶段的记忆化已被广泛研究，而微调尤其是广泛采用的参数高效方法 LoRA 微调中的记忆化此前探索较少。研究还发现，与此前结论不同，模型规模和数据重复这两个在预训练和全量微调中强烈影响记忆化的因素，在 LoRA 微调中不遵循相同趋势；作者使用更宽松的基于相似度的记忆化指标得出上述结论。