从监督微调模型的专有数据中重建个人身份信息
Reconstruction of Personally Identifiable Information from Proprietary Data in Supervised Fine-Tuned Models
AI 导读
研究者提出覆盖感知解码算法 COVA，在基于前缀的攻击下从经专有数据监督微调的大语言模型中定向重建特定用户的个人身份信息（PII），在多个数据集上的重建效果均优于基线解码方法。研究构建了医疗和法律场景的多轮用户中心问答数据集并加入 PII，用于贴近现实的泄露评估；实验显示攻击者仅掌握少量目标用户的上下文信息即可大幅提升重建成功率。作者指出，小规模专有 SFT 数据集会让模型在微调中学到可被重建的目标用户 PII 关联，从而造成有实际意义的隐私泄露。