从效率到泄露：联邦语言模型微调中的隐私后门
From Efficiency to Leakage -- Privacy Backdoor in Federated Language Model Fine-Tuning
AI 导读
研究者提出针对联邦学习参数高效微调（PEFT）的隐私后门攻击 NeuroImprint，恶意参数服务器可在不降低模型效用的前提下，把适配器悄悄改造成隐式记住客户端训练样本的后门。该攻击为每个训练样本分配一个专属记忆神经元，并约束每个神经元在本地微调轨迹中至多更新一次，以缓解大本地批次和 Adam/AdamW 等有状态优化器带来的跨样本冲突与跨步混合；微调完成后，这些孤立的逐样本更新可被闭式解析求逆恢复文本嵌入，再确定性地映射回 token 序列。作者在 BERT、GPT-2、Qwen2、Llama3.2 四个语言模型和四个不同领域的数据集上实现并评估了该攻击，结果显示可以较高的语义保真度重建 59% 至 79% 的微调样本。