可分离专家架构：通过可组合适配器与可删除用户代理迈向隐私保护的大语言模型个性化
Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies
AI 导读
论文提出一种三层架构，将用户个人数据与共享权重解耦，由静态基座模型、不携带用户数据的可组合领域专家 LoRA 适配器，以及删除即构成确定性机器遗忘的每用户代理工件（proxy artefacts）组成。在 Phi-3.5-mini 和 Llama-3.1-8B 上的评估确认了每用户差异化，个人数据在影响输出的同时保持隔离，删除代理后输出回到基线（KL 散度约 0.21 nats，82-89% 验证通过率），跨用户污染接近零。由于用户特定信息从不进入共享权重，该架构在构造上缓解针对共享模型组件的模型反演、成员推断和训练数据提取，并把机器遗忘从难以处理的权重编辑问题转化为确定性删除操作，兼容 DP-SGD 用于隐私保护的共享模型改进。