RAPTOR：面向混合专家模型的角色感知隐私训练
RAPTOR: Role-Aware Private Training for Mixture-of-Experts
AI 导读
研究者提出 RAPTOR，一个面向稀疏 MoE 模型的角色感知差分隐私微调框架，并证明其满足 (ε,δ)-DP。论文指出，现有方法把稀疏 MoE 当作单个稠密块处理，导致全局裁剪压制专家梯度、批级归一化稀释稀疏专家更新、固定隐私噪声降低低负载专家信噪比三类失败模式。RAPTOR 交替优化共享层与专家层，采用专家专属裁剪与噪声、公开期望所有者分母及与专家计数无关的更新计划；由于每条记录只归属一个专家，一层内更新全部 E 个专家的隐私开销不高于更新单个专家。在 Switch Transformer 与 OLMoE 的 GLUE 任务微调及 DeepSeek-VL2-Tiny 上，该方法在多个隐私预算下稳定优于标准 DP 基线，预算最紧时优势通常最大。代码与模型已在 GitHub 开源。