Surprise Masking：用模型似然过滤隐私数据

研究者提出 Surprise Masking（SM），一种基于困惑度过滤的隐私数据清洗方法，用公开可得的参考模型识别训练数据中不需要的片段并抑制模型对其的学习，同时保留样本其余部分。在合成代码基准上，SM 的隐私与效用权衡优于标准屏蔽方法和 PII 过滤；微调实验中，SM 把已泄露前缀下隐私值的近似抽取率从 66.3% 降到 2.3%，把代码风格怪癖的复现率从 23.6% 降到 1.3%，且在所评估的编码任务上性能保持不变。在直接删除不需要内容的数据集清洗场景中，SM 在检测被投毒死代码上优于基于困惑度的防御 DePA，而在更广的凭据和 PII 基准上专用检测器表现更好。跨十一个设置，SM 的下游效果可由不需要内容与有用内容在分布上的分离程度预测，对代码数据尤其有用。