以扩散理论为手术刀：检测并净化预训练语言模型中由后门或偏见导致的有毒维度
Diffusion Theory as a Scalpel: Detecting and Purifying Poisonous Dimensions in Pre-trained Language Models Caused by Backdoor or Bias
AI 导读
研究者提出Fine-purifying方法，用扩散理论研究微调动态，检测并净化预训练语言模型中由后门或偏见注入的有毒维度。该方法依据各维度参数漂移与Hessian的关系定位动态异常的维度，将其重置为干净预训练权重，再在小规模干净数据集上微调。作者称这是首次将扩散理论引导的动态研究用于安全防御，实验验证了其有效性。