正则化与生成式持续学习模型中的对抗性定向遗忘
Adversarial Targeted Forgetting in Regularization and Generative Based Continual Learning Models
AI 导读
研究者 Muhammad Umer 与 Robi Polikar 提出针对持续学习模型的对抗性定向遗忘攻击，通过在训练数据中注入后门样本作为误导信息，迫使模型学习并保留这些虚假内容，使攻击者得以在测试阶段控制模型。该攻击利用持续学习算法长期保留已有知识的能力，在此前针对 Elastic Weight Consolidation（EWC）的可感知误导研究基础上，扩展到其他基于正则化和生成回放的持续学习算法，并延伸至人眼不可察觉的误导样本。作者在 MNIST 的 rotated 与 split 基准变体上、于域增量和类增量两种学习场景下评估了该漏洞，展示攻击者可通过插入精心设计的后门样本，就任意任务制造“虚假记忆”，控制对所选任务的遗忘程度。作者称该漏洞危害显著，后门样本仅需混入 1% 的训练数据即可破坏模型记忆，即使误导信息人眼无法察觉。