跳到正文
原文
arXiv:后门、投毒与隐私· arXiv:2609.38895· Haoran Tang, Andrew Tan, Rajiv Khanna·· 2 天前

Unmerge:用任务算术实现高效机器遗忘

Unmerge: Efficient Machine Unlearning via Task Arithmetic

AI 导读

Unmerge 将机器遗忘重构为任务算术的逆运算:微调得到的合并任务向量减去低秩遗忘分量即可恢复保留任务向量,因为遗忘激活在每层都集中在少数主方向构成的子空间内。在 CIFAR-100 和 Tiny ImageNet 上对 ResNet-50 做类别级遗忘时,其 Tug-of-War 指标比同等运行时间的基线最高提升约 24%,比运行慢约 5 倍的更强基线最高提升约 18%,成员推断暴露维持在重训练水平。该方法同样适用于 ViT-S/16,并可扩展到 Llama-3.2-3B,其逐层基几何还可作为判断遗忘何时何地结构性困难的诊断工具。

阅读原文arxiv.org