UnlearningSoup：大语言模型遗忘是否还需要反复调参？
UnlearningSoup: Is Repeated Tuning Necessary for Large Language Model Unlearning?
AI 导读
UnlearningSoup 框架用模型汤策略减少大语言模型遗忘中的反复调参，超参数选择效率提升 2.4x 至 3.3x。其中 EfficientSoup 用二分搜索插值在早期快速找到表现良好的模型，PerformanceSoup 用重加权 souping 在后期释放剩余性能。多数据集与多模型实验显示，各设置下性能持续改善。