让开源大语言模型文本水印抵御模型合并

研究者提出 Merge-Adversarial Training，通过对抗训练将文本水印蒸馏进开源大语言模型权重，使水印在后续模型合并后仍能存续。作者称这是首次设计出对模型合并持久的开源模型文本水印，并首次在真实合并场景下评测此类水印，覆盖组合专家能力、防止灾难性遗忘等常见用途和 3 种主流合并算法。结果显示该方法始终优于所有基线，例如在 SLERP 下 TPR@1%FPR 最高提升 51 个百分点、平均提升 25 个百分点，同时保持下游能力。作者认为对抗训练是增强开源模型水印抵御训练后修改的可靠途径。