AGATE：面向多模态模型版权保护的隐蔽黑盒水印

AGATE 是一个模型无关的黑盒后门水印框架，用于多模态模型版权保护，解决水印的隐蔽性与鲁棒性挑战——现有方法易被对手恶意检测和伪造，导致水印逃逸。方法上，论文提出对抗触发器生成方法，从普通数据集生成隐蔽的对抗触发器，在保持视觉保真的同时诱导语义偏移；为缓解模型输出中的异常检测问题，提出后变换模块，通过缩小对抗触发器图像嵌入与文本嵌入的距离来校正模型输出；随后提出两阶段水印验证，比较使用与不使用变换模块的两组结果，判断当前模型是否侵权。实验显示，AGATE 在多模态图文检索和图像分类两个下游任务的五个数据集上持续优于最先进方法，并在两种对抗攻击场景下验证了鲁棒性。