TANGO:在 token 对中为掩码扩散语言模型嵌入水印
TANGO: Watermarking Masked Diffusion Language Models in Token Pairs
AI 导读
研究者提出 TANGO,一种面向掩码扩散语言模型的水印方法,把水印嵌入相邻 token 对,并报告在两个掩码扩散模型上能检测出几乎所有未编辑的水印文本和多数编辑过的文本。掩码扩散模型并行填充掩码位置且没有固定顺序,常用的从左到右水印难以直接适用,而固定绿名单又可通过比较水印文本与无水印文本的 token 频率被恢复并伪造。TANGO 用密钥把词表划分为颜色类,根据密钥和附近一个已解码 token 的颜色偏置新 token,使偏好颜色随位置变化,token 频率更接近无水印文本。检测只需文本和密钥,不假设解码顺序,针对固定绿名单的频率攻击无法奏效。