检测大语言模型的预训练数据

研究者提出预训练数据检测方法 Min-K% Prob，仅凭黑盒访问大语言模型即可判断给定文本是否被用于预训练，在 WIKIMIA 基准上较此前方法提升 7.4%。WIKIMIA 是论文同时引入的动态基准，利用模型训练前后创建的数据构造金标准。Min-K% Prob 基于一个简单假设，即未见过的文本往往包含若干在模型下概率极低的离群词，而已见文本较少出现这类词；与需要在相似数据上训练参考模型的既有方法不同，它无需了解预训练语料或额外训练。作者将该方法应用于版权书籍检测、下游评测样本污染检测和机器遗忘隐私审计三个真实场景，发现其均稳定有效。