通过采样 BPE token 统计审计中文网页规模语料库

Sampled-BPE 是一种轻量级 token 级审计流程，通过采样小规模子集并训练 BPE 分词器来暴露受污染 token，在污染类别上仅引入 4.25% 相对误差的同时实现 148.4 倍加速和 35.8 倍内存降低。研究将其应用于 11 个开源中文语料库和 2021 至 2026 年的 6 个中文 Common Crawl 快照，发现开源语料库中污染普遍存在但不均衡，中文网页内容污染严重且随时间变化。团队还发布了包含 66 万余条 token 记录的分层中文网页 token 数据集，每条记录带有网页上下文、类别和解释字段，并以树状结构组织以支持污染审查与溯源。