通过采样 BPE token 统计审计中文网页规模语料库

如何在不全文扫描的前提下，对快速变化的中文网页语料做 token 级污染审计。

• 场景：作者称中文网页污染已出现在 LLM 中，例如 ChatGPT 词表里与垃圾、色情相关的中文 token（Yang, 2024），以及 Codex 输出中的中文赌博内容（OpenAI Developer Community, 2026）。Zhang et al. (2025) 把污染 token 与训练语料污染联系起来，因此需要审计上游语料：污染从哪来、有多普遍、如何进入下游数据。
• 现有不足：作者列出三点。（1）主流中文语料为 web-scale（TB 级），全文扫描昂贵，例如在 128 核 CPU 节点上索引 83TB 需 99 天（Xu et al., 2025）。（2）既有分析多停在语言分布、来源域名或文档级质量分，看不到 token 级污染。（3）中文网页污染隐晦且变化快，固定关键词表会漏掉新 token 并迅速过时。
• 核心观察：作者受海洋污染监测启发（Figure 1）：抽一个子集、训练 tokenizer、把 token 级信号映射成语料画像，即可估计总体污染，而不必重建完整词表。
• 本文提出：SAMPLED-BPE，对流式抽样子集训练 BPE，统计高频 token，用互联网检索证据映射到内容类别，再聚合成语料画像。作者用它审计 11 个开放中文语料和 2021–2026 年 6 个中文 Common Crawl 快照，并发布含 630,684 条记录、组织成 92,972 棵树的层级中文网页 token 数据集。

论文在 Section 2.2 把相关工作分成两组，并在引言里点出下游观察。

语料治理与审计

• Web-scale 语料构建（Penedo et al., 2024, 2023；Soldaini et al., 2024；Weber et al., 2024）——从网页文本经来源选择、语言识别、质量过滤、安全或黑名单过滤、去重得到语料。
• 文档化与审计（Lee et al., 2022；Kreutzer et al., 2022；Dodge et al., 2021；Gebru et al., 2021）——提高透明度，并报告意外来源、低质量文本、重复、污染和过滤副作用。作者称这些工作主要看 source、document、quality 或去重层面，本文则在 token 级审计。
• 规模参照：语料从 MB 级文档、GB 级微调数据、TB 级预训练语料到 PB 级上游网页档案（Wang et al., 2018；Longpre et al., 2023；Brown et al., 2020；Common Crawl, 2011）。作者把本文的 web-scale 定义为 TB 量级（Li et al., 2025；Roziewski and Stokowiec, 2016），Figure 2 把被审计语料放进这一尺度。

中文网页污染与污染 token

• 下游模型中的污染（Yang, 2024；OpenAI Developer Community, 2026）——GPT-4o 发布后，研究者报告其最长中文 token 中许多不是普通词，而是与 spam、色情、赌博或诈骗相关的长短语；用户报告 Codex 在编程上下文中插入中文赌博或彩票式字符串。
• 污染 token 与语料的联系（Zhang et al., 2025）——通过 LLM 词表中的污染 token 研究该问题，并把它与可能的训练语料污染联系起来。作者称这些观察检查的是下游模型，不是上游语料。关键词失效的依据来自 MacAvaney et al. (2019)、Jiang et al. (2021) 和 Zhang et al. (2025)。

基线与被审计语料

• 基线方法：未抽样的 Full 语料走同一条流水线，用作抽样估计的对照；流式抽样与随机抽样的比较在 Appendix D。类别映射的训练与测试划分来自 Zhang et al. (2025) 对 GPT 中文词表的专家标注。
• 基准/数据集：11 个开放中文语料或其中文部分——多语语料 OSCAR（Abadji et al., 2022）、mC4（Xue et al., 2021）、HPLT（Oepen et al., 2025）、CulturaX（Nguyen et al., 2024）、ROOTS（Laurençon et al., 2022），以及中文专用 CWT（Chen et al., 2023）、WanJuan（He et al., 2023）、MAPCC（Du et al., 2024b）、SkyPile（Wei et al., 2023）、CCI3（Wang et al., 2024）、WuDao（Yuan et al., 2021）。时间研究用 2021–2026 年 6 个中文 Common Crawl 快照。来源与上游处理见 Appendix A。

作者把本文定位为：在全文检查过贵时，用轻量 token 级流水线审计上游中文语料，而不是检查下游模型词表或停在文档级统计。

SAMPLED-BPE 不重建完整词表，而是近似语料的 token 级和类别级统计。Figure 3 把它分成四步。

问题设定与统计量

• 目标：给定目标语料，估计污染相关的 token 比例与类别占比。未抽样语料记为 Full；每个抽样语料走同一流水线，再与 Full 比较。
• token 级：设 V_Full、V_sample 为两边抽出的 token 集，覆盖率为 |V_Full∩ V_sample|/|V_Full|；在共享 token 上计算 token ratio 的 Spearman 与 Pearson。
• 类别级：映射到内容类别后，对共享 token 和全部 token 分别算加权相对误差。污染比沿用 Zhang et al. (2025)：只在至少含三个汉字的 token 上、按六类计算百分比。

抽样与 BPE

• Step 1 流式抽样：对目标语料做单次顺序扫描抽样。作者称相对随机抽样（需枚举或打乱文档标识），流式抽样的成本接近输入扫描的线性，减少 I/O，避免物化大语料；与随机抽样的审计精度比较见 Appendix D。
• Step 2 训练与计数：在抽到的语料上训练 BPE（Sennrich et al., 2016），再用同一 tokenizer 计频。作者给的三条理由：BPE 反复合并高频相邻单元，词表会浮出语料中反复出现的词汇模式；高频污染 token 不依赖固定关键词，因而能发现新术语；训练由局部相邻对频率和固定 merge 预算驱动，计数只需用学到的 tokenizer 做一次线性扫描。论文未报告 merge 预算的具体数值。
• 选用的抽样率：精度实验比较多个抽样率（Figure 4、Figure 5 横轴含 0.05% 至 50% 一档）。开放语料审计沿用该方法；Common Crawl 时间研究对每个快照用 1% 抽样，作者称按 Figure 4 其相对误差低于 3%。

类别映射与画像

• 六类：Normal Content、Adult Content、Online Gambling、Online Gaming、Online Video、Anomalous。作者称污染 token 常常隐晦、缩写或依赖上下文，单独看 token 不足以定类，因此用互联网检索结果作上下文证据，做法受 Zhang et al. (2025) 启发。检索设置与映射稳健性在 Appendix B。
• 分类器：用开源中文模型 GLM-4-32B 作基分类器，在“token + 对应检索结果 → 类别”上微调。训练/测试划分来自 Zhang et al. (2025) 对 GPT 中文词表的专家标注。作者报告微调后测试划分准确率为 97.32%。
• Step 4 画像：token 级记录 ratio、预测类别、互联网证据和分类理由，用于共享污染 token、语料特有术语和高频词汇演变。类别级把 token ratio 聚成类别占比和总污染比。跨语料比较用有向覆盖 Coverage(A→ B)=|P_A∩ P_B|/|P_A|，P_A、P_B 为两语料的污染 token 集。跨年比较用各类 token 的 Jaccard，含相邻年和五年跨度。

层级数据集与成本测量

• 树结构：中文 token 有大量子串关系。数据集不发布扁平列表，而组成 92,972 棵树的森林：每棵树以该族最短子 token 为根，后代是包含该根的更长 token。每个节点有检索证据和类别；每棵树还有代表 token 及类别解释。
• 两种追溯：同族树的根标出反复出现的最短子 token，用来概括一批表面变体；跨类别的树则显示单独为 Normal 的子 token 组合后变成污染 token。Figure 11 分别给了成人内容族和赌博组合的例子。
• 成本：端到端审计成本定义为 BPE 训练时间加 token 计数时间，内存用 peak RSS。全部运行在同一台 96 核 CPU、768 GB RAM 的机器上。

实验设置

• 被审计语料：11 个开放中文语料或其中文部分：OSCAR、mC4、HPLT、CulturaX、CWT、ROOTS、WanJuan、MAPCC、SkyPile、CCI3、WuDao（Section 2.1、Table 1）。时间研究为 2021–2026 六个中文 Common Crawl 快照，每个用 1% 抽样（Section 5）。规模见 Figure 2 标注：mC4 71GB、Cleaned CC 259GB、ROOTS 620GB、WuDao 200GB、CCI3 518GB、SkyPile 641GB、WanJuan 1TB、MAPCC / OSCAR / CWT 各 1.4TB、HPLT 5.4TB、上游 CC 为 ~PB；Appendix A 给来源与处理细节。
• 对照：未抽样的 Full，同一流水线。流式抽样相对随机抽样的比较在 Appendix D。清洗与未清洗变体的两组对照在 Appendix E。
• 分类器：GLM-4-32B，在 Zhang et al. (2025) 的 GPT 中文词表专家标注上微调，测试划分准确率 97.32%。检索证据与稳健性见 Appendix B。
• 指标：token coverage、共享 token 上的 Spearman 与 Pearson、类别加权相对误差（共享 token 与全部 token）；runtime speedup 与 peak RSS reduction；污染比及五类分项（百分比，分母为至少含三个汉字的 token）；Coverage(A→B)；出现在恰好 k 个 / 至少 k 个语料中的污染 token 比例；跨年 Jaccard。
• 硬件与抽样：精度与成本实验在 96 核 CPU、768 GB RAM 上完成。Figure 4、Figure 5 横轴为抽样率。论文未报告重复次数。
• 发布数据：630,684 条 token 记录，92,972 棵树；摘要写作 630k+ 与 92k+。

主结果

开放语料的总污染与分项见 Table 1（按总污染排序，单位 %）：

Swipe horizontally to read the table

语料	Pollution	Adult	Gambling	Gaming	Video	Anomalous
OSCAR	83.38	76.10	0.56	0.16	5.02	1.53
mC4	25.41	0.31	23.17	0.46	0.32	1.15
HPLT	4.95	1.95	1.61	0.25	0.72	0.43
CulturaX	3.36	0.15	2.45	0.16	0.18	0.42
CWT	2.35	0.05	0.22	0.29	0.06	1.73
ROOTS	2.02	0.23	0.00	0.00	0.00	1.79
WanJuan	0.75	0.04	0.15	0.17	0.05	0.33
MAPCC	0.69	0.10	0.08	0.09	0.04	0.38

SkyPile、CCI3、WuDao 的总污染分别为 0.61%、0.55%、0.50%，表中未逐项展开；三者 Adult 为 0.06、0.16、0.10，Anomalous 为 0.42、0.37、0.31（Table 1）。

• 作者称污染普遍但不均匀：11 个语料都含污染 token，总污染从最干净语料的 0.50% 到 OSCAR 的 83.38%；mC4 为 25.41%；WanJuan、MAPCC、SkyPile、CCI3、WuDao 均低于 1%。
• 作者称构成不同：OSCAR 以 Adult Content 为主（76.10%）；mC4 的 Online Gambling 单独达 23.17%；HPLT 的 Adult 与 Gambling 都不低。更干净语料的残余往往不以单一类别为主，最大残余分量经常是 Anomalous。
• 作者称清洗降低但不消除污染：多语网页流水线（OSCAR、mC4、HPLT、CulturaX）在 Table 1 中污染比最高；强调中文专用采集、可信来源或质量过滤的 WanJuan、MAPCC、SkyPile、CCI3、WuDao 更干净，但最低污染语料仍保留可测到的污染 token。Appendix E 给清洗与未清洗变体的对照。

抽样精度与成本

• 精度（Figure 4）：0.25% 抽样时 token coverage 为 76.83%；共享 token 的 ratio 与 Full 的 Spearman 为 86.88%，Pearson 为 99.93%。作者称最低抽样率下，共享 token 与全部 token 的类别加权相对误差都在约 5% 附近；摘要写 0.25% 抽样带来的污染类别相对误差为 4.25%。Figure 4 右图在 0.25% 处比较类别构成与 Full，作者称两者接近。
• 成本（Figure 5）：0.25% 抽样的运行时加速为 148.4×，peak RSS 降为 35.8×。图上相邻标注包括 273.8×、209.4×、98.9×、62.5× 等加速，以及 46.9×、38.0×、30.1×、28.6×、22.3×、12.1×、9.6×、6.6×、4.1×、3.0×、1.9×、1.8× 等降幅，对应横轴从 0.05% 到 50% 的抽样率。作者称更小样本节省更大，但 Figure 4 显示其覆盖率和类别估计更差；更大样本更准，计算优势下降。作者称审计 1TB 语料的时间可从数月降到数小时。
• Common Crawl 的抽样选择：每个快照用 1% 抽样，作者称相对误差低于 3%（据 Figure 4）。

污染 token 是否共享

• 有向覆盖（Figure 6）：作者称更干净或更经治理的中文语料彼此重叠更高。MAPCC 与 SkyPile 互相覆盖对方一半以上的污染 token；WanJuan、MAPCC、SkyPile、CCI3、WuDao 类似。更宽的网页语料不对称：CulturaX 的污染 token 有 69.2% 出现在 mC4，mC4 的污染 token 只有 13.8% 出现在 CulturaX。作者认为清洗策略仍漏掉一组共享残余 token。
• 跨语料计数（Figure 7）：11 个语料共 106,671 个污染 token，其中 102,816（96.386%）只出现在一个语料；只有 1,542（1.446%）出现在至少三个语料。出现在至少 8 个语料中的共享核心有 252 个，覆盖全部五个污染类别（Figure 8）。作者称污染 token 是小共享核加大的语料特有长尾；语料特有例子在 Appendix H。

中文 Common Crawl 的时间变化

Table 2 给出六个快照的污染比（%）：

Swipe horizontally to read the table

年份	Pollution	Adult	Gambling	Gaming	Video	Anomalous
2021	35.35	24.73	5.31	0.40	3.93	0.98
2022	61.87	54.53	1.05	0.16	4.75	1.38
2023	62.90	55.86	0.54	0.23	4.89	1.37
2024	34.83	28.01	1.48	0.33	3.86	1.16
2025	38.01	30.53	0.74	0.22	5.05	1.47
2026	79.52	68.72	0.21	0.07	8.39	2.12

• 作者称上游污染高且主导类别会变：2026 年总污染 79.52%，Adult Content 单独 68.72%。Adult 从 2023 年的 55.86% 降到 2024 年的 28.01%，再升到 2026 年的 68.72%。Online Gambling 从 2021 年的 5.31% 降到 2026 年的 0.21%；作者称这一趋势与针对中国用户的跨境赌博执法加强相一致。Online Video 从 3.93% 升到 8.39%，Anomalous 小幅上升，Online Gaming 一直较小。
• token 更替（Figure 9）：作者称 Normal、Online Gaming、Online Video 的相邻年 Jaccard 较高，五年重叠也不小；Adult、Online Gambling、Anomalous 的相邻年重叠更低，五年持续性更弱。作者认为这可能表示成人与赌博站点在被封禁后仍反复出现并更换表面形式。Figure 10 用代表 token 区分短命与持久项，附录给出词云（Appendix I）和例子（Appendix G）。

其他消融与分析

• 分类准确率：GLM-4-32B 微调后，在 Zhang et al. (2025) 标注的测试划分上为 97.32%；检索设置与稳健性在 Appendix B，论文正文未另给数字。
• 1% vs 0.25%：Common Crawl 用 1% 抽样，作者称相对误差低于 3%；摘要中 0.25% 的类别相对误差为 4.25%。
• 共享核规模：至少 8/11 个语料共有的污染 token 为 252 个，横跨五个污染类别（Figure 8）。
• 层级例子（Figure 11）：同族树的根概括更长表面变体；“菲律宾”与“申博”各自可为 Normal，组合后为在线赌博 token。Figure 20–25 给出更多树和检索证据页。
• 清洗对照与抽样方式：Appendix E 比较清洗与未清洗变体；Appendix D 比较流式抽样与随机抽样。正文未给出这两份附录的具体数字。
• 跨语言诊断：Appendix C 为中英边界试点。作者在 Limitations 中称英语审计可能需要短语或句子级建模和语言特定证据，不能直接搬用中文 token 级设置。

作者指出的局限与后续方向

• 其他语言（Limitations）：本文聚焦中文 web-scale 语料中的污染 token，不声称测得比例可迁移到其他语言。Appendix C 的中英边界试点使作者认为，英语审计可能需要短语或句子级建模以及语言特定证据，而不是直接搬用中文 token 级设置。
• 分类范围（Limitations）：六类沿用 Zhang et al. (2025)，作者称并不打算作为通用数据安全分类。毒性与政治偏见通常在句子级依赖上下文，个人可识别信息往往在记录级才由组合形成；审计这些风险需要配套的句子级或文档级方法。
• 非母语读者可读性（Limitations）：文中有大量中文 token，有的冒犯、委婉、缩写或依赖上下文。作者在可能时给英文释义，但许多 token 无法字面翻译而不丢失网页用法或污染线索。作者把翻译当作可读性辅助，并称更广的多语专长可以改进这些解释。
• 周期性审计（Section 5.2、Conclusion）：作者称静态关键词表或一次性过滤会很快过时，SAMPLED-BPE 支持对上游网页语料做周期性审计。层级数据集为后续审阅、清洗和周期性审计提供证据（Section 6.2）。
• 负责任使用（Ethics Statement）：例子只用于记录和审计语料污染，作者称后续研究应谨慎使用。

实验覆盖范围

• 语料：审计 11 个开放中文语料或其中文部分（Table 1），以及 2021–2026 年 6 个中文 Common Crawl 快照（Table 2）；快照选取与抽取见 Appendix A。
• 抽样与成本：精度与成本实验比较多个抽样率（Figure 4、Figure 5），机器为 96 核 CPU、768 GB RAM；Common Crawl 每个快照用 1% 抽样。论文未报告重复次数，也未报告 BPE merge 预算的具体数值。
• 类别判定：六类由微调后的 GLM-4-32B 根据 token 与互联网检索结果预测；测试划分来自 Zhang et al. (2025) 的专家标注，准确率 97.32%。检索设置与映射稳健性在 Appendix B。
• 对照：Full 对照抽样；Appendix D 比较流式抽样与随机抽样；Appendix E 比较清洗与未清洗变体；Appendix C 为中英边界试点。
• 共享与时间：11 个语料上的有向覆盖（Figure 6）和跨语料出现次数（Figure 7）；六个快照上的类别占比（Table 2）与相邻年、五年 Jaccard（Figure 9）。发布数据含 630,684 条记录、92,972 棵树。

SAMPLED-BPE 是一条轻量 token 级流水线，用来在不全文扫描时估计中文 web-scale 语料的污染画像。

• 问题：中文网页污染已出现在 ChatGPT 词表和 Codex 输出中。上游语料达 TB 至 PB，全文扫描昂贵；文档级审计看不到 token；固定关键词跟不上隐晦且快速变化的污染。
• 方法：单次流式抽样，在子集上训练 BPE 并计频，用互联网检索证据把 token 映到 Normal、Adult、Online Gambling、Online Gaming、Online Video、Anomalous 六类。分类器是微调后的 GLM-4-32B，在 Zhang et al. (2025) 标注的测试划分上准确率 97.32%。token 比例再聚成类别占比。另把 630,684 条 token 组织成 92,972 棵树，根为最短子 token。
• 成本与误差：0.25% 抽样相对 Full 的运行时加速为 148.4×，peak RSS 降为 35.8×；摘要报告该设置下污染类别相对误差 4.25%。同一抽样率的 token coverage 为 76.83%，共享 token ratio 的 Spearman 为 86.88%、Pearson 为 99.93%（Figure 4、Figure 5）。
• 开放语料：Table 1 中总污染从 WuDao 的 0.50% 到 OSCAR 的 83.38%。OSCAR 的 Adult Content 为 76.10%，mC4 的 Online Gambling 为 23.17%。106,671 个污染 token 中 96.386% 只出现在一个语料。
• 上游网页：六个中文 Common Crawl 快照用 1% 抽样。2026 年总污染 79.52%，Adult Content 68.72%；Gambling 从 2021 年的 5.31% 降到 2026 年的 0.21%（Table 2）。作者称污染高且随时间移动，静态词表会过时。
• 作者的结论：抽样能在可用估计下把审计从数月降到数小时；开放中文语料污染普遍但不均匀；上游中文网页高度污染并随时间变化。作者不声称这些比例可迁移到其他语言，六类也不是通用安全分类。