一个 AI token 值多少？研究者为野生 AI 生成网页文本提出新缩放定律

网页上未经标注的wild AI文本进入预训练语料后，会怎样改变语言模型在人类文本上的损失，以及一个AI token相当于多少人类token。

• 场景：作者称网页文本是预训练数据的主体，且越来越多由AI生成。对通过FineWeb质量过滤的token，Pangram把2026年6月的27.5%标为AI生成，8月升至31.1%（Figure 1）。模型训练已远超约20 tokens per parameter的计算最优预算，同时公开人类文本被预计到2032年接近用尽。
• 与已有设定的差别：作者把研究对象称为wild AI text：许多模型为人类读者而写、自然出现在网页上、质量不一、未标注地混入人类文本。这不同于在自身输出上递归训练的model collapse，也不同于为特定领域精心改写的合成数据。
• 现有缩放律的不足：作者称Chinchilla把AI token与人类token同等对待；多数重复数据定律不让token价值降到零以下；多数混合定律把伤害和收益绑在一起。这些都不能预测“低人类预算先降损失、高预算几乎立刻升损失”。
• 本文做法：预训练800个模型（19.9M到973M参数），在固定人类语料上改变加入的AI token比例，并对人类文本与AI文本的留出损失拟合缩放律。新定律含分开的收益项与伤害项，无AI文本时退回Chinchilla，并用人类token当量表示一个AI token的价值，该价值可以变号。

作者在第3节把相关工作分成缩放律、重复、数据混合和model collapse，并单列wild AI与合成数据的差别。

缩放律基础

• Kaplan et al. (2020)：用训练计算C、参数量N和训练token数D刻画损失趋势；计算常近似为C ≈ 6ND。
• Chinchilla（Hoffmann et al., 2022）：把损失写成不可约项加上随N和D下降的两项。作者用它作无AI时必须恢复的骨干，并作为把AI token当成人类token的基线。

重复数据的缩放律

• Muennighoff et al. (2023)：让重复token的有效价值低于新的唯一token，但不低于零。
• Qin et al. (2026) 的compute–data（CD）定律：有效token价值还依赖模型大小；作者借用其饱和信用窗口表示AI文本的潜在收益。
• Lovelace et al. (2026)：不用有效数据，而用过拟合惩罚刻画重复。作者的伤害项与其惩罚形式相近。

数据混合的缩放律

• 混合优化：Jain et al. (2024)、Ye et al. (2025)、Shukor et al. (2025)、Hamidieh et al. (2025)、Sedova et al. (2026) 建模多领域或多种数据的预训练混合。作者点名Shukor et al.的joint定律把AI与人类文本当作两个域，是既有定律里预测人类文本最好的；Jain et al. (2024) 的surrogate-data定律在留出C4上比Chinchilla更差。
• 多语言混合：He et al. (2025)、Longpre et al. (2026) 的ATLAS建模多语言混合。

Model collapse与合成数据

• 递归训练：Shumailov et al. (2024) 研究在模型自身输出上递归训练的退化；Gerstgrasser et al. (2024)、Seddik et al. (2024)、Kazdan et al. (2025) 讨论保留原始数据或逐代生成如何改变这一行为。Suresh et al. (2024) 讨论递归估计设定下的崩塌速率。Schaeffer et al. (2025) 称损失上升、误差发散和分布尾部丢失是不同结果。
• 非递归合成数据：Dohmatob et al. (2024, 2025) 称合成数据即使不递归也会影响缩放；Kang et al. (2025) 称合成改写和教科书与网页文本混合后的收益依赖预算；Zhu et al. (2025) 称在固定token预算下用合成文本替换自然文本会让Paloma变差。Maini et al. (2024) 与Kang et al. (2025) 的合成数据是有意生成并筛选的，作者称其可把预训练加快3–10倍。

基线方法与评测数据

• 基线定律：Table 1比较Chinchilla、Muennighoff et al.、CD、Lovelace et al.、ATLAS、He et al.、Hamidieh et al.、Shukor additive与joint、Sedova et al.、Jain et al.，指标是留出尺寸上的paired RMSE。
• 数据与评测集：训练来自WildAI（FineWeb流程处理的Common Crawl）；人类文本评测用C4、2022年前FineWeb（FW22）、FW26的人类划分（FW26-H）和Paloma；混合与AI文本用FW26、FW26-AI和Cosmopedia。

作者把本文定位为第三类：wild AI来自许多模型、为读者和搜索引擎而写、未标注地混进人类文本，是当前预训练流程实际面对的设定，既不是为训练精心制作的合成数据，也不是在自身输出上的递归训练。

作者用WildAI语料和800个预训练模型观察“先受益、后受害”，再提出带分开收益项与伤害项的缩放律，使一个AI token的价值（以人类token当量计）可以随模型大小、人类预算和AI比例变号。

数据与标签

• WildAI：在已发布的16个FineWeb dump之上，把FineWeb的DataTrove流程重跑到2025年7月至2026年6月的Common Crawl，合计96.04M文档、83.31B token。它是构造训练混合的池，不是网页的自然样本；因EditLens预选，AI文本占其token的42%。
• 两阶段标注：EditLens（Llama-3.2-3B）先把文档分到从人类到AI的桶，丢掉中间桶。Pangram 3.3.2再对最多三个互不重叠的512-token窗口标注，仅当所有窗口一致才标为Human或AI，否则为Mixed。最终人类池58.91M文档（42.19B token），AI池32.54M文档（35.32B token）。
• 检测误差：作者报告Pangram 3.3.2的假阳性率0.05%、假阴性率1.99%。在2021年爬取的60,000篇文档上，它把0.062%标为AI，作者称之为假阳性率的上界。2026年6月的2,000篇文档上，这些标签与Pangram 3.3.2 API一致的比例为96.7%，只有4篇在Human与AI之间翻转。话题和格式用WebOrganizer抽取。

训练设定与符号

• 模型：800个nanochat模型，参数从19.9M到973M，人类token预算2.9到87.5 TPPh（human tokens per parameter），AI与人类token之比r从0到64。N的计数方式见附录B，沿用Pearce and Song (2024)。
• 评测划分：人类文本以C4为主要目标，另有Paloma（16个来源的损失宏平均）、2022年前FineWeb（FW22）和FW26的人类划分FW26-H。混合文本用2026年FineWeb留出集FW26（22.3%为AI）。纯AI文本用FW26-AI和Cosmopedia（Cosmo）。
• 相对变化：每个run相对自己的纯人类对照，预测对数损失变化Δ = log L(N, DH, DA) − log L(N, DH, 0)，再在AI run上计算预测与观测Δ的RMSE。

缩放律

定律保留Hoffmann et al.的Chinchilla骨干。DH、DA分别为人类与AI文本量，r = DA/DH。有效数据Deff吸收AI文本的饱和收益，伤害H进入数据项的指数：

L(N, DH, DA) = E + A/N^α + B / (D_eff^β(1+H))

收益写成Deff = DH(1 + η g(r))，g(r) = R⋆(1 − e^{−r/R⋆})，R⋆ = K t^ρ，其中t = DH/(20N)，η是第一个AI token的自由参数，R⋆是收益饱和尺度。伤害为H = γ t^u n^v [log(1+r) − r/(1+r)]，n = N/10^8。作者称减去AI份额r/(1+r)是为了去掉最初几个AI token的伤害；小r时伤害按r²/2增长，大r时按log r − 1增长，边际伤害在r = 1处最大。r = 0时定律退回Chinchilla。

拟合与五条准则

• 准则：C1价值可随N、TPPh和r变化；C2同一token既能帮忙也能伤害；C3收益与伤害分开、可解释；C4第一个AI token的人类token当量有限且不预设为1；C5无AI数据时恢复Chinchilla。
• 拟合范围：在726个19.9M到268M的模型上拟合，在74个477M和973M的模型上评估，分别为最大拟合尺寸的1.8倍和3.6倍。系数、目标函数、初值和开发/留出划分在附录D；对比过的收益与伤害形式在Table 8。
• AI份额预测：用每月5,000篇文档的历史样本，以带漂移的随机游走外推FineWeb token中的AI比例。计算等价增益（compute-equivalent gain）比较未过滤模型与只用人类子集达到同一C4损失所需计算。

实验设置

• 模型：800个nanochat模型，尺寸19.9M、35.8M、86.2M、135M、268M、477M、973M；人类预算2.9–87.5 TPPh，r为0–64。拟合用726个不超过268M的模型，留出74个477M与973M模型。同一训练配方，细节在附录B。
• 数据：WildAI共96.04M文档、83.31B token；训练池为58.91M人类文档（42.19B token）和32.54M AI文档（35.32B token）。网页份额估计另用2021年1月至2026年8月每月5,000篇、合计310,000篇。过滤审计用10,000篇原始Common Crawl文档。
• 评测集：C4、FW22、Paloma（16个来源宏平均）、FW26（22.3% AI）、FW26-H、FW26-AI、Cosmopedia。人类文本是主要目标，留出损失被当作下游表现的代理。
• 指标：相对各自纯人类对照的对数损失变化Δ的paired RMSE（Table 1，数值为×10³）；过滤方向是否判对；compute-equivalent gain；使预测损失最小的AI份额；生成文本的AI典型短语密度和Pangram标签。
• 重复对照：19.9M与35.8M、20 TPPh下，把人类语料再增加1、4或8倍，方式为重复人类文本或加入等量新AI文本。
• 写作测量：268M、5与20 TPPh、每个r一个模型，对500条WritingPrompts做续写；短语密度为每条提示词八次续写，AI标签为每条提示词一次续写（Table 13）。

主结果

Table 1是留出尺寸（477M、973M）上、预测“加入AI后对数损失变化”的paired RMSE ×10³，越低越好。

Swipe horizontally to read the table

定律	k	C4	FW22	FW26-H	Paloma
Chinchilla	5	4.32	4.65	5.40	9.15
Muennighoff et al.	7	3.96	4.21	4.94	9.15
CD (Qin et al.)	8	3.68	3.63	4.17	9.15
Lovelace et al.	9	3.55	3.74	4.14	8.38
Shukor joint	13	1.41	1.50	2.25	7.80
Ours	11	0.83	0.85	1.28	6.77

据Table 1。表中省略ATLAS、He et al.、Hamidieh et al.、Shukor additive、Sedova et al.、Jain et al.六行；其中C4最高为Sedova et al.的9.60，最低的既有定律是Shukor joint的1.41。

• 作者的解读：在人类文本上，本文定律的paired误差低于全部十一条既有定律；作者称这一领先在全部AI比例上具有统计显著性（§E.1）。Chinchilla把新增人类token预测到C4 paired误差1.32×10⁻³，把AI新增只预测到4.32×10⁻³。
• Figure 3与Figure 4：作者称5 TPPh时加入AI仍降低C4损失，20 TPPh时随AI预算增加而升高损失；等量新增人类token仍降低损失。Figure 4中部，Chinchilla预测AI文本持续降低损失，477M与973M在20 TPPh的实测和本文定律转为上升。
• Table 12的例外：相对Shukor joint，全部r上C4差距为+0.58（95%区间[+0.32, +0.84]），10,000次bootstrap中本文更低的比例为99.99%。r<1时C4差距区间为[-0.03, +0.65]，作者称领先在C4和FW22的r<1上并不成立（本文更低的抽样比例分别为96.5%和92.6%）。目标为AI生成文本时，Shukor joint是所有定律中最好的。

过滤、算力与重复

• 过滤：在2026年自然AI比例22.3%上，与只保留人类子集的配对模型比较。作者称尽管数据更少，约10–15 TPPh以上（更大模型更低）的模型在C4上损失更低（Figure 5）。定律判对19对中的18对（paired误差3.28×10⁻³）；Chinchilla在损失实际下降的13对里全部预测为上升。Figure 5左图给出973M的实测：−0.14%、+0.11%、+0.60%三处，分别落在“过滤有帮助”和“过滤有害”两侧。
• 算力：以含22.3% AI的未过滤模型为参照，268M、20 TPPh下需要1.3倍计算才能匹配纯人类训练；8月2026年的31.1%需要1.6倍。随机游走预测2027年底42.3%、2028年底50.7%，对应2.1倍和3.0倍（Figure 1；正文42.3%与图注42%并列）。Figure 1中部：268M上一个AI token的人类token当量在5 TPPh为正，从20 TPPh起一旦r超过约0.08即为负。
• 重复对加入：19.9M与35.8M、20 TPPh、C4上，增加一个epoch后，重复人类token比加入等量新AI token损失低2.3%，八个新增epoch后差距扩大到6.3–6.4%（合计九个epoch）。作者建议在加入AI网页文本之前先重复人类文本。

何时值得训练，以及验证集

• 最优份额：预测人类文本时，C4上使损失最小的AI份额在5 TPPh为37%，到20 TPPh为1.0%；FW22和Paloma类似（Figure 6）。预测AI文本时，每个预算下最优份额保持在90%以上，定律把第一个AI token估值在20个人类token以上（Table 7的η）。Figure 6左：Cosmo高于90%，混合FW26从98%降到34%，约10 TPPh处的下降是预测损失两个局部最小值之间的切换。
• 混合验证集：全部553个加入AI文本的模型都降低了AI标注FW26文本上的损失，其中44%升高了人类标注文本上的损失。对243个升高人类标注FW26损失的加入，验证集的AI份额升到5.1%时中位数改号；在2026年爬取的22.3%下，中位数看起来好1.9%，95.5%的有害run被报成改进（Figure 6）。对C4调参时，定律在20 TPPh推荐1.0% AI；对FW26调参时推荐56%，但在其人类子集上只有2.0%。
• 生成风格：268M、无AI时每千词AI典型短语0.16；20 TPPh下r=1为0.36，r=4为0.54。r=2时Pangram把续写故事标为AI的比例为37.2% [33.0, 41.6]，对照r=0的18.6% [15.4, 22.0]（Table 13）。5 TPPh、r=4时短语密度为0.72，高于20 TPPh的0.54。

其他消融与分析

• 质量过滤：10,000篇审计中，AI文档通过FineWeb全流程的比例为29.3%，人类为12.8%（2.3倍）；通过DCLM全流程为14.5%对1.5%（9.8倍）（Figure 2）。
• 格式：2026年1–6月，tutorial占人类标注token的6.2%、AI标注token的18.5%（3.0倍）；personal blog为8.6%对1.0%（AI/人类 = 1/8.4）。Knowledge Article为3.2倍（Figure 2）。
• 网页份额：FineWeb token中AI份额2021年6月低于0.1%，2024年6月10.1%，2025年6月16.1%，2026年6月27.5%，2026年8月31.1%，比6月高3.6个百分点。
• 拟合内误差：Table 11（正文后半段的拟合表）中本文定律在C4上为0.64×10⁻³，Shukor joint为0.98×10⁻³；这是拟合范围而非Table 1的留出尺寸。
• CORE：作者称在本文尺寸上，AI文本抬高CORE分数的幅度与等量新增人类文本相近（§G）；同时称所有模型都太小，没有有意义的下游表现，且这些任务正是AI生成文本被用来优化的对象。
• Paloma：四个人类来源里Paloma的留出误差最高，本文6.77×10⁻³，Chinchilla与多条定律为9.15×10⁻³（Table 1）。

作者指出的局限与后续方向

• 尺度：定律拟合到268M、测试到973M。作者称更大模型记住更多训练数据，也可能更受模型生成数据伤害，从而更容易学到较弱LLM的模式；它们也可能把AI与人类文本学成互相帮助的相关任务，Shukor et al. (2025) 的joint定律可以表达这种转向（Limitations and future work）。
• 指标：测量的是next-token loss。在本文尺寸上AI文本抬高CORE的幅度与新增人类文本相近，但所有模型都太小、没有有意义的表现，而且这些是AI生成文本本就被用来优化的任务（Limitations）。
• 范围：只研究预训练，且是由Pangram标注的英文网页文本（Limitations）。
• 后续四项：作者列出（1）像MAI那样过滤wild AI文本并加入有针对性的合成数据；（2）找出AI文本有帮助的领域；（3）测量预训练语料里已有的AI文本如何影响当前模型质量；（4）训练能理解AI写成的输入、但不写得像AI的模型，例如给AI文本加标签或遮住其损失（Limitations and future work）。

实验覆盖范围

• 模型与划分：预训练800个nanochat模型，19.9M到973M；定律在726个≤268M的模型上拟合，在74个477M与973M模型上评估（§4.3、Table 5）。
• 评测：损失报告在C4、FW22、FW26、FW26-H、FW26-AI、Paloma和Cosmopedia上；过滤实验用22.3% AI混合及其人类子集，19对中定律判对18对（§5.1）。
• 重复实验：只在19.9M和35.8M、20 TPPh、增加1/4/8倍token上比较重复人类文本与加入AI文本（§5.1、§F.3）。
• 生成测量：故事续写为268M、5与20 TPPh、500条WritingPrompts；AI短语为每条八次续写，Pangram标签为每条一次（Table 13、§G）。
• 显著性：留出比较用10,000次bootstrap、重抽样51个留出AI run（其中43个r<1）及其10个对照组，拟合保持固定（Table 12）。论文报告了CORE，并称这些模型没有有意义的下游表现（§G、Limitations）。

作者测量未标注的wild AI网页文本对预训练的影响，并提出一个能让AI token价值变号的缩放律。

• 问题：经FineWeb过滤后，Pangram把2026年6月网页token的27.5%、8月的31.1%标为AI生成。这些文本来自许多模型、为读者而写，不同于递归的model collapse和为训练制作的合成数据。
• 做法：WildAI含96.04M文档、83.31B token。800个19.9M–973M的nanochat模型在固定人类语料上把r加到64。新定律在Chinchilla上叠加饱和收益和随log(1+r)增长的伤害，无AI时退回Chinchilla。
• 预测误差：拟合到268M后，预测大3.6倍的模型。留出尺寸上C4的paired RMSE为0.83×10⁻³，Shukor joint为1.41×10⁻³，Chinchilla为4.32×10⁻³（Table 1）。目标换成AI文本时，Shukor joint更好。
• 何时有害：约5 TPPh时AI仍降低人类文本损失；C4上损失最小的AI份额在5 TPPh为37%、20 TPPh为1.0%。268M、20 TPPh下，8月31.1%的未过滤爬取需要1.6倍算力才能匹配只用人类子集，外推的2028年底50.7%对应3.0倍。重复人类文本在增加八个epoch后比加入等量AI低6.3–6.4%的C4损失。
• 评测与建议：22.3% AI的混合验证集把95.5%的有害run显示成改进。作者建议以人类文本为目标时过滤AI文本、数据不够时先重复人类文本，并分别报告人类与AI文本上的验证损失；以AI文本为目标时AI文本仍然有价值，Cosmo上最优训练份额超过90%。
• 作者的边界：证据来自不超过973M的英文预训练和next-token loss。作者认为更大模型可能更易学到弱模型的写法，也可能把两类文本学成互助任务，这两点都还没有在更大规模上测量。