预训练数据投毒的可解理论：依赖极限顺序的缩放指数

清洁数据性能的相对退化如何随预训练投毒率 ε 缩放，以及观测到的非整数幂律指数需要什么理论结构。

• 场景：作者称大语言模型在难以审计的异构语料上预训练，投毒可植入并在安全后训练后仍持续的行为；同时清洁验证损失对数据量、参数和算力有可预测的幂律，但标准缩放律不描述受控比例 token 被污染时质量如何变化。
• 观测：作者在 OLMo 风格模型的受控预训练中，把架构、token 预算和优化日程匹配的中毒模型与清洁模型比较，相对清洁验证困惑度增幅 Δ 近似满足 Δ ≈ Cε^a，且 a 非整数并随参数量与训练时间变化（Figure 1、附录 D）。
• 不足：作者称可解神经缩放模型几乎总把测试损失写成有限个序参量的解析泛函；若投毒解析地扰动这些序参量，在清洁最优点附近领先修正一般为二次，只能给出整数指数。Subramanyam et al. (2026) 把数据质量写入缩放律，但作者称他们没有细究训练时间上的指数，也没有解释指数为何可以不是整数。
• 核心主张：作者证明解析性障碍（Result 1）：目标在非退化清洁最优点附近对 ε 解析时，参数移动 O(ε)，清洁超额风险一般为二次，故 a=2。非整数指数因此是奇异结构的标志。重尾与随投毒自适应的截断可以提供这种奇异性（Result 2）。
• 本文给出什么：在由 q⋆ 控制的重尾协变量上做截断岭回归，并用标签偏移投毒；主结果是优化后超额风险的指数取决于极限顺序，高维比例区为 ε^{q⋆/(q⋆+2)}，先取充足数据极限为 ε^{2−2/q⋆}，两极限不对易（Result 3 / Result 9）。作者还把有限训练时间解释为局部 LLM 预训练中逆曲率谱上依赖投毒的截断。

论文在引言和 Related Work 中把相关工作分成四组，并明确把自己和定向攻击、安全干预分开。

预训练缩放律

• Kaplan et al. (2020)、Hoffmann et al. (2022)：清洁预训练损失分别随模型规模、数据量和训练算力呈幂律；后者讨论固定算力下如何同时缩放模型与数据。
• 谱与流形理论：Spigler et al. (2020)、Sharma & Kaplan (2020)、Bordelon et al. (2020)、Bahri et al. (2024)、Maloney et al. (2022) 把损失指数联系到核谱尾部或数据流形内在维度。
• 学习曲线：Hutter (2021)、Michaud et al. (2023)、Bordelon et al. (2024)、Cagnetta et al. (2026) 把指数与训练时间联系起来。

预训练投毒与对齐

• 后门与持续行为：Wallace et al. (2021) 研究隐蔽触发；Li et al. (2021)、Hubinger et al. (2024) 研究预训练后门及不良行为在后续训练、微调或安全训练中的持续。Carlini et al. (2024) 讨论网页规模投毒在现实采集流程下的可行性；Zhang et al. (2025) 研究 LLM 预训练中的持续投毒；Souly et al. (2025) 认为成功投毒可能只需近乎常数个样本，而不是固定投毒比例。Bowen et al. (2024) 讨论 LLM 数据投毒的缩放趋势。
• 安全信号何时进入预训练：Silverstein et al. (2026) 讨论为加强对齐而做的架构修改；Maini et al. (2025) 提出以数据为中心的 safety pre-training；Sam et al. (2026) 研究安全干预应在预训练课程的何时引入。作者称本文并不主要优化定向攻击目标，也不提出安全干预。
• 数据质量缩放：Subramanyam et al. (2026) 给出对投毒比例的解析依赖。作者称他们没有在训练时间上细究缩放指数，也没有理论说明指数如何可以偏离整数值。

幂律与潜在簇结构

• 贝叶斯语言先验：MacKay & Peto (1995)、Teh (2006)、Johnson et al. (2006)、Liang et al. (2007) 用 Dirichlet 与 Pitman–Yor 过程刻画词和文档分布；Picard & Pitman (2006) 的 Poisson–Dirichlet 折棍构造给出排序簇权重的幂律尾。
• 网络如何获得语言结构：Arora et al. (2016)、Karkada et al. (2025; 2026)、Korchinski et al. (2025)、Cagnetta et al. (2024)、Cagnetta & Wyart (2024)、Parley et al. (2026)。另一条线认为自然语言本身的幂律驱动经验缩放律（Spigler et al., 2020; Bordelon et al., 2020; Bahri et al., 2024; Michaud et al., 2023; Cagnetta et al., 2026），补充视角见 Barkeshli et al. (2026)、Liu et al. (2026)。Liu et al. (2025) 报告 transformer 隐激活有一致的幂律谱衰减。Halder et al. (2026) 提出二元语言的自旋玻璃/加权图生成模型，观念在 Poisson–Dirichlet 层级中成簇。作者称本文的潜在模型是该图景的简化可解实例：高斯混合，簇权重继承该幂律尾，均值与协方差随簇指标缩放。

测试时对抗与训练时污染

• 测试时扰动：Szegedy et al. (2014) 表明人眼难以察觉的输入扰动可大幅改变预测。解释包括局部线性（Goodfellow et al., 2015）、边界几何（Tanay & Griffin, 2016）、高维集中（Gilmer et al., 2018）、非鲁棒但有预测性的特征（Ilyas et al., 2019）。Salvatore et al. (2026) 用机器与人类感知之间的指数错位给出几何解释。作者称这促使考虑非语义或流形外输入仍可落在高置信区域，但本文研究的是训练时投毒。
• 经典投毒与稳健估计：Biggio et al. (2012) 研究对支持向量机的投毒；Steinhardt et al. (2017)、Koh et al. (2018) 发展更强的攻击与防御，并强调高维自适应投毒难以防御。理论分析与 Huber (1964)、Catoni (2012)、Lugosi & Mendelson (2019) 的污染与重尾稳健估计相关。

基线与基准：理论侧在截断岭回归上与确定性等价、两种极限的预测指数对照（Figure 2、3）。经验侧把同一架构、同一 token 预算和同一优化日程的清洁模型当作匹配基线，在清洁留出数据上比较困惑度（附录 D）；论文未把外部攻击方法当作数值基线。

作者的定位是：不优化定向后门，也不提出安全干预，而是问总体清洁质量如何随投毒率退化，并用可解模型给出非整数、且随极限顺序改变的指数。作者称就其所知，这是用到泊松点过程映射来求解投毒缩放指数的理论工作。

整体思路是先用 解析性障碍 说明光滑模型只能给出整数指数，再用重尾加 自适应截断 制造分式指数，并在 随机坐标模型 里把截断岭回归精确解出来。

问题设定与解析性障碍

清洁相对困惑度增幅定义为 Δ(ε) := P_poisoned(ε)/P_clean − 1。在匹配训练时间 t 上写成 Δ(ε, t) = exp(R_poisoned(ε, t) − R_clean(t)) − 1；小退化区间内 Δ ≈ R_poisoned − R_clean。每个 ε 训练一个中毒模型和一个共享架构、token 预算与优化日程的清洁模型，在同一份清洁留出数据上评估。作者关心的是总体清洁语言建模质量，不测定向后门成功率，因此所用投毒比例大于 Zhang et al. (2025)、Souly et al. (2025) 那类攻击工作。

Result 1：样本来自 P_ε = (1−ε)P + εQ，人口损失 L_ε(θ) = (1−ε)L_P(θ) + εL_Q(θ)。若 L_P、L_Q 在非退化清洁最优点 θ_0 附近实解析，∇L_P(θ_0)=0 且 Hessian H 的最小特征值大于 0，清洁评估风险 R 同样实解析、梯度为零、Hessian G 正定，则对足够小的 ε 存在唯一解析驻点分支，θ_ε − θ_0 = −ε H^{−1} g + O(ε^2)，而 Δ(ε) = (ε^2/2) g^⊤ H^{−1} G H^{−1} g + O(ε^3)，其中 g = ∇L_Q(θ_0) − ∇L_P(θ_0)。解析性只允许 ε 的整数次幂，驻点条件去掉线性项。附录 C.1 给出证明。作者因此认为，要得到非整数指数，必须有真正非解析的成分。

自适应截断律

Result 2：设统计量 ψ(Z) 的清洁均值为 μ。截断映射 T_τ 与依赖 ε 的投毒分布 Q_ε 给出矩 m_{ε,τ}。假设 τ→∞ 时清洁截断偏差为 b τ^{−β}，投毒相对清洁的矩差为 c τ^γ。学习参数是这些矩的光滑函数，清洁风险在 θ_0 处梯度为零且 Hessian 正定。取 τ_ε = t ε^{−1/(β+γ)}，则超额风险按 ε^{2β/(β+γ)} 缩放。只要二次型为正，指数 a = 2β/(β+γ) 不必是整数。只有有限的 β 才能把 a 压到解析值 2 以下；仅有截断不够。若标量尾 P(|ψ|>u) ∼ c u^{−q}（q>1），裁剪给出 β = q−1。证明在附录 C.2。

随机坐标模型

模型是 P 维截断线性回归。U 满足 P(U>t)=t^{−q⋆}，q⋆>1。清洁样本均匀抽取坐标 J，令 X_c = √P U e_J，Y_c = c √U，教师为 θ_{⋆,P} = √(c/P) 的全 1 向量，0<c<1。投毒样本令 X_p = √P e_J，Y_p = c + η_p τ，0<η_p<1，即标签偏移，且在 τ≥τ_0 时毒样本落在截断半径内。D 个独立样本以概率 1−ε 为清洁、以概率 ε 为毒。对每个样本的二阶矩和交叉矩在水平 τ 处截断，得到 A^{(τ)}、b^{(τ)}，再做岭估计 θ̂ = (Σ̂_{ε,τ} + ϱ I)^{−1} v̂_{ε,τ}。

附录 A.2 表明估计按坐标可分。ϕ=P/D 固定且 P,D→∞ 时，单坐标上的清洁与投毒命中数收敛到独立泊松变量 N_c ∼ Pois((1−ε)/ϕ)、N_p ∼ Pois(ε/ϕ)。清洁超额风险集中到标量确定性等价，并等同于一个泊松点过程：清洁点强度 (1−ε)/ϕ，携带截断后的配对标记；毒点强度 ε/ϕ，携带常数标记。联合拉普拉斯泛函对强度分解，矩和 τ→∞ 渐近都化成对标记强度的一次积分。

两种极限与 LLM 侧的建模假设

比较对象是中毒、截断估计相对于清洁、不截断估计的清洁超额风险 Δ_{ε,τ}。Result 3（完整陈述为附录 A.7 的 Result 9）在无岭 ϱ=0 下：

1. 高维极限（ϕ 固定，ε↓0）：偏差项为 K τ^{−q⋆}，投毒项为 C ε τ^2，最优 τ 的阶为 ε^{−1/(q⋆+2)}，最小超额风险的阶为 ε^{q⋆/(q⋆+2)}。固定 ϕ 时每个坐标只有 O(1) 个清洁样本；坐标被至少一次投毒命中的概率约为 ε/ϕ，单次命中把比值移动 O(τ)，平方误差为 τ^2 量级，ε 只作为被命中的稀有程度进入。
2. 充足数据极限（先 ϕ↓0 再 ε↓0）：偏差为 τ^{−(q⋆−1)} 量级，投毒影响被稀释为 ετ，超额风险中出现 (ετ)^2；最优 τ 的阶为 ε^{−1/q⋆}，最小风险的阶为 ε^{2−2/q⋆}。这正是 Result 2 在 β=q⋆−1、γ=1 的情形。

两指数在 q⋆=√5−1≈1.236 处相交。q⋆ 更大时比例区指数更小，作者称该区更脆弱；1<q⋆<√5−1 时顺序反过来。

第 5 节在晚期检查点附近的局部二次近似中，把预条件优化器运行时间 T 写成预条件 Gauss–Newton 曲率谱上的滤波器 q_T(λ)=(1−e^{−λT})/λ，从而等价于在逆曲率 X=λ^{−1} 上于 τ=T 截断（Result 11）。再假设 P(X>τ)≍τ^{−α}。清洁截断偏差 B(T)≍T^{−β}，投毒影响 I(T)≍T^γ，且 β>γ>0。匹配训练下的退化 δR 分解为检查点偏移、训练–评估间隙、清洁偏差与纯投毒四项。间隙主导时交叉时间后指数走向 0；偏差主导时在 T_ε ≍ ε^{−1/(β+γ)} 处平衡，得到 a=2β/(β+γ)（Result 20、21）。作者把本文考虑的 LLM 训练视界假定为与该交叉时间同阶，并提醒这是宽高比意义下的充足数据计算：若先让 ε→0 再让 ϕ_LLM→0，指数会不同，因此观测到的律预期只在 ε ≳ ϕ_LLM 时成立。

实验设置

• 语言模型：OLMo 风格模型。Figure 1 的随机投毒曲线针对一个 774M 模型的多个训练检查点；Figure 1(b) 在 Kaplan horizon 上比较不同模型规模的拟合斜率与截距。Figure 4 的曲率实验为总参数 P=1.677×10^8、预训练至 3B token，W=256，m=9400，float32 存储、float64 运算。附录 D 给出预训练设置；正文未在主文列出全部规模的清单。
• 坐标模型：q⋆∈[1.5, 4]；Figure 2(a) 含 P=8000、ϕ=1 与 P=2000、ϕ=0.001。Figure 2(b)、Figure 3 在 q⋆=2，P 从 250 到 8000；比例区 ϕ=1，充足数据区 ϕ=0.001。指标是优化截断后的清洁超额风险 min Δ^{(P)}，以及在固定 ε 窗口上拟合的局部指数 a。
• LLM 指标：Δ(ε,t)=P_poisoned(ε,t)/P_clean(t)−1，在目标 token 数 15% 以内的检查点上、跨模型规模和训练过程聚合。拟合形式 Δ(ε)≈C ε^a。论文未在所给正文中写出具体 ε 网格、重复次数或评审模型；结局由清洁留出数据上的困惑度计算，不是分类器打分。
• 曲率诊断：用 Gauss/Radau 括号和比值 R(z)=s_2(z)/s_1(z)、α̂_2(z)。推论 32：R→1 对应 X=λ^{−1} 的重尾谱且硬边指数 α≤1。红色阴影标出数值分析不可靠的区域；neff<2 为有效性边缘，neff=1 为可靠窗口的严格终点。

主结果

坐标模型在 q⋆=2 的优化退化（Figure 3）与两种预测对照如下。

表格较宽，可左右滑动

区域	ϕ	预测指数	P=8000 拟合	出处
高维比例	1	0.50	0.483	Figure 3(a)
充足数据	0.001	1.00	1.024	Figure 3(b)

• 作者称有限 (P,D) 模拟收敛到确定性等价，两种指数在 q⋆ 上与预测一致，拟合指数随 ϕ 在两区之间交叉。
• Figure 2(a)：q⋆∈[1.5, 4] 上，测得的优化指数分别跟随 q⋆/(q⋆+2) 与 2−2/q⋆，两支分开。Figure 2(b)：q⋆=2 时，ϕ 从约 10^{−3} 增到约 10^{1}，局部拟合指数从充足数据值 1.0 交叉到比例值 0.5。
• LLM 侧作者称 Δ 对 ε 近似为幂律，斜率与截距随训练进度和模型规模系统漂移（Figure 1）。Figure 1 的图注没有给出各规模的拟合 a 数值，正文也没有把这些拟合值列成表，因此这里不填写具体 LLM 指数。

曲率谱

• 测了什么：在上述 1.677×10^8 参数的 OLMo 风格模型上，用探测深度 z 检查逆曲率是否重尾，并用 α̂_2 估计指数。
• 结果：作者称左图显示存在重尾曲率谱，右图决定指数；Remark 5 称 α̂_2 趋近 α≈0.33。红区为作者标明的不可靠区间。
• 作者的解读：有限 β 才给出非整数 a；β→∞ 时回到解析值 2。Figure 4 被当作逆曲率重尾假设的数值依据。

局部动力学的两种交叉

• 间隙主导：训练–评估失配 Γ⋆ 较大时，作者称经验上是较小的 LLM。指数在训练早期从 a=1 走向交叉时间处的 a=0（附录 B，Figure 7(a)）。该交叉处退化与 ε 无关，故 a=0，且两项都随 T 增长，没有内部最优视界。
• 偏差或检查点主导：失配较小、作者称对应较大 LLM 时，指数从接近 a=1 升向分式值 2β/(β+γ)>1（附录 B，Figure 7(d)）。论文未在正文给出 Figure 7 上的具体拟合数字。
• 宽高比提醒：作者称第 5 节的平衡视界计算是充足数据极限；先取 ε→0 再取 ϕ_LLM→0 会给出另一个指数，观测到的律不必延伸到任意小的 ε，预期在 ε ≳ ϕ_LLM（Figure 6 有进一步讨论）。

其他消融与分析

• 两指数相交于 q⋆=√5−1≈1.236；更大的 q⋆ 使比例区指数小于充足数据区指数。
• 高维区毒项为 ε τ^2，最优截断 τ 的阶为 ε^{−1/(q⋆+2)}；充足数据区为 (ετ)^2，τ 的阶为 ε^{−1/q⋆}。
• 偏差主导交叉时间 T_ε ≍ ε^{−1/(β+γ)}；间隙主导交叉 T_ε^{(g)} ≍ ε^{−1/γ}。
• 解析障碍下的领先项是 ε^2；早停且验证梯度不消失时会出现线性项，作者称这仍不能解释更强 LLM 预训练中看到的分式指数。
• 坐标模型要求 q⋆>1、0<c<1、0<η_p<1，精确公式假定 τ≥τ_0。
• 论文未在正文报告 LLM 拟合的标准误、重复训练次数或各模型的 a 数值表。

作者指出的局限与后续方向

• 模型与假设：精确理论结果针对一个风格化的坐标模型；与 LLM 训练动力学的连接需要若干建模假设，作者称这些假设在未来工作中仍是待建立的开放问题（第 6 节）。
• 小 ε：作者称对 LLM 中小 ε 区间以及该缩放律命运的仔细研究需要进一步实验（第 6 节）。
• 理论推广：把确定性等价推广到稠密协方差和多坐标样本，是主要的开放方向（第 6 节）。
• 可观测窗口：分式指数预期只在较小投毒比例、且训练步数随 ε 的逆幂增长时可见；κ 不是 LLM 训练中直接控制的量，而由 A 的弱曲率尺度和该区投毒效应决定。作者因此在“训练视界与交叉时间同阶”的建模假定下继续（第 5 节）。
• 极限顺序：平衡视界计算是宽高比意义下的充足数据计算；Result 9 提醒先取 ε→0 再取 ϕ_LLM→0 会得到不同指数，观测到的律不必延伸到任意小的 ε（第 5 节）。

实验覆盖范围

• 语言模型实验为 OLMo 风格模型的随机投毒，Figure 1 含 774M 模型的多检查点，以及 Kaplan horizon 上随模型规模变化的拟合斜率与截距；曲率实验写明 P=1.677×10^8、3B token（Figure 4、附录 D、附录 E）。
• 坐标模型模拟覆盖 q⋆∈[1.5, 4]，以及 q⋆=2 时 P∈{250,500,1000,2000,4000,8000}、ϕ=1 与 ϕ=0.001（Figure 2、3）。
• 成功标准是清洁数据上的相对困惑度或清洁超额风险，不是定向后门成功率。
• 曲率尾指数由 Gauss/Radau 与比值检验估计，作者标出 neff<2 与红色不可靠区（Figure 4、附录 E）。
• 论文未报告 LLM 各规模拟合指数的数值表、重复次数，以及攻击辅助模型或查询次数；该实验不是查询式攻击。

可解的预训练数据投毒理论：清洁超额风险的缩放指数随极限顺序改变。

• 问题：定向后门能否熬过安全后训练，并不回答清洁语言建模质量如何随投毒率 ε 退化。作者在匹配的 OLMo 风格预训练里看到相对清洁困惑度增幅近似为 Δ≈Cε^a，a 非整数，并随训练进度和模型规模漂移。
• 障碍与机制：若污染目标在非退化清洁最优点附近对 ε 解析，超额风险的领先项是二次，a=2。重尾加上阈值随 ε 调整的截断给出 a=2β/(β+γ)，不必为整数。
• 可解模型：P 维、尾指数 q⋆ 的坐标模型，标签偏移投毒，截断后做岭回归。P,D→∞ 且 ϕ=P/D 固定时，风险集中到泊松点过程的确定性等价。无岭时，固定 ϕ 再令 ε↓0，优化后超额风险的阶是 ε^{q⋆/(q⋆+2)}；先令 ϕ↓0 再令 ε↓0，阶是 ε^{2−2/q⋆}。两极限不对易，指数在 q⋆≈1.236 处交叉。
• 数值：q⋆=2、P=8000 时，ϕ=1 的拟合指数为 0.483，预测 0.50；ϕ=0.001 的拟合为 1.024，预测 1.00（Figure 3）。q⋆ 从 1.5 到 4，两支预测分开；随 ϕ 增大，拟合指数从 1.0 交叉到 0.5（Figure 2）。
• 回到 LLM：作者把有限训练时间看成逆曲率谱上的截断。在 1.677×10^8 参数、3B token 的模型上，作者称比值检验支持重尾，α̂_2 趋近约 0.33。失配大时指数从 1 走向 0，失配小时从近 1 升向分式值。作者的结论是：非整数投毒指数可以来自重尾与依赖投毒的截断，而且高维比例区与充足数据区给出不同指数；精确证明限于坐标模型，到真实预训练的对应仍依赖有待建立的假设。