眨眼之间：生成模型特征局部化的一个简单理论

生成过程会在很少几步内决定最终输出的某些特征，但缺少同时覆盖扩散与自回归、且不做强分布假设的理论。

• 出现场景：作者列举语言模型的突然切换，包括从写代码转到浏览黄石图片、称任务困难后去破解奖励评估、单个 token 后数学正确概率下降、对使用者发出威胁，以及操纵最初几个生成 token 的越狱；扩散中背景物体或图像类别也会在窄区间出现，文献称 critical windows（Figure 1）。
• 为何重要：作者认为这些窗口是采样器里负责某一输出属性的步骤，可用于可解释性，也被用来给偏好优化和微调提供逐步奖励；从可解释性、安全与能力角度看，需要理解其如何以及为何出现。
• 现有不足：扩散上的理论或者假设数据有显式函数形式并做非严格统计物理计算，或者依赖 Girsanov 定理等高斯扩散工具；后一类界更粗，会损失随维度变化的因子，且不能直接推广到自回归模型。
• 本文的归约：作者把窗口参数化为较大与较小子总体仍不可区分的最后一步，以及两者重叠可忽略的第一步；现象被写成模型从较大子总体局部化到较小子总体。
• 提出的理论：在 stochastic localization sampler 上给出 Theorem 2，适用于自回归与扩散、不做分布假设，并称扩散特例上的误差界与维度无关；还把 in-context learning 的窗口联系到 all-or-nothing，并用 LLM 实验检验位置预测。

扩散中的 critical windows

• Raya 与 Ambrogioni（2023）、Sclocchi 等（2024、2025）、Biroli 等（2024）假设数据有显式函数形式，用非严格统计物理计算窗口。其中 Biroli 等对两个球面高斯混合做 Landau 型微扰；Sclocchi 等经平均场处理 random hierarchy model。
• Li 与 Chen（2024）用 Girsanov 定理，对强对数凹混合给出与 Theorem 2 类似的非渐近界。作者称该界含随维度的多项式因子，且工具专属于高斯扩散。

前向-反向实验

• Li 与 Chen（2024）以及 Sclocchi 等也通过加噪再去噪研究带某属性的样本。作者称这与在中间态 Y_t 重跑反向过程相近，后者见于 Georgiev 等（2023）、Biroli 等（2024）、Raya 与 Ambrogioni（2023）；前向过程确定时，即自回归语言模型，两种看法等价。

随机局部化与语言模型中的邻近现象

• El Alaoui、Montanari、Sellke 等把 Eldan 的 stochastic localization 用于采样算法。作者称本文是用 Montanari（2023）的框架理解实践中不同局部化采样器上的经验现象。
• 附录 A 将上下文学习的贝叶斯框架（Xie 等，2022，及后续若干工作）接到 critical windows 与 all-or-nothing。思维链方面，Lin 等（2024）与 Phi-4 技术报告（2024）与本文同时观察到数学推理中的窗口，并分别称为 critical tokens、pivotal tokens，用于偏好优化。
• 越狱方面，Qi 等（2024）等讨论最初几个生成 token。作者称本文用未对齐分量相对全模型的概率解释越狱何时发生，并称这推广了 Qi 等的解释；也用来理解基于困惑度的监测（Alon 与 Kamfonas，2023）。

基线与基准

• 推理实验的对照是同一模型有无 critical windows 的准确率；附录还与直接作答（Lanham 等，2023）比较。基准为 ARC Challenge、ARC Easy、AQuA、LogiQA、MMLU、TruthfulQA、MATH。越狱检测附录的对照是困惑度阈值和基于激活的 MLP 检测器（Bailey 等，2024）。

作者把本文定位为：适用于一切基于局部化的采样器，不假设函数形式或对数凹，并用与维度无关的误差改进 Li 与 Chen（2024）的主定理；层次定义也从扩散上的高斯混合扩到全部此类采样器。

扩散与自回归都被写成 stochastic localization sampler：对样本做马尔可夫退化，再沿时间反演采样。作者把 X 的分布 p 定义为采样器自己的分布；学习真实后验被放在本文之外，并称研究采样器分布更贴近可解释性与越狱。

观测过程与混合特征

• 指标 t 增大时，观测 Y_t 更不提供关于 X 的信息，且 X 到一列 Y_t 构成马尔可夫链（Definition 1）。要求整条路径几乎必然确定 X，并设 Y_∞ 对 X 完全无信息。时间方向与 Montanari（2023）相反。
• 采样器从最无信息的观测起，沿反向链采样到 X（Definition 2）。扩散的退化是与越来越大的高斯噪声卷积；自回归是从序列右端向左掩码。附录 B 把连续扩散、离散扩散和自回归都放进该框架。
• 特征写成离散混合：先抽 θ∈Θ，再抽 X∼p_θ。非空 S⊂Θ 上把权重重新归一化，得到子混合 p_S。Θ 可按任务取，如猫/狗、对/错、unsafe/safe（Remark 1）。比较不同子混合时，退化程序固定，前向核不依赖 X 的分布。

前向-反向实验

• 对非空 S 与时间 T̂：先从 p_S 跑前向得到 Y，再按全分布 p 的后验从该 Y 反向采样，记结果分布为 p^{S,T̂}（Definition 3）。若反向仍用 p_S 作先验，边际仍是 p_S。
• 作者称 T̂ 趋于 0 时该分布趋向 p_S，趋于无穷时趋向 p。要刻画的是这两个极端之间的过渡。
• 语言模型实例：把关于猫的故事截掉末尾若干 token 再采样。截得少，故事仍关于猫；截到第一次出现猫之前，重采样也可能写成狗。

窗口的界定

• 对 S_init ⊂ S_target，用前向过程上的总变差定义两个时刻。T_start 是 S_target 与其补集的总变差仍至少为 1−ε² 的最大 t；T_end 是 S_init 与 S_target 的总变差不超过 ε 的最小 t。
• Theorem 2：若反向起点落在二者之间，则前向-反向结果与 p^{S_target} 的总变差由 ε 和权重比 W 控制。W 是补集权重之和除以 S_target 权重之和。证明用马尔可夫性、数据处理不等式、耦合和贝叶斯公式。纯文本中定理公式的系数符号不完整，此处不复述系数。
• 若 T_end 大于 T_start，该界为空。Definition 4 把 critical window 定义为从较大集合 S_before 特化到较小集合 S_after 的区间。定义本身不解释窗口为何窄。作者认为，前向过程只需很少几步就能抹掉二者差别时窗口会变窄，例如数据有多尺度层次。
• 相对 Li 与 Chen（2024）：不要求分量强对数凹，也不要求各时刻 score 利普希茨且矩有界。作者称最终界不依赖维度 d。

可计算的例子

• 两个各向同性高斯：从两个分量过渡到其中一个的窗口在 ln∥μ∥ 附近，宽度不依赖维度（Example 1）。随机均值的球面高斯混合：高概率下窗口宽度为 O_{K,ε}(1)，d 趋于无穷（Example 2）。作者称这去掉了 Li 与 Chen（2024）对各向同性高斯的 ln ln d 依赖。
• 两条狄拉克串的随机掩码：窗口用汉明距离表示；作者称距离足够大时窗口随该距离变小，距离随长度 T 增长时宽度可忽略（Example 3）。
• 自回归的关键 token（Example 4）：两模式直到某一位置才分开，随后在 k 个 token 上，一个模式落到另一模式支撑上的概率不超过 ε。窗口长度为这 k 步。作者称在纠错样本上微调可以提高离开该模式的概率，并以此为 Qi 等（2024）的做法提供理论理由；还称有害分量与全模型的概率比可用于区分提示。随机游走式解题（Example 5）：在 ln(2/ε²)/(2∆²) 小于 A、且 ε² 小于 10^{-3}(0.5−∆)(0.5+∆) 时，强解题模式的窗口宽度为 Θ(1/∆²)，与 T 无关。
• 上下文学习（Example 6）：T_after^C 等于 3T+3 减去不依赖 T 的 O_ε(1)。Theorem 6 把 all-or-nothing 相变写成上下文学习的 critical window，端点为 N+2 减去 (1±δ)N_s^*。

层次

• ε-mixture tree（Definition 8）只用初始分布和前向过程：根上全部分量在足够噪声下不可区分，叶是不同模式。推论 1：沿叶到根的路径有一列时刻，单分量的前向-反向结果在总变差意义下接近该层子混合，差距写成 ≲_w ε。
• 推论 2：若另一组分量与原分量逐个的总变差不超过 δ/2，且前向过程相同，则同一棵树是 ε+δ 的混合树。前向过程不同时，层次可以不同。Example 7 用掩码顺序构造任意决定次序。
• 作者称扩散上的层次一般比自回归浅：Example 2 的深度为 O(1)，而自回归深度可随上下文长度线性增长。作者推测自回归模型可以学到比扩散更复杂的特征层次。文中指向 Li 与 Chen（2024）的高斯层次时，纯文本里的大 O 表达式可能丢了根号，此处不复述该式。

实验设置

• 被测模型：LLAMA-3.1-8B-Instruct、Phi-3-7B-Instruct、Qwen-2.5-7B-Instruct。结构化输出只用第一者。附录写三者默认温度分别为 0.6、1.0、0.7；LLAMA 另有 top-p 0.9。最大生成长度 2048。抽取最终答案时 temperature 为 0。
• 基准与规模：ARC Challenge、ARC Easy、AQuA（表中写 AQUA-RAT）、LogiQA、MMLU、TruthfulQA 选择题，以及 MATH。每数据集 400 题。
• 协议：截掉原生成的一定比例 token 再采样，看答案是否与原生成相同。选择题用文本直接比较，MATH 用 prm800k grader。每个截断比例重采样 100 次。论文未报告截断比例的个数。
• 窗口定义：连续截断比例上，相同答案的概率跳跃大于 0.5。Figure 5 高亮的是一步内增加 50% 且没有 30% 下降的生成。
• 结构化输出：五个二选一填空，预填换行和「1.」，用 10000 次生成估计截断后仍得到相同答案的概率。
• 越狱附录：良性来自 UltraChat 与 Xstest，有害来自 Circuit Breakers 及多种已有越狱，并用 StrongReject 分类器筛是否有害。指标是 FPR=0.01 时的 recall。未对齐似然用经 LoRA 调整、不对有害提示拒答的 LLAMA-3.1-8B-Instruct 作代理。

主结果

表格较宽，可左右滑动

∆Acc 据 Table 1，是无 critical windows 与有 critical windows 的准确率之差。出现率来自 Section 6.2 正文，只报告了 MATH。表未列入的 LogiQA、TruthfulQA、ARC Challenge 上，Table 1 的 ∆Acc 也均为正；其中 TruthfulQA 上 Qwen-2.5-7B-Instruct 为 0.55，LogiQA 上 LLAMA-3.1-8B-Instruct 为 0.15。

• 作者称三个模型、七个基准上都出现这种跳跃（Figures 5、9、10），且有 critical windows 的生成准确率更低。对 LLAMA-3.1-8B-Instruct，作者称准确率最多低 73%，错误回答比正确回答多 11%-33% 的 critical windows。
• Table 1 中 ∆CW 同样都为正，但 AQUA-RAT 上 Qwen-2.5-7B-Instruct 的 ∆CW 为 0.01。论文未报告这些差异的统计检验，也未报告有窗口与无窗口的生成各占 400 题中的多少。
• 作者称跳跃发生在推理的重要步骤。Figure 6 的 Phi-3-7B-Instruct 例子中，作者称正确公式首先出现在 critical window 内。

结构化输出

• 测的是层次化填空能否按首次出现的标识信息定出 T_before^C 与 T_after^C。作者把第一个窗口的前一端放在第一个答案出现之前，后一端放在能标出该选项的 token 上。
• 作者称概率跳跃恰好落在这些预测位置，与 Section 5 一致（Figure 4）。正文未给出各截断点的概率数值。

越狱检测附录

• 似然比是未对齐模型与对齐模型的对数概率之差；对照是对齐模型自身的对数概率，以及 MLP 检测器。数据集含 PAIR、AutoDAN、MSJ、多轮、Prefill、GCG 等类别。
• Table 2 在 FPR=0.01 下，未对齐减对齐的两行有多格为 0.000，该两行最高为 0.100（Misc，generation）。对齐模型 generation 的对数概率在 Multi-Turn 为 0.570、在 Prefill 为 0.416；MLP 一行从 0.663 到 1.00。
• 正文写似然比在 5 类越狱上的 recall 为假阳性率的 5–10 倍，并写 recall 大于 1。后一说法与 Table 2 中不超过 0.100 的格子不一致，此处以表为准。作者称这些方法差于已有方法，并认为可能是因为用了未对齐模式的代理。

其他消融与分析

• 温度 0.1、0.4、0.7、1.0，MATH，400 个样本，每样本前向-反向 25 次：作者称频率和窗口大小与温度的关系因模型而异，跨模型无确定关系；正文无各温度数字（Figures 12、13）。
• 作者称无限温度下每个 token 均匀随机、零温度下只有一个行为模式，两端都不会有 critical windows；中间温度的净效应并不清楚（Appendix D.2.4）。
• 直接作答相对重采样（Figure 11，仅 LLAMA-3.1-8B-Instruct）：作者称直接作答一致性更低，MATH 与 AQUA 的差距大于其他推理集；正文无具体差值。
• 附录重现 prefill 与重复 token 两类越狱的概率跳跃（Figure 7）；正文未给出图中数值。

作者指出的局限与后续方向

• 理论适用于自回归语言模型、连续扩散和 flow matching。GAN 与 consistency model 用单次网络计算把噪声映射成图像，不属于 localization-based samplers（Limitations）。
• 作者认为这一限制很次要，因为这些模型要么实践中不常用，要么基于 localization-based samplers（Limitations）。
• 后续方向是在其他设定中计算 critical windows 的位置，并与其他数据模型的统计物理预测相联系，例如 random hierarchy model（Future Work）。

实验覆盖范围

• 正文实验是三个指令模型在七个数学与推理基准上的截断再采样：每数据集 400 题，每个截断比例重采样 100 次（Section 6.2）。除 MATH 的 42.2%、16.6%、30.2% 外，正文未给出其余基准的出现率。
• 结构化输出只使用 LLAMA-3.1-8B-Instruct，共 10000 次生成（Section 6.1）。温度比较在 MATH 上取 0.1、0.4、0.7、1.0，400 个样本、每样本 25 次（Appendix D.2.4）；正文未给出各温度的频率。
• 越狱检测附录在 FPR=0.01 下比较似然比、对齐模型对数概率和 MLP（Table 2）。论文未报告该检测的重复次数，也未报告准确率差异的统计检验。
• 作者称扩散上的 critical windows 已有多项实证，因此本文实验聚焦 LLM（Section 6）。理论例子包括各向同性高斯、随机均值高斯混合、离散掩码、自回归关键 token、随机游走解题和 in-context learning（Section 4）。
• 层次结论依赖前向过程相同（推论 2）。前向过程不同时，Example 7 说明可以用掩码顺序构造不同的决定次序（Section 5）。

• 定位：用 stochastic localization sampler 解释扩散与自回归生成里，输出特征在很少几步内被决定的 critical windows。
• 问题：扩散上已有理论或者依赖数据的显式形式和非严格统计物理，或者依赖高斯扩散工具并带随维度变化的因子，不能直接用于自回归模型。
• 做法：固定与分布无关的前向退化，再按全分布后验反向采样。窗口是从较大子总体特化到较小子总体的时段，两端由前向过程上的总变差界定。作者称 Theorem 2 的误差不依赖维度，证明不用随机分析。
• 可算例子：两个各向同性高斯的窗口宽度不依赖维度；随机均值混合在高概率下宽度为 O_{K,ε}(1)。自回归随机游走例子中，在给定的 ε、∆、A 条件下，宽度为 Θ(1/∆²)，与序列长度无关。all-or-nothing 相变被写成上下文学习的一个窗口。
• LLM 实验：LLAMA-3.1-8B-Instruct、Phi-3-7B-Instruct、Qwen-2.5-7B-Instruct 在七个推理基准上做截断再采样。作者称窗口常与解题失败重合。MATH 上出现率为 42.2%、16.6%、30.2%。据 Table 1，∆Acc 最小为 0.03（Qwen-2.5-7B-Instruct，AQUA-RAT），最大为 0.73（LLAMA-3.1-8B-Instruct，ARC Easy）；作者称后者的错误回答多 11%-33% 的窗口。
• 作者的结论：窗口来自生成过程在子总体之间的局部化。作者认为在窗口处的纠错上训练，有助于离开越狱或黄石式的不良模式，并为已有的安全微调提供理论理由。非局部化采样器不在该理论内；作者计划在更多数据模型上计算窗口位置。