跳到正文
原文

不透明串行深度的一种操作化定义

An Operationalization of Opaque Serial Depth

arXiv· arXiv:2611.17495· Nathan Sheffield, Alek Westover, Lukas Finnveden, Alexa Pan, Julian Stastny, Ryan GreenblattRedwood Research本站收录· 4 天前· 原文发表对齐· 扫描记录里的位置 →

论文速读

分析与理论

据论文 PDF 整理(AI 生成),以原文为准

作者提出 NLS depth 度量模型的不可监控串行认知量,称开源 CoT 模型均不超过 17,000,而潜在推理架构会大幅升高。

问题
CoT 目前可用来监督模型,但潜在推理等架构变化可能让大量串行认知不再经过可读文本,削弱可监控性。作者认为需要一种能在训练前判定的度量来追踪这一风险。
方法
作者定义 NL-rooted 节点作为可解释瓶颈,把 NLS depth 定义为不经过这类节点的最长计算路径长度,并给出标准 transformer 的近似公式与 Gemma3-1B 的 1,954 上界示例。
实验与结果
作者报告开源模型 NLS depth 与层数强相关、近年增长缓慢,无开源 CoT 模型超过 17,000;full-bandwidth transformer 等潜在推理架构会大幅升高,looped transformer 按循环次数倍增。
局限与可以继续做的
作者承认 DeepSeek-V4-Pro 因低 FLOP 串行归一化被高估是定义缺陷,且 NLS depth 无法追踪改用不透明状态通信的深度循环模型;分析基于公开架构,闭源模型深度未知。
实验设置Gemma3-1B、Kimi-K3 等 · NLS depth
被测模型
Gemma3-1BKimi-K3DeepSeek-V4-Pro
指标
NLS depth
AI 导读研究者提出 NLS depth 指标,作为模型未言语化串行认知量的代理,用于评估架构变化可能削弱思维链(CoT)可监控性的风险。该指标大致是模型计算中最长的不经过可解释瓶颈的路径长度,论文给出的瓶颈判定标准是自然语言根(NL-rooted)节点,即由预训练先验初始化以产生人类可理解输出、输出空间未超出该先验的节点。NLS depth 可在训练前仅凭架构、训练方案和部署配置判定,对提示、蒸馏、RL 等常规后训练不敏感。在开源权重模型上,该指标与层数强相关(存在例外)且近年增长缓慢;标准 Transformer 持续扩展下预计仍将缓慢增长,而全带宽 Transformer 等潜在推理架构可能使其大幅上升。论文还给出界定 Gemma3-1B 深度的算例,并建议 AI 开发者跟踪并报告模型的 NLS depth,作为思维链可监控性直接测量的补充。

研究者提出 NLS depth 指标,作为模型未言语化串行认知量的代理,用于评估架构变化可能削弱思维链(CoT)可监控性的风险。该指标大致是模型计算中最长的不经过可解释瓶颈的路径长度,论文给出的瓶颈判定标准是自然语言根(NL-rooted)节点,即由预训练先验初始化以产生人类可理解输出、输出空间未超出该先验的节点。NLS depth 可在训练前仅凭架构、训练方案和部署配置判定,对提示、蒸馏、RL 等常规后训练不敏感。在开源权重模型上,该指标与层数强相关(存在例外)且近年增长缓慢;标准 Transformer 持续扩展下预计仍将缓慢增长,而全带宽 Transformer 等潜在推理架构可能使其大幅上升。论文还给出界定 Gemma3-1B 深度的算例,并建议 AI 开发者跟踪并报告模型的 NLS depth,作为思维链可监控性直接测量的补充。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者提出 NLS depth,在训练前度量模型不经可解释瓶颈的串行认知量,辅助监控架构风险。

    核心问题:如何用一个可在训练前判定的度量,刻画模型能在不经过可解释瓶颈的情况下进行多少串行认知(opaque serial depth),从而追踪架构变化对 CoT 可监控性的威胁。

    • 问题场景与重要性:作者认为 CoT 目前是监督 AI 模型的有价值工具,但某些架构转变(如潜在推理)可能降低 CoT 可监控性;在另一份文档中作者已提议 AI 公司透明分享架构允许潜在推理的程度,本文为其提供度量工具。
    • 现有方法的不足:作者称直接度量可监控性难以量化(不确定在什么任务上测、用什么诱导策略);Brown-Cohen et al. (2026) 提出 opaque serial depth 概念,但未具体规定什么算"可解释瓶颈"。
    • 核心观察:作者认为 CoT 可解释的关键在于模型从预训练先验初始化来预测自然语言,因此可用"是否根植于自然语言先验"来判定瓶颈是否可解释。
    • 论文提出什么:定义 natural-language-rooted(NL-rooted)节点的三条标准,据此定义 NLS depth;给出标准 transformer 的近似公式;分析该度量在开源模型上的取值、随规模的变化,以及对多种现有和提议架构的适用方式(附录 A、B)。
    • 定位:作者强调 NLS depth 不是可监控性或无 CoT 能力度量的替代品,而是补充;其优点是清晰、可在训练前仅从架构、训练方案和部署配置判定。
  2. 有哪些相关研究?

    相关工作包括 opaque serial depth 原始概念、CoT 可监控性讨论,以及多类被逐条判定 NLS depth 的架构。

    opaque serial depth 概念

    • Brown-Cohen et al. (2026)——提出 opaque serial depth:计算图中不经过某种"可解释瓶颈"的最长路径;并给出两种可解释瓶颈的候选定义方向。本文的 NL-rooted 节点与其附录 A.2 的方向相近但更具体;本文称与其定义的唯一差别在于 admissible circuit 的规定方式(门集合与规模上限)。

    CoT 可监控性与监督

    • Korbak et al. (2025)——作者据此称 CoT 目前是监督 AI 模型的有价值工具。
    • Taylor et al. (2026)——作者据此称某些架构转变可能降低 CoT 可监控性。
    • Gould et al. (2026)——估计前沿模型无 CoT 任务完成时间范围;本文在附录 B.2.2 讨论用类似评测度量 opaque capabilities,但指出诱导方式难以标准化。

    被判定为高 NLS depth 的架构(论文逐条分析)

    • COCONUT(Hao et al., 2024)——在连续潜在空间推理,隐藏状态被反馈回第一层;作者称其不满足 NL-rooted 条件。
    • full-bandwidth transformer(Wang et al., 2026)——可在整个上下文窗口上对不透明状态递归;作者称其为尤其令人担忧的架构。
    • abstract CoT(Ramji et al., 2026)与 token superposition(Zhang et al., 2025)——分别通过扩大词表和传入嵌入混合来扩展输出空间。
    • looped transformer(Geiping et al., 2025)——在生成 token 之间重复部分前向传播;作者称其按循环次数倍增 NLS depth。

    被判定为低或中等 NLS depth 的工作

    • Deng et al. (2024)——训练模型在单次前向传播中折叠多步推理;作者称这不增加 NLS depth。
    • Mamba(Gu and Dao, 2023)与 DeltaNets(Yang et al., 2024)——通常递归求值但存在等价的低深度并行计算,作者称只中等程度增加深度。
    • LLaDA(Nie et al., 2025)与 Dream(Ye et al., 2025)——离散扩散、每步只输入输出 token,作者称其瓶颈为 NL-rooted;而连续或潜在增强扩散(Gulrajani and Hashimoto, 2023;Zheng et al., 2025;DiffusionGemma)会大幅增加深度。

    定位:作者称本文的主要贡献是为"可解释瓶颈"给出一个具体标准,使 opaque serial depth 成为可在训练前判定、对常规后训练不敏感的度量;论文无对比基线方法和基准数据集。

  3. 论文如何解决这个问题?

    定义 NL-rooted 节点三标准,再以不经此类节点的最长路径定义 NLS depth,并给出 transformer 近似公式。

    整体思路:先定义什么算"可解释瓶颈"(NL-rooted 节点),再把 NLS depth 定义为计算在等效电路表示下、不经过这类节点的最长路径长度。

    NL-rooted 节点的判定标准

    • 自然语言初始化:模型从预训练先验初始化,使这些节点最初表示来自该先验的样本;"人类可理解媒体"包括文本、代码、json、图像或音频,并允许从其他模型蒸馏。
    • 不扩展输出空间:节点只表示几乎所有 token 都由预训练先验初始化、或有确定人类可理解含义(如 <EOS>、<think>)的输出空间;作者称这一条排除 COCONUT、abstract CoT、full-bandwidth transformer 和 token superposition。
    • 不修改模型把 token 当作另一类数据解释:架构或训练不得直接使 token 成为其他数据类型的代理编码;作者称常规 RL、提示蒸馏不在此列,并给出两个被排除的例子(优化输出以模仿模型不透明状态;把多个 token 嵌入相加后喂回模型)。
    • 不把 token 当作被反向传播穿过的连续中间状态:作者称这一条大概率已被上述标准蕴含,但单独强调;SFT 和 RL 不受影响,因为梯度从节点处开始而非从更后层穿过它。

    NLS depth 的定义

    • 定义:一个计算的 NLS depth 至多为 D,若它实现的函数能用一个 admissible circuit 表示,且其中每条 opaque path 长度至多为 D。
    • admissible circuit:门为从两个 32-bit 值到一个 32-bit 值的任意函数,总规模至多 10^26 个门;作者称 32 与 10^26 的具体选择可替换,对定义无实质影响。
    • opaque path:电路中不经过任何标记为可解释瓶颈(NL-rooted 节点)的路径。
    • "能表示"的宽松度:允许不改变模型输出的差异(重排归约、浮点舍入、去量化),不允许实质改变行为;作者特别指出仅在基准上打平的更浅模型(如蒸馏所得)不算原模型的表示。

    标准 transformer 的近似公式

    • 作者给出(公式 1):NLS depth ≈ L · (4⌈log2 d⌉ + ⌈log2 S⌉ + 17),其中 L 为层数、d 为隐藏维度、S 为序列长度;含义是深度由注意力与 MLP 中矩阵乘法的归约深度主导,n 项求和可用深度 log n 实现。
    • 该公式假设 FFN 宽度为隐藏维度 4 倍、注意力头维度约 128、全局注意力;作者称现代前沿模型用稀疏注意力,长序列下的深度增长更低。

    适用方式与示例判定

    • AI 系统的界定:作者把 LLM 跑一次上下文、带压缩或记忆的智能体、推理中多次反向传播的 TTT、通信智能体群都算作 AI 系统;训练全过程不算。
    • 典型取值规则:自然语言 CoT 模型整个推理 rollout 的 NLS depth 等于单次前向传播(即使带文本压缩、文本记忆、多智能体文本通信);COCONUT 类潜在推理为潜在步数乘单步深度;looped transformer 为循环深度乘循环次数。
    • 示例架构判定(附录 A):训练后 CoT 变难懂、在 CoT 上训练、折叠多步推理、编辑式生成、在线训练、AI 修改 AI 权重(有 NL-rooted 瓶颈时)、token-only 离散扩散均不增加 NLS depth;Mamba、DeltaNets、looped transformer 中等增加;COCONUT、abstract CoT、superposition、不透明记忆库、连续或潜在增强扩散、NLA 伪装的循环、TTT 均大幅增加。
    • 可计算性:作者称给定架构细节,现有消费级 AI 模型即可算出接近最优的上界;附录 D 给出 Gemma3-1B 的手算示例。
  4. 论文做了哪些实验?

    无论文实验;作者用图表报告开源模型 NLS depth 与层数、年份、活跃参数的关系及架构对比。

    分析设置

    • 分析对象:开源权重模型的架构与公开配置;附录 D 对 Gemma3-1B(22 层滑动注意力、窗口 512,4 层全局注意力,最大上下文 32,768 token)手算深度上界。
    • 度量:NLS depth,按论文定义从架构、训练方案和部署配置判定;Figure 1、2、4、6 的横纵轴分别为层数、发布年份、活跃参数量与 NLS depth(Figure 3 为对数坐标)。
    • 数据来源:Figure 2、4 引用 Epoch AI (2026) 的趋势数据;闭源模型深度未知,作者仅引用 OpenAI 首席科学家关于 Astra 深度在 GPT-4 两倍以内的公开声明。
    • 重复与样本量:论文未报告采样、重复次数或统计检验;各图的具体模型清单与数值未在转换文本中给出。

    主要定量发现

    发现数值出处
    开源 CoT 模型 NLS depth 上限17,000正文第 4 节
    Gemma3-1B 深度上界1,954附录 D
    深度对活跃参数的拟合幂指数0.26Figure 4
    训练算力历史增速5×/年附录 E(引 Epoch AI, 2026)
    推算 NLS depth 年增速1.22×(每 3–4 年翻倍)附录 E
    DeepSeek-V4-Pro 中 Sinkhorn-Knopp 贡献深度12,200(100·2·61)附录 G
    排除归一化后最深路径缩短25%附录 G
    • 作者称 Figure 1 显示开源模型中 NLS depth 与层数强相关,因此电路深度与直觉的"层数"捕捉的是同一对象。
    • 作者称 Figure 2 显示开源模型近年没有明显的深度增长,开发者转而通过推理时扩展(更多自然语言推理)增加计算深度。
    • 作者称 Figure 3(对数坐标)显示即使较小的假想潜在推理架构,NLS depth 也远大于最大开源 CoT 模型。

    例外与离群模型

    • Kimi-K3 与 DeepSeek-V4-Pro:作者指出这两个模型每层的 NLS depth 高于 Figure 1 中其他更标准的 transformer;认为 Kimi-K3 的高深度(来自 Kimi Delta Attention)从可监控性角度有些令人担忧,而 DeepSeek-V4-Pro 的高深度被作者视为定义缺陷。
    • DeepSeek-V4-Pro 的细节:其深度主要来自每层两次 Sinkhorn-Knopp 迭代归一化,各贡献 100 深度、61 层共 12,200;这些操作每次只处理 16 个 FP32、无学习参数,作者称其显然不能进行危险的不透明认知,排除后最深路径缩短 25%(附录 G,Figure 6)。

    架构对比分析

    • looped transformer:作者称其与当前范式分界不如潜在推理清晰(如 120 层换成两份 60 层时深度相近),但可扩展得更深;即使循环带来 2 倍深度,也相当于 CoT 范式内数年的扩展。
    • Astra 案例:作者称 OpenAI 的 Astra 的 CoT 可监控性低于其此前模型(引 OpenAI, 2026),原因不明,但公开证据与"导致更高深度的架构变化是重要促成因素"一致;作者估计 Astra 可能相对其此前模型有 2 倍或 3 倍深度增长。
    • NLS depth 追踪不到的变化:作者指出从"深度循环模型用自然语言互相通信"切换到"用不透明状态通信"时 NLS depth 不变,附录 F 另提"不透明系统最大 FLOP"作为补充代理(Figure 5)。

    其他分析

    • 附录 E:若 NLS depth ∝ N^1/4 且 Chinchilla 缩放成立,则深度随训练算力按 C^1/8 增长;作者称 1/8 很慢,留有裕度。
    • 附录 B:讨论替代操作化(加信息瓶颈、只禁反向传播、要求 CoT 可读、要求复述不变性、固定上下文长度、直接测 opaque capabilities、允许长时标不透明循环),作者逐一说明取舍,均未纳入主定义。
    • 附录 D 计算细节:Gemma3-1B 滑动注意力块深度 73、全局注意力块 79、输出解码 32,合计 22×73+4×79+32=1,954;作者称用了 bit 打包、门融合、并行化三种定义允许的优化。
  5. 有什么可以进一步探索的点?

    作者承认 DeepSeek-V4-Pro 误分类等缺陷,并列出多个替代定义与补充代理作为后续方向。

    作者指出的局限与后续方向

    • 低 FLOP 串行计算误分类:作者称 DeepSeek-V4-Pro 因 Sinkhorn-Knopp 归一化获得高 NLS depth 是"我们定义的缺陷",并提出可用更高位门(如 256-bit)的变体或个案论证来处理(附录 G)。
    • 追踪不到不透明通信切换:作者指出 NLS depth 无法捕捉从自然语言通信切换到不透明状态通信的变化,附录 F 提出"不透明系统最大 FLOP"作为不同代理。
    • 对后训练不敏感是取舍:作者称 NLS depth 对一些实际会让 CoT 更可读或更难读的后训练选择不敏感,是"好(尽管不完美)的代理"(第 1 节)。
    • 新架构需人工判断:作者称判定新架构的 NLS depth 可能需要人工判断,但认为比直接测可监控性需要的判断更少(第 1 节脚注)。
    • 替代操作化:附录 B 列出多种替代定义(信息瓶颈、只禁反向传播、要求 CoT 可读、复述不变性等),作者称其中一些合理但未纳入主定义,并表示对更好的代理的研究感兴趣。
    • 蒸馏判定微妙:作者称从 full-bandwidth transformer 蒸馏是否算从 NL-rooted 节点蒸馏"相当微妙",建议公司披露是否从高 NLS depth 模型蒸馏(第 2 节脚注)。

    实验覆盖范围

    • 分析对象为开源权重模型,具体模型清单与数值未在文中逐一点名(除 Gemma3-1B、Kimi-K3、DeepSeek-V4-Pro);闭源模型深度未知,作者仅引用 OpenAI 关于 Astra 的公开声明。
    • 定量证据为 Figure 1、2、3、4、6 的趋势与对比,以及附录 D 对 Gemma3-1B 的手算上界;论文未报告统计检验、置信区间或重复次数。
    • 架构判定覆盖附录 A 列出的约 15 类变化(从 CoT 退化到 TTT、多模态),均为按定义的分析性判定而非实证测量。
    • 历史趋势数据来自 Epoch AI (2026),算力增速 5×/年与幂指数 0.26 均为作者引用或拟合的结果。
    • 论文未报告任何在训练后模型上实测可监控性的实验;作者明确将此类直接测量留给其他工作。
  6. 总结一下论文的主要内容

    作者定义 NLS depth 度量不透明串行认知,称开源模型增长缓慢而潜在推理架构会大幅升高。

    Redwood Research 的这篇论文把 Brown-Cohen et al. (2026) 的 opaque serial depth 概念操作化为 NLS depth,用于在训练前评估架构对 CoT 可监控性的风险。

    • 要解决的问题:CoT 是当前的监督工具,但潜在推理等架构变化可能让大量串行认知绕开可读文本;直接测可监控性难以量化,作者认为需要可提前判定的补充度量。
    • 方法要点:定义 NL-rooted 节点(自然语言初始化、不扩展输出空间、不把 token 当另一类数据解释,且不被反向传播穿过)作为可解释瓶颈;NLS depth 是等效 admissible circuit 中不经过这类节点的最长路径。标准 transformer 近似为 L·(4⌈log2 d⌉+⌈log2 S⌉+17)。
    • 主要发现:作者报告开源模型 NLS depth 与层数强相关(Figure 1)、近年增长缓慢(Figure 2),无开源 CoT 模型超过 17,000;深度约按活跃参数的 0.26 次幂增长(Figure 4),推算每年约增 1.22 倍。
    • 架构对比:作者称 full-bandwidth transformer 等潜在推理架构会使 NLS depth 大幅升高(Figure 3,对数坐标);looped transformer 按循环次数倍增;Gemma3-1B 的上界手算为 1,954(附录 D)。
    • 例外:DeepSeek-V4-Pro 因低 FLOP 的 Sinkhorn-Knopp 归一化被算入 12,200 深度,作者承认这是定义缺陷;Kimi-K3 的高深度则被作者认为确实有些令人担忧。
    • 作者结论:作者认为转向更高 NLS depth 的架构很可能带来更难监督的不透明串行能力,AI 公司应追踪并公开其模型的 NLS depth,作为 CoT 可监控性直接测量的补充。
阅读原文arxiv.org