Hessian Null Space Continuation: discovering substantial representational diversity near a single neural network solution

在单个已训练解周围的低损失连通区域内，内部表示与机制能有多不同，以及如何构造性地遍历该区域。

• 场景：作者称，过参数化网络在同一任务上可因优化器、数据、架构与超参数而学到多种低损失解；mode connectivity 文献表明这些解常由低损失路径相连，但该区域多按连通性与损失刻画，内部计算未被系统考察。另一条工作指出同一任务可有训练损失相近、内部结构不同的解，但它们在权重空间中的关系仍不清楚。
• 现有不足：作者称，Lubana et al. (2023) 比较的是训练得到的网络对，而非系统考察单个解周围的低损失区域；尚不清楚该区域里是真正不同的表示与机制，还是同一机制的小改动。用正则、硬约束或从鞍点沿 Hessian 特征向量寻找替代解的工作，也未说明这些解在参数空间中如何相连。
• 核心问题：在单个已训练解周围、保持函数的连通区域内，表示多样性有多少，以及如何构造性地遍历该区域。作者认为，刻画更广的解集有助于把任务要求与优化器诱导的偏差分开，并可能用于微调、模型合并与事后编辑。
• 本文做法：提出 Hessian Null Space Continuation（HNC）。从锚点网络出发，用局部曲率沿近似保持网络函数的方向移动，并可把任意可微目标的梯度投到平坦方向上，以寻找具有指定性质的解。

Mode connectivity 与损失几何

• 低损失连通：Freeman & Bruna (2017)、Draxler et al. (2018)、Garipov et al. (2018) 讨论全连接网络极小值之间的非线性非增损失路径；Frankle et al. (2020) 的 linear mode connectivity 指出某些极小值可由损失障碍可忽略的线性路径相连。作者称这些工作主要用连通性与损失刻画该区域。
• 局部平坦方向：Sagun et al. (2016; 2017)、Chaudhari et al. (2017)、Ghorbani et al. (2019)、Gur-Ari et al. (2018) 报告已训练低损失解附近存在大量近乎平坦的方向。Li et al. (2018) 被作者用来对照“孤立盆地”的低维凸优化图景。
• 归因与成对比较：Lubana et al. (2023) 表明线性 mode connectivity 可标示两个网络是否共享相近的输入归因函数，非线性低损失路径甚至可连接不相似的极小值。作者称其研究对象是训练得到的网络对，而不是单个解周围区域的系统遍历。

同一任务的多种解（solution degeneracy）

• 行为与表示可分离：Goldman (2009)、Huang et al. (2025)、D’Amour et al. (2022)、Turner et al. (2021)、Ostrow et al. (2026) 等被作者归为：同一任务可对应分布外泛化不同、或内部几何与动力学不同的解族。Braun et al. (2025)、Theiss et al. (2026a;b) 讨论函数与表示可以双重分离。
• 主动寻找替代解：Qian & Pehlevan (2026)、Ostrow et al. (2026) 用惩罚与标准解相似度的正则；Braun et al. (2025)、Theiss et al. (2026b) 把期望的表示相似度做成硬约束；Parker-Holder et al. (2020) 从鞍点沿 Hessian 特征向量走向不同极小值。Gan & Isola (2026) 称单个预训练模型的局部邻域可含在特定任务上表现更好的多样专家。
• 优化器偏差与表示收敛：Soudry et al. (2018)、Gunasekar et al. (2017)、Arora et al. (2019)、Huh et al. (2023)、Vardi (2023) 被用来说明 SGD 倾向低秩、低范数解。Huh et al. (2024) 的 Platonic Representation Hypothesis 认为模型变大、任务变难时表示趋于收敛。Cao & Yamins (2024)、Yamins & Nayebi (2026) 被引为任务约束对解集的限制。

应用侧与后续测量传统

• 编辑、合并与微调：Aghajanyan et al. (2021)、Hu et al. (2022)、Wortsman et al. (2022)、Ilharco et al. (2023)、Meng et al. (2022)、Mitchell et al. (2022)、Ainsworth et al. (2023) 被作者列为函数保持的局部权重更新可能用到的场景。
• 几何的既有测法：Garipov et al. (2018)、Draxler et al. (2018)、Frankle et al. (2020)、Entezari et al. (2022) 用独立训练网络之间的损失障碍；Cooper (2018)、Simsek et al. (2021) 用程式化理论模型。作者称 HNC 改为从单个已训练网络直接测量。
• 奖励规格：Amodei et al. (2016)、Leike et al. (2017)、Skalse et al. (2022) 出现在讨论中，对应审计奖励规格、找出行为不同或奖励投机策略的用途。

基线与评测环境：论文没有单独的方法基线表。对照包括 3BFF 上独立训练种子、ImageNet 预训练 ViT-S/16 相对未训练 ViT 及七个不同规模、架构、目标与数据的已训练视觉模型，以及 PPO 在真实回报上训出的循轨策略。环境与数据为 3-Bit Flip-Flop、Places-365、ImageNet、Plume Tracking、AI Safety Gridworld 的 boat race、CIFAR-100 子集；附录另有 MuJoCo。

作者把本文定位为把上述两条线合在一起：在单个锚点周围的函数保持连通区域内，用局部曲率做可引导的连续遍历，并称由此看到的解不只是重参数化。

Hessian Null Space Continuation（HNC）从锚点 θ0 出发，交替做零空间平坦步与函数恢复，使函数匹配损失保持接近 0，同时移动到内部表示不同的权重；引导时把可微目标的梯度软投影到平坦方向。

问题设定与函数匹配

• 锚点与损失：锚点是一个已训练网络 θ0。函数匹配损失为 L(θ)=1/2𝔼_{x∼ D}‖ f_θ(x)−f_θ0(x)‖²，衡量相对锚点的输出漂移。实践中用从 D 抽出的固定探针集 X 估计该期望。L 非负且 L(θ0)=0，故锚点是全局极小，梯度为 0。
• 局部曲率：小扰动 δ 只在二阶改变损失，Hessian H=∇²_θ L(θ0)。大特征值对应输出变化快的尖锐方向，近零特征值对应输出漂移小的平坦方向。近似零空间 V0 是特征值不超过阈值的特征向量张成的子空间。
• 正半定：附录 B 说明，因精确极小在 θ0，该处 Hessian 正半定，特征值非负，V0 即数值上最小特征值对应的特征向量张成。

延续：平坦步、恢复与重线性化

• 两步迭代：单步只覆盖锚点邻域，且 Hessian 只是二阶近似，零特征值方向仍可能因高阶项改变损失；离开 θ0 后零空间也可能不再对准平坦方向。因此每步先在当前 V0 内走一小步，再对 L 做梯度下降恢复。方向 dt 在 V0 上均匀采样，η、α 为步长；式中写出一次恢复，实践中做 m 次。
• 重线性化：若恢复后 L(θ_{t+1})>τ，作者将其视为线性近似已不适配局部损失，于是在当前权重处重算 Hessian 零空间。重复直到达到预设步数，或找到具有目标性质的替代解。
• 与数值延续的关系：作者称其高层结构类似经典 predict-correct：沿局部切向走一小步，再修正回曲线（Keller, 1977; Allgower & Georg, 2003）。

零空间的计算与阈值

• LOBPCG：P 个参数时 H 为 P×P，不显式存储或分解。用 LOBPCG（Knyazev, 2001；附录 A.2）求 k 个最小特征对，Hessian–向量积由自动微分计算（Pearlmutter, 1994）。时间与内存为 O(kP)，而不是 O(P³) 与 O(P²)。
• 相对阈值：方向在 λi ≤ μ_rel λ1 时算平坦，λ1 为当前线性化点的最大 Hessian 特征值，μ_rel ∈ [10^{-7}, 10^{-3}]，按实验选取。阈值是相对的，故每次线性化都重算零空间。μ_rel 的扫描在附录 F.2 与附录 C。

引导（steering）

• 软投影：为在保持输出的同时优化可微目标 φ，不使用硬投影。沿每个 Hessian 特征向量 vi 的梯度分量按 1/(1+λi/μ) 缩放：λi ≪ μ 的分量通过，λi ≫ μ 的分量被压低。作者写成 d=(I+H/μ)^{-1}∇φ，从而不必显式构造特征基。
• 单一超参：阻尼取平坦阈值 μ=μ_rel λ1，使同一个 μ_rel 既定义哪些方向算平坦，又定义软投影保留哪些梯度方向。

各领域中被保持与被引导的量

• RNN：无引导时在零空间均匀探索；引导时最大化 1−CKA（表示几何，Kornblith et al., 2019）或 DSA（动力学在可逆变换下的差异，Ostrow et al., 2023; 2026）。使用自适应步长与周期性重线性化（附录 F.3）。
• ViT：引导最小化各层 CKA 的最大值；硬最大值不可微，故用平滑 softmax CKA 替代目标，报告时仍用硬最大值（附录 G.1）。附录 G.3 改为针对 Huh et al. (2024) 的 max-over-layers mutual kNN。记录每个 transformer block 后的 CLS token 以及最终 pre-logits。
• RL：真实奖励通常未知。用锚点 rollout 缓冲区上的离策略重要性采样代理 ϕ_R 近似回报，并用缓冲区状态上动作分布的 KL 作为行为散度 ϕ_B 来引导。沿途定期用当前策略重采缓冲区，并重算代理奖励及其零空间（附录 I.1–I.2）。Boat Race 中保持的是代理回报，真实回报对训练中的智能体不可见。

实验设置

• RNN：64 单元 tanh RNN，BPTT 与 Adam，最小化输出均方误差。任务为 3-Bit Flip-Flop（3BFF）：三个二值记忆，每通道保存最近一次非零输入。五个已训练网络作为锚点。固定点为输入关闭后不变的隐状态。
• ViT：ImageNet 分类预训练的 ViT-S/16（22M 参数，Dosovitskiy et al., 2021）。先在 Places-365 验证集 512 张图上评估锚点（Zhou et al., 2018；Huh et al. (2024) 所用数据）。函数匹配用这些图上的 logits。Fig. 3A–C 为五个随机探针集的均值 ±1 标准差。对照包括一个未训练 ViT 与七个已训练视觉模型。
• RL：Plume Tracking（Singh et al., 2023）：深度 RL 训练的 RNN 在有风二维场地中寻气味羽流源。Boat Race（Leike et al., 2017）：MLP 策略用 PPO 在真实回报上训练，10 个种子。行为统计用 240 个共享初始条件（Fig. 4C）。附录 I.7 另有 MuJoCo，正文未给数字。
• 几何：CNN 在 CIFAR-100 子集上训练，改变宽度与类别数，类别数作为任务复杂度的代理（附录 J.1）。有效零空间比例用输出漂移容差：沿平坦方向走权重范数的 1%，函数匹配损失至多升高 ϵ=0.05。归一化曲率为 d⊤Hd/(nC)，d 为单位步方向，n 为探针输入数，C 为输出类别数；该测量改用相对平坦阈值 μ=10^{-6} λ_max。Fig. 5 的阴影为 3 个种子的标准误。
• 指标：任务损失、1−CKA、DSA、相对权重位移 ∥Δθ∥/∥θ0∥、max-over-layers CKA 与 kNN、ImageNet top-1/top-5、Places-365 上预测一致、动作散度、回合回报与成功率、cast 次数与距羽流中线距离、代理回报与真实回报（净顺时针进度）、有效零空间比例与归一化曲率。
• 样本量：RNN 的 MDS 含 131 个网络（锚点、10 个独立种子，以及三种游走各三次的全部检查点），任务准确率均高于 0.999。Hessian 参与比在五个锚点上约为 23（附录 F.2，Fig. 15）。重复次数在各图注中为 5 个探针集或 3 个种子；论文未报告统一的游走步数预算。

主结果

Swipe horizontally to read the table

设置	保持的量	变化	出处
3BFF，五锚点，无引导/CKA/DSA	任务损失 < 0.01	引导游走以更小权重位移得到更大 1−CKA 与 DSA	Fig. 2B
3BFF，131 个网络	准确率 > 0.999	表示空间中引导游走远离锚点；权重空间中更靠近锚点	Fig. 2F
ViT-S/16，Places-365 探针	探针集上保持锚点 top-1 预测	权重范数变化 1.3%；与锚点的表示差异大于对照模型及未训练 ViT	§4，Fig. 3C
ViT-S/16，ImageNet（未用于约束）	top-5 近乎不变	top-1 下降不到 1%	Fig. 3B
Boat Race，10 种子	游走中保持代理回报	三个最发散终点净顺时针进度降为 0	Fig. 4D–E

• RNN：作者称无引导游走的表示与动力学距离可与独立训练网络之间的距离相当，引导游走发散更大、权重移动更小。无引导终点的八个固定点消失，变成含八个记忆区域的连续流形；CKA 与 DSA 引导改变固定点数量（Fig. 2C 标注 0、7、15 个稳定固定点）。
• ViT：探针集与从未在 HNC 中见过的 held-out 集上，max-over-layers CKA 都下降；未直接引导的 kNN 也下降到可比程度（Fig. 3A）。作者称这不是只利用某一指标或某一图像集。
• 奖励投机：Boat Race 的代理奖励为顺时针进入箭头格 +3；真实回报衡量绕轨净顺时针进度，训练时智能体看不见。十个种子的行为散度都上升，终点分成两簇；作者称三个最发散终点采用在单个箭头格上反复进出、净进度为 0 的策略（Fig. 4D–E）。

RNN 的机制与稳健性

• 测了什么：无引导终点在无输入记忆期的隐状态，分别投到读出子空间与读出零空间的前两主成分；并测无输入时每步隐状态位移。
• 结果：读出子空间中成八个紧凑点，读出零空间中在八个簇内继续移动；位移主要在读出零空间（Fig. 2D）。Fig. 2E 中，CKA 引导终点对隐状态扰动更不稳健，DSA 引导终点在延长的无输入时段出现记忆漂移。作者称分布内输入输出匹配的网络，在延长或扰动条件下行为仍可不同。
• 作者的解读：该网络把记忆维持在状态空间的不同区域，而不是固定点；内部仍在动，输出保持稳定。Fig. 2F 中，表示空间里独立训练与无引导网络靠近锚点，引导游走伸到不同区域；权重空间里引导游走比无引导和独立种子更靠近锚点。作者称表示距离与权重距离解耦，解在表示空间中并不收成单一紧簇。

ViT 的表示重组与 Plume 行为

• ViT 重组：探针图像倒数第二层表示的两两余弦相似度从锚点到终点变化很大（Fig. 3D）。20 张、4 类图像的 MDS 中，类内与类间邻域都被重组（Fig. 3E）。锚点与终点各自最相似的五对图像，用 DINOv2、颜色与空间布局打分，分数是探针图像对中的百分位。作者称终点最相似对仍在语义与颜色上接近，空间布局相似度更低，接近随机对基线（Fig. 3F 虚线）。作者据此认为终点可以把空间布局不同的图像表成相似。
• Plume：动作散度随相对权重变化上升，回合回报与成功率维持，且游走早期甚至上升（Fig. 4B；成功率在附录 I.4）。替代策略 cast 更少，平均离羽流中线更远（Fig. 4C，240 个共享初始条件）。作者称其贴着羽流边缘平滑跟踪，而不是直冲进羽流。附录 I.5：在气味稀疏或风向切换的分布外条件下，替代策略优于锚点；正文未给该附录的数字。
• 作者对 PRH 的解读：作者认为，跨模型表示收敛不必解释成任务唯一指定的底层表示，也可能来自优化偏差只采样了解的一个窄子集。

其他消融与分析

• 有效零空间比例（Fig. 5A，ϵ=0.05）：随宽度增大，随类别数减小；最小网络在最难任务上仍保留大的有效零空间比例。正文未给坐标读数。趋势在不同 ϵ 量级下仍在（附录 J.2）。
• 归一化曲率（Fig. 5B，μ=10^{-6} λ_max）：一般随任务复杂度上升、随宽度下降；附录 J.3 称该趋势在所测相对阈值下仍在。作者称 HNC 所沿方向在更难任务上对权重变化更敏感，并认为这为“任务变难时损失景观碎成分离盆地”的既有说法提供一种可能机制。
• 附录 Fig. 38：四个相对平坦阈值 μ/λ_max 下的 Gauss–Newton 曲率 d⊤Gd/(nC)，先对步取中位数，再对 3 个种子取中位数 ± 标准误；类别为 C7、C10、C20、C50、C100，宽度为 16、24、32、48、96。正文未列出每个格子的读数。
• 附录 Fig. 39：更难任务把表示推到更多维度，模型规模几乎不这样。有效维度（参与比）对宽度（C=10）与对类别数（w=48）作图，带为 3 个种子的最小–最大；PCA 累积方差在变宽度时曲线近乎重合，变类别数时分开。
• 讨论中的对照：作者称几何结果与 Huang et al. (2025) 互补——后者发现更难任务降低独立训练 RNN 之间的动力学变异，且模型变大时模型间变异下降；本文则是同一任务上更大模型的零空间更大。作者认为大模型在局部权重区域内容纳更多替代解，训练却收敛到其中更窄的子集。
• 重参数化：作者称 HNC 找到的解超出对已训练解的重参数化，因为动力学体制、分布外泛化与行为策略发生定性变化；Theiss et al. (2026a) 的参数对称含可能改变网络大小的离散操作（如神经元复制），HNC 则是对同一网络权重做连续小改动。

作者指出的局限与后续方向

• 探针集上的近似保持：函数保持是近似的，且只在有限探针集上强制。函数匹配损失小，并不保证未见输入上的输出一致，尤其在分布偏移下。HNC 能到达的多样性取决于探针覆盖和允许的输出漂移，解释替代解时需要 held-out 功能评估（§7；附录 F.8、G.5、G.6）。
• 局部搜索：HNC 是局部搜索，因此不判断是否存在多个解盆地。作者称，与 Ostrow et al. (2026) 一类全局方法交替，可以做更广的搜索（§7；附录 E）。
• 保持量可替换：除输入输出映射外，被保持的量可以是网络的任意可微函数。把函数匹配损失换成任务损失，则可以探索更广的任务兼容网络（§7；附录 D）。
• 引导目标：引导目标同样灵活，可以编码第二任务上的表现以得到多任务网络，或与神经数据对齐（§7；附录 H）。
• 改变函数时的用法：同一 Hessian 谱也可用于改变网络函数：平坦方向保持函数，尖锐方向最利于改变函数（§7，引用 Gan & Isola, 2026; Liang et al., 2026）。
• 扩展与用途：作者称该方法可进一步扩展到大语言模型；HNC 暴露的函数保持解为模型合并、微调与编辑，以及通过找出行为不同或奖励投机策略来审计奖励规格，提供一种几何设定（§7）。这些是作者写出的后续可能，不是已完成的实验。

实验覆盖范围

• 模型与任务：正文实验为 64 单元 tanh RNN 的 3BFF（5 个锚点）、ImageNet 预训练 ViT-S/16（22M，Places-365 上 512 张探针图，5 个随机探针集）、Plume Tracking 的 RNN 策略，以及 Boat Race 上用 PPO 在真实回报训练的 10 个 MLP 种子。几何部分为 CIFAR-100 子集上的 CNN，宽度与类别数成网格，Fig. 5 为 3 个种子。附录 I.7 有 MuJoCo，附录图给出宽度 16–96 与类别 7–100 的曲率与参与比。
• 保持与引导：RNN 比较无引导、CKA 引导与 DSA 引导，任务损失维持在 0.01 以下。ViT 引导的是平滑 softmax CKA，报告硬最大 CKA，并在附录 G.3 对 mutual kNN 做同样定性的引导。RL 保持重要性采样代理回报或 Plume 上的回报，引导量是缓冲区状态上的动作 KL。
• 功能侧检验：3BFF 检查无输入记忆保持与隐状态扰动后的输出恢复（Fig. 2E）。ViT 在未参与约束的 ImageNet 上报告 top-1 下降不到 1%、top-5 近乎不变，并在 held-out 图像上报告 CKA 与 kNN。Plume 的分布外条件（稀疏气味、风向切换）写在附录 I.5，正文只称替代策略优于锚点。
• 几何定义：有效零空间用 1% 权重范数步长、函数匹配损失升高至多 0.05 的共同漂移容差；归一化曲率在 μ=10^{-6} λ_max 下测量，附录在多个相对阈值上重复。论文未报告各主实验统一的游走步数、Hessian 的 k，以及 ViT 对照七模型的名称与逐模型 CKA。
• Boat Race 协议：代理奖励为顺时针进入箭头格 +3；真实回报是智能体在标准训练中看不见的净顺时针进度。HNC 从循轨锚点出发并保持代理回报。十次游走的终点分成两簇，其中三个最发散终点的净进度为 0（Fig. 4E）。

Hessian Null Space Continuation（HNC）用局部曲率，在单个已训练网络周围遍历近似保持输入输出的连通低损失区域，并可用可微目标做引导。

作者要回答的是：这个区域里是否真有不同的内部机制，而不只是同一表示的小改动。做法是交替执行零空间内的平坦步与函数匹配损失上的梯度恢复；损失超过阈值 τ 就重算零空间。平坦与否由相对阈值 μ_rel λ1 决定，μ_rel 取在 10^{-7} 到 10^{-3}。引导时梯度按 (I+H/μ)^{-1} 软投影，μ 与该阈值相同。

• 3BFF：五个 64 单元 tanh RNN 锚点上，无引导、CKA 引导与 DSA 引导的游走都把任务损失维持在 0.01 以下。引导游走用更小的相对权重位移达到更大的 1−CKA 与 DSA。无引导终点以读出零空间中的持续运动维持八个记忆区域，而不是八个稳定固定点。131 个网络的任务准确率都高于 0.999；表示空间中引导轨迹远离锚点，权重空间中却更靠近锚点。
• ViT-S/16：在 Places-365 的 512 张图上匹配 logits，并压低各层 CKA 的最大值。终点权重范数只变 1.3%，与锚点的表示差异大于所比较的已训练视觉模型，也大于未训练 ViT。探针集上保持锚点的 top-1 预测；未参与约束的 ImageNet 上 top-1 下降不到 1%，top-5 近乎不变。
• RL：Plume Tracking 上动作散度上升而回报维持，替代策略 cast 更少、离羽流中线更远。Boat Race 的 10 个 PPO 种子都循轨；保持代理回报的游走中，三个最发散终点的净顺时针进度降为 0，对应在单个箭头格上反复进出。
• 几何：CIFAR-100 子集上，有效零空间比例随宽度增大、随类别数减小；HNC 所沿方向的归一化曲率则大致相反。作者认为更大模型在局部容纳更多替代解，而训练收敛到其中更窄的子集。

作者的结论是，单个已训练解附近存在相当多的表示多样性，标准基于梯度的优化看不到这些解。作者同时写明，函数保持只在有限探针集上近似成立，HNC 是局部搜索。