GraphCast 大气河机制的机制可解释性研究

如何识别 GraphCast 内部的大气河概念，并判断预报是否依赖它们。

• 业务场景：作者在摘要中称 AI 天气模型已能比肩业务预报；引言称深度网络正进入预报业务。作者认为，理解预测如何做出既关系精度，也关系科学发现。数值天气预报有物理公式，DNN 对其决策几乎不提供可理解性，作者称这妨碍采用与科学可信度。
• 现有不足：作者称 relevance propagation、saliency 与扰动等事后归因只指出预测对何处敏感，不回答模型内部计算了什么、如何组合信息。既有把 SAE 用于气候模型的工作只在单一深度训练标准 SAE，作者称那是实现而非框架。
• 锚定量：焦点是大气河（atmospheric river, AR）。强度用 integrated vapor transport（IVT）衡量。IVT 是湿度与风输入的已知函数，既非 GraphCast 的输入也非预报目标，用来把 SAE latent 对到物理量。模型只被训练做预报。
• 本文提出：在第 0、8、15 层的网格节点激活上后验训练 Standard SAE 与 Matryoshka SAE，识别概念、看它们如何组织并跨层追踪，再用前向干预看预报是否依赖该概念。
• 变暖动机：作者称，先找出内部变量并判断模型实际依赖哪些，才谈得上追问这些变量在变暖改变该现象后是否仍有意义。

业务预报与可理解性

• Lam 等（2023）的 GraphCast、Ben Bouallègue 等（2024）与 Rasp 等（2024）的 WeatherBench 2：作者用来说明数据驱动预报已进入接近业务的评估。
• Bauer 等（2015）：数值天气预报建立在物理公式和共同理论上。
• McGovern 等（2019）、Ebert-Uphoff 与 Hilburn（2020）、Doshi-Velez 与 Kim（2017）：作者引用它们说明机器学习决策缺少可理解性，会妨碍采用与科学可信度。

事后特征归因

• 作者把一类方法放在一起讨论：layer-wise relevance propagation（Bach 等，2015）、Toms 等（2020）与 Barnes 等（2020）的地球科学网络解释，以及 Integrated Gradients（Sundararajan 等，2017）、SmoothGrad（Smilkov 等，2017）、LIME（Ribeiro 等，2016）、SHAP（Lundberg 与 Lee，2017）。
• 作者对这一类的批评是：它们指出预测对何处敏感，不说明模型内部学到了什么。论文没有逐篇给出与本文的数值对比。

字典学习与 SAE

• Gao 等（2024）的 Standard SAE；Bussmann 等（2025）的 Matryoshka SAE：每个前缀必须单独重建，常见 latent 进入核心，更稀有的进入外层。Kusupati 等（2022）被作者用来说明这种构造留下父子排序。
• Bricken 等（2023）：语言 SAE 只能从激活共现推断概念关系。作者明确拿这一点和本文对比：GraphCast 的 latent 在每个时次有网格上的空间足迹。
• MacMillan 与 Ouellette（2025）：在数据驱动天气模型上用 SAE。作者称该工作只在单一深度用标准 SAE，是实现而非框架。Chanin 等（2024）的 feature absorption：作者用来对照“父概念把极端样本让给子概念”。

基线与物理参照

• 基线方法：同一 GraphCast 网格激活上的 Standard Top-K SAE，对照 Matryoshka Top-K SAE。激活来自在 ERA5 上训练的 GraphCast；物理参照是 IVT，以及 Ralph 等（2019）只按量级划分的 AR Cat 1–5。
• Guan 与 Waliser（2015）、Waliser 与 Guan（2017）、Rutz 等（2019）的 ARTMIP：作者用来点出 AR 最常影响的区域，未与本文方法对比。

作者把本文的位置放在：不只做单层标准 SAE，而是用有序词典暴露概念关系，并把嵌套做成网格上的空间包含，而不是只看共现。作者称这是在 GNN 设定中探索 Matryoshka 嵌套结构的首次工作。

在已训练的 GraphCast 上后验训练 Standard SAE 与 Matryoshka SAE，把网格节点激活拆成稀疏概念，再用空间包含和转向看大气河概念是否被算出、预报是否依赖它。

模型与读出位置

• 预报模型：GraphCast 是 16 层 GNN，在多尺度二十面体网格上以 0.25° 自回归预报全球大气。训练数据为 ERA5，1979 至 2017，步长 6 小时。
• 张量：编码器把时刻 t−1 与 t 的输入映到网格，每节点 227 个变量；处理器更新 512 维节点激活；解码器给出 t+1 预报（Fig. 1）。预报 227 个场：37 个气压层上的 6 个大气变量，加 5 个地面变量，含 6 小时累积降水。
• 接在何处：SAE 接在第 0、8、15 层，把 512 维激活编进 4096 维稀疏词典再重建。不更新 GraphCast 权重。论文未写为何选这三层。

两种 SAE

• 共同预算：每样本只保留最大的 k=32 个预激活，稀疏由 Top-K 固定，不用 ℓ1。AuxK 把重建误差路由到 512 个最久未激活的 latent。同一架构的三层共用超参，只有输入激活记录不同（Table 1）。
• Matryoshka 顺序：前缀为 G0=[0, 255]、G1=[256, 511]、G2=[512, 1023]、G3=[1024, 2047]、G4=[2048, 4095]，从最重要到最不重要。每个前缀必须单独重建，所以核心是最常激活的 latent，外层更稀有、更特异。作者称，宽 latent 若把覆盖让给窄 latent，会损害更早前缀的重建。Standard SAE 的词典没有这一顺序。
• 归一化：Standard SAE 对每个激活向量做均值中心化，并按 ℓ2 缩放到单位长度。Matryoshka SAE 按训练期每维范围把 512 维映到 [−1, 1]，并用 running average。作者称二者目标和数值范围不同，因此 batch、Adam 动量和训练长度分开设定，只求各自稳定，不对齐步数。学习率都是 2×10^−4。

空间嵌套

时次级共现分不出嵌套：两个几乎每个时次都在某处激活的 latent，会在时次上平凡共现，但任一时刻只占少数节点。作者因此问它们是否在同一节点激活。某 latent 在某节点激活，指它是该节点 top-k 之一，即激活大于 0。

c = |F_ch ∩ F_par| / |F_ch|

c 是子概念的（节点, 时次）激活里父概念也激活的比例，即规则“子 ⇒ 父”的置信度。除以子概念自己的次数，父概念在别处激活不会降低 c。附录 B 用 95% Wilson 区间报告 c。架构只把 latent 分进嵌套组，不把后面的 latent 绑定到某一个更早的 latent，所以包含是测出来的偏序：一个 latent 可以有 0、1 或多个父概念。

作者的判定：Wilson 区间下端超过 0.5 为 nested，超过 0.9 为 strongly nested；若在该父概念上 strongly nested，且 G0、G1 中没有其他父概念，则为 exclusively nested。

激活转向

• 编辑：在第 8 层把概念的 SAE code 乘以系数 β，并在每个 rollout 步解码回节点激活。β>1 放大，β=1 为未编辑基线，β=0 移除。也可把选定水平 b 写入原本沉默的概念。正文未给出实验所用的 β 数值。附录 C 给出两种编辑公式。
• 回到原单位：概念的贡献是 code 乘解码方向。Standard SAE 要乘回该节点均值中心化激活的模长，这个因子只在前向中已知，所以编辑写在前向内部。Matryoshka 的换算因子由训练期每维最小、最大值和 running norm 固定，编辑可以事先算成一场，再加到预报激活上。
• 读出量：作者在全球 AR 的 rollout 中看 AR 内部的 IVT、柱水汽、10 m 风和降水。

训练日程

Standard SAE 的 batch 为 8192，训练 10 个 epoch，作者称大约 2.85×10^6 次更新。Matryoshka SAE 的 batch 为 4096，训练 3×10^5 步，作者称大约半个 epoch；其损失对五个嵌套前缀的重建误差取平均。作者称两种损失都在日程结束前进入平台，因此把日程当成各自够用，而不是相互对齐（附录 A、Fig. 5）。

实验设置

• 被解释模型：只有 GraphCast。SAE 是后验字典，不重新训练预报模型。论文未使用 LLM 评审。
• 数据：GraphCast 用 ERA5、1979–2017、6 小时步长训练。SAE 吃网格节点激活。论文写 2021-11-13 的 rollout 比 SAE 训练时段晚四年，未给出该激活记录的起止日期。
• 字典：Standard 与 Matryoshka 各在第 0、8、15 层训练，共 6 个 SAE。宽度 4096，k=32，AuxK 512（Table 1）。
• AR 对照：四区为北美西岸（30–50°N，115–130°W）、欧洲西岸（37–57°N，8°W–7°E）、南美西岸（30–50°S，62–77°W）、澳大利亚东岸（22–42°S，147–162°E）。相关用区域平均激活对区域最大 IVT。Fig. 2C 虚线是 Ralph 等只按量级的 Cat 1–5 阈值。
• 指标：全时段相关 r；空间包含 c 及 §3.1 的 95% CI；节点级 IVT；转向后 AR 内部的 IVT、柱水汽、10 m 风、降水。
• 样本量：Fig. 2B 为 8,000 个采样时次。3153 含于 99 的区间基于 n=15,203 次激活事件。转向是一次 5 日 rollout。论文未报告重复次数。

主结果

下表均为 GraphCast 上 Matryoshka SAE 第 8 层。各区单独的全时段 r 印在 Fig. 2A 面板上方，正文未列出，故不填。

量	数值	条件
四区平均 r	0.51	CONCEPT 99，区域平均激活对区域最大 IVT，全时段（§3.1）
空间包含 ĉ	0.953	3153 含于 99；95% CI [0.949, 0.956]，n=15203（§3.1）
次高包含	0.735	99 的次高包含 latent；95% CI [0.730, 0.739]（§3.1）
平均 IVT	570 / 460	3153 / 99，单位 kg m−1 s−1（Fig. 2C）
Pr	0.61	IVT_3153 大于 IVT_99（Fig. 2C）
极端尾占比	26% / 14%	IVT 高于 750 kg m−1 s−1，3153 / 99（§3.1）

• 作者称 CONCEPT 99 是该词典最强的全球 AR 概念，但激活弥散：几乎每个时次都活跃，记录中大约 10% 的网格节点从未被它触及（Fig. 2B）。
• 作者称 3153 与 99 占据同一地理范围，但更常出现在父概念条件的强端。两分布没有完全分开，所以不是 feature absorption；父概念没有把极端 AR 让出，并且在这些个例上仍然在场。
• 作者称 G0 与 G1 中没有其他 latent 包含 3153，因此 99 是它的单一父概念。Fig. 2A 每个面板是月相关最强的四年窗口。

转向因果

• 测了什么：在第 8 层缩放 CONCEPT 99 的 code，每个 rollout 步写回激活；同一检验用于 CONCEPT 3153。个例是 2021-11-13 起报的 5 日全球 AR，比 SAE 训练时段晚四年（Fig. 3）。面板为 AR 内部的 IVT、柱水汽、10 m 风和降水。正文没有曲线读数。
• 结果：作者称拨动 99 时，AR 内降水随 β 单调变化，10 m 风几乎不变，因此概念经由水汽通道而不是动力通道作用于 AR 强度。初始化时 IVT 与柱水汽随 β 升高；强放大下，增强的降水比输送更快耗尽气柱，二者在一天内落到基线以下。移除该概念则一致减弱 AR，IVT、水汽和降水一起降低。同一检验用于 3153 时无效果，图未展示。
• 作者解读：GraphCast 同时持有驱动 AR 的概念和只检测 AR 的概念。作者把 3153 归入后者。

嵌套扫描

• 测了什么：G0 与 G1（latent 0–511）对每个后续组 latent，共 1,835,008 对，计算 c（附录 B）。
• 结果：中位数 0.003，90% 的对低于 0.083。7,995 对（0.44%）超过 0.5，1,436 对（0.078%）达到 0.9。作者称这 1.8 million 个无关配对相当于随机配对，扫描自身就是负对照。
• 作者解读：真嵌套少见，而且不对称：父概念几乎总在子概念激活处出现，子概念只覆盖父概念足迹的一小部分。作者称这是部分与整体，不是 feature splitting。§3.1 的 99–3153 被作者称为 strong 且 exclusive。

跨层组织

• 测了什么：Fig. 4 把每个 SAE 的全部 4,096 个概念画成 breadth（firing rate）对 AR 强度相关。上排为 Matryoshka，下排为 Standard，层为 0、8、15。颜色对应 Matryoshka 前缀组。各面板标出 top AR concept 与 CONCEPT 3153。
• 结果：正文未给出各点的 firing rate 或相关系数。作者称，随深度增加，Matryoshka 词典从宽变精，Standard SAE 从窄变泛；Matryoshka 在每一层都把该概念放在宽的核心，Standard SAE 把同一功能散在任意索引上。
• 作者解读：作者称这种稳定地址使得同一个概念可以跨层追踪。Fig. 4 的文本没有可读数值，不能从正文核对各层相关是否相同。

其他消融与分析

• 更新次数：Standard 大约 2.85×10^6（10 epochs），Matryoshka 为 3×10^5（作者称约半个 epoch）；学习率均为 2×10^−4（Table 1、附录 A）。
• batch：Standard 8192，Matryoshka 4096；两种架构的 k 都是 32，AuxK 都是 512。
• Fig. 5：六条重建损失按训练进度分架构画出，按深度着色；绝对损失不可比。作者称两边都在结束前进入平台；Matryoshka 后期略升，作者归因于恒定学习率对着 running normalizer，不是重建变差。正文无损失数值。
• Fig. 1 另给出第 8 层 CONCEPT 1592，图注称它响应北美西部的强 IVT；正文没有该概念的相关或 IVT 数字。
• 作者称 CONCEPT 99 在记录中大约留下 10% 网格节点从未激活（Fig. 2B，8,000 个采样时次）。
• Fig. 2A 各面板是相关最强的四年窗口；正文只报告四区平均 r，未列各区数字。

作者指出的局限与后续方向

• 哪些子概念因果：作者在 §3.2 写明，诸多嵌套子概念里哪些是因果的、哪些只是检测，是有希望的后续方向。
• 只刻画一对：作者在 Conclusion 写明，只刻画了一对父子概念，尽管扫描还返回了更多对。
• 完整说明在回路中：作者在 Conclusion 称，GraphCast 如何计算 AR 的完整说明位于相关概念的回路中，而不在任何一个概念里。这句与上一条同节，作者没有给出该回路。

实验覆盖范围

• 被解释的模型是 GraphCast。SAE 为 Standard 与 Matryoshka，各在第 0、8、15 层，共 6 个；宽度、k 与训练日程见 Table 1 与附录 A。
• 现象是大气河，对物理量是 IVT。区域相关用 Fig. 2A 的四个区域；嵌套数字来自 Matryoshka 第 8 层的 CONCEPT 99 与 3153。Fig. 1 还展示了第 8 层 CONCEPT 1592。
• 嵌套扫描覆盖 G0 与 G1 对后续组的 1,835,008 对，并给出中位数、0.5 与 0.9 阈值上的配对计数（附录 B）。
• 转向写的是第 8 层、2021-11-13 起报的一次 5 日全球 AR rollout 上的 CONCEPT 99（Fig. 3）。同一检验用于 3153 时，作者称无效果且未展示（§3.2）。
• 论文未报告各区单独的正文相关系数、Fig. 3 的曲线数值、所用 β、转向重复次数，以及 SAE 激活记录的起止日期；只写该 rollout 比 SAE 训练时段晚四年。摘要把变暖后这些变量是否仍有意义写成该方法要去问的问题，论文未报告该条件下的实验。

作者用稀疏自编码器读 GraphCast 如何在内部表示大气河，而不是只做输入归因。

• 问题：作者称 AI 天气预报已能比肩业务预报，但事后归因不回答内部计算。IVT 衡量大气河强度，是湿度与风的已知函数，却既非输入也非目标。
• 做法：在第 0、8、15 层后验训练 Standard SAE 与 Matryoshka SAE，词典宽 4096，每样本保留 k=32。Matryoshka 用必须单独重建的嵌套前缀给概念排序。父子关系用网格上的空间包含来量，并在第 8 层按系数 β 改写概念 code。
• 检测：第 8 层 Matryoshka 的 CONCEPT 99 与四个 AR 多发区的区域最大 IVT，全时段平均相关为 0.51。子概念 3153 的包含估计为 0.953（95% CI [0.949, 0.956]，n=15,203）。其激活处平均 IVT 为 570 kg m−1 s−1，父概念为 460；IVT 高于 750 的占比为 26% 对 14%。作者称这是按强度嵌套，不是 feature absorption。
• 干预：在 2021-11-13 起报、距 SAE 训练时段四年的 5 日全球 AR 上，作者称缩放 99 会单调改变 AR 内降水，10 m 风几乎不变；移除则 IVT、水汽和降水一起下降。强放大时，作者称降水耗尽气柱快于输送补充，IVT 与柱水汽在一天内落到基线以下。同一检验下 3153 无效果。
• 作者的结论：作者称 GraphCast 把从未被教的量放进可定位的词典，干预响应也符合物理所提示的方式，因此可以在 AR 强度超出训练记录时被审计。作者同时写明只刻画了一对父子概念，并称完整计算在相关概念回路中，而不在单独一个概念里。