PhysSAE：用稀疏自编码器对 PINN 做机制可解释性分析

PINN 隐藏层编码了哪些物理特征，这些特征是否具有可定位的因果作用，此前并不清楚。

• 场景：Physics-Informed Neural Networks（PINN）把 PDE 残差通过自动微分写入训练损失，用于无网格的正问题与反问题。作者称其已用于流体、固体与生物医学建模，但在特征层面仍是黑箱。
• 已有刻画的缺口：作者称谱偏差、梯度病态与因果性违反已在损失或梯度层面被刻画，但没有工作追问训练后的 PINN 在隐藏层实际表示什么。Tucny et al. (2025) 检查权重后称其像高斯随机矩阵、看不出物理原理的痕迹，因此作者转向特征层面而不是权重层面。
• 核心设计约束：概念必须来自独立参考解，以避免用 PINN 输出定义概念造成循环；因果干预必须作用在原始冻结隐藏态，而不是 SAE 重构；时空域连续，需要能从 token 级指标推广到函数空间的 ESF 与 support-capture。
• 本文提出：PhysSAE，一种事后机制可解释框架。它在冻结 PINN 的倒数第二层激活上训练过完备 sparse autoencoder（SAE），再用直接隐藏态干预比较 SAE、PCA 与 ICA，并做负对照、双侧表示与表示坍缩分析。

作者把相关工作分成三组，并说明这些工作都没有在残差损失 PINN 上做特征级内部表示分析。

PINN 架构与失败模式

• Raissi et al. (2019)：把 PDE 残差直接编码进训练损失。后续应用包括流体（Cai et al., 2021）、固体（Haghighi et al., 2021）与生物医学（Sahli Costabal et al., 2020）。
• 针对已知失败模式的改法：自适权重（McClenny & Braga-Neto, 2020）与 Fourier 特征嵌入（Wang et al., 2021b）针对谱偏差（Wang et al., 2022）；域分解（Jagtap & Karniadakis, 2020）用于并行训练；因果重加权（Wang et al., 2024a）处理时间顺序；KAN-PINN（Wang et al., 2024b）用样条激活提供符号可读性。梯度病态见 Wang et al. (2021a)。作者称这些工作都不研究特征级内部表示。
• Tucny et al. (2025)：直接检查 PINN 权重分布，作者用其结果说明权重层面看不出物理原理，从而转向特征级可解释性。

科学机器学习中的 XAI

• SHAP、LIME、Integrated Gradients（Lundberg & Lee, 2017）：被用作 PINN 的黑箱回归解释，作者称它们不处理网络的时空结构。
• SAE 与概念转向：Hu & Liu (2025) 在图 CFD 代理上用 SAE；Tolooshams et al. (2025) 用于神经算子；Fear et al. (2025) 对物理基础模型做概念转向。作者称这些最接近本文，但对象是数据驱动模型，而不是残差损失 PINN。

稀疏自编码器

• LLM 上的 SAE：Bricken et al. (2023)、Cunningham et al. (2023)、Templeton et al. (2024)、Elhage et al. (2021) 确立了 ReLU 编码、L1 稀疏、单位范数解码列与编码器前偏置，用于单义性（monosemanticity）。线性探针见 Alain & Bengio (2017)，概念激活向量见 Kim et al. (2018)。作者称把这一设计改到连续域 PDE。

基线方法为同一隐藏态干预下的 PCA、ICA 与线性稀疏字典 SparseDict；基准为 Table 2 的六个 PDE：Heat、Burgers、Allen–Cahn、Conv. easy、Conv. hard、Schrödinger。作者把本文定位为面向残差损失 PINN 的 SAE：概念来自独立参考解，干预绕过 SAE 解码器，并用 ESF 与 support capture 处理连续时空域。

PhysSAE 完全在已训练且冻结的 PINN 上事后进行，不重新训练、不改架构。流程是：提取倒数第二层激活，训练 SAE 得到字典原子，再在原始隐藏态上干预并测量输出场变化。

问题设定与 PINN

• PDE 与网络：标量 PDE 写作 F 作用于 u 后在区域上为零，带初值与边界。PINN 为 L=5、宽度 dh=128、tanh、Xavier 正态初始化的 MLP，线性读出 u = Wout h + bout。复数 Schrödinger 拆成实部与虚部，dout=2，其余 dout=1。作者称倒数第二层是线性读出前最后一次非线性计算，更早的层更分散，输出层只是线性组合。
• 训练：损失为 wBC LBC + wIC LIC + wF LF，权重 100、100、1。每步均匀采样 NF=3000 个残差点、NIC=150 个初值点、NBC=150 个边界点。先 Adam（学习率 10−3，8000 步，梯度裁剪最大范数 1.0），再 L-BFGS（强 Wolfe，最多 300 次函数评估）。Dirichlet 用边界残差；周期边界同时约束函数值与对 x 的导数。

激活、独立概念与 SAE

• 网格与划分：冻结后在 nx=200、nt=100 的均匀网格（N=20000）上记录倒数第二层激活，按神经元做 z-score（ε=10−6）。随机 80/20 划分：Ntrain=16000 训练 SAE，Neval=4000 只用于对齐与干预。
• 概念场：全部由独立参考解计算，不用 PINN 输出。Heat、线性对流与 Schrödinger 孤子用解析解；Burgers 与 Allen–Cahn 用 nx=512 的伪谱 RK4，再插值到评估网格。Table 1 列出振幅、梯度、曲率、时间变化率、带符号值，以及激波、界面、反应项、特征坐标 x−βt 等。作者称 ReLU 编码非负，因此同时放入带符号与取绝对值的场。
• SAE：D=512，过完备比 D/dh=4。编码为 ReLU，解码列单位欧氏范数。损失为重构 MSE 加 λ 倍 L1，λ=2×10−2，目标是每样本约 77–141 个活跃原子（L0 约为 D 的 15–28%）。Adam，学习率 10−3，600 epoch，批大小 8192；每步后把解码列投影到单位范数。每个 PINN 训练 3 个 SAE 种子。作者称 z-score 已去掉均值，因此不用编码器前偏置。54 次运行中，评估点上最大激活低于 10−6 的死原子数为 0。

对齐与直接因果干预

• 对齐：在留出网格上计算原子编码与概念场的 Pearson 相关，得到对齐矩阵 A。每个概念取绝对相关最大的原子。零分布把概念场空间顺序置换 500 次。作者也计算 Spearman ρ，称结果定性相同但未展示。报告 top-1、top-5 均值、|r|>0.5 与 |r|>0.7 的概念数，以及置换 Z 分数。
• 干预：对单位方向 dk 与编码 zk，反事实隐藏态为 h 减去 α zk dk。α=1 为恰好去掉该原子贡献；实验取 α 属于 0.25、0.5、1.0、1.5。输出变化等于 α zk 乘以 Wout dk。作者强调解码器不参与该式，因为 SAE 重构有误差，在重构里消融不能隔离该原子。
• 指标：ESF80 是包含 80% 干预能量的最小域分数，越小越集中。Support capture 把参考概念场最高 20% 作为掩膜，只对局部概念报告。另有 |Δu| 与 |Cj| 的 Pearson 相关，以及 ESF80 是否随 α 近似不变、范数是否随 α 线性变化。PCA、ICA 与无 ReLU 的 SparseDict 使用同一干预公式。

负对照、双侧表示与一致性

• 负对照：每个 top 原子按平均激活与解码范数匹配 10 个对照原子。advantage 定义为 top 原子 ESF80 减去对照均值；作者定义负值表示 top 原子更集中。
• 双侧表示：ReLU 非负，带符号概念用正相关最大与负相关最小的一对原子。在留出网格上做 OLS，ΔR2 为配对相对单原子的 R2 增量，并与 20 个随机原子对比较。联合干预同时减去两个原子的贡献。
• 一致性：同一 PINN 的 3 个 SAE 用匈牙利算法按余弦相似度匹配解码列，报告平均与中位匹配余弦，以及余弦高于 0.7、0.8、0.9 的比例。Algorithm 1 汇总提取、训练、对齐、干预与基线比较。

实验设置

• PINN：6 个 PDE × 3 个种子，共 18 个网络；架构同第 3 问。Table 2 给出相对独立参考解的 L2（均值±标准差）：Heat 0.025±0.027，Burgers 0.207±0.068，Allen–Cahn 0.930±0.005，Conv. easy 0.266±0.013，Conv. hard 0.951±0.003，Schrödinger 0.119±0.062。
• SAE：每个 PINN 3 个种子，共 54 次；D=512，λ=0.02。评估在 4000 个留出点上。硬件为单张 NVIDIA RTX 4090（24 GB），总运行 1.2 小时。完整超参见附录 E。
• 基线：PCA、ICA、SparseDict，干预公式与 SAE 相同。
• 指标：Pearson |r| 与 500 次置换的 Z 分数；ESF80；support capture；干预–概念相关；ESF80 advantage；双侧 ΔR2；匈牙利匹配余弦。
• 质量谱：作者把 Heat、Schrödinger 标为收敛，Burgers 与 Conv. easy 为部分收敛，Allen–Cahn 与 Conv. hard（β=30）为已知失败情形。
• 评审：对齐与因果指标由公式计算，论文未使用 LLM 评审或人工打分。

主结果

Table 4 为 6 个 PDE × 3 个 PINN 种子的汇总。ESF80 越低表示因果效应越集中。Speedup 为作者给出的 SAE 相对 PCA 的倍数。Neg. ctrl 为 ESF80 advantage，作者定义负值表示 top 原子比匹配随机原子更集中。

表格较宽，可左右滑动

PDE	SAE ESF80	PCA	ICA	SD	Max |r|	Neg. ctrl	Bilat. ΔR2
Heat	0.165±0.23	0.700	0.587	0.278	0.890	−0.025	+0.053
Burgers	0.374±0.18	0.585	0.574	0.341	0.804	+0.005	+0.097
Allen–Cahn	0.476±0.29	0.576	0.622	0.412	0.692	+0.043	+0.088
Conv. easy	0.366±0.24	0.546	0.571	0.423	0.872	+0.049	+0.146
Conv. hard	0.373±0.33	0.745	0.653	0.292	0.951	+0.125	+0.030
Schrödinger	0.179±0.11	0.406	0.538	0.312	0.920	−0.013	+0.102

• 对齐：Table 3 的种子平均最大 top-1 为 Heat 梯度 0.845±0.039（Z>100）、Burgers 振幅 0.785±0.021（Z>80）、Allen–Cahn 带符号 u 0.675±0.025（Z>40）、Conv. easy 特征坐标 0.841±0.027（Z>90）、Conv. hard 特征坐标 0.943±0.008（Z>120）、Schrödinger 振幅 0.881±0.052（Z>100）。摘要写 max Pearson |r|=0.951，与 Table 4 的 Conv. hard Max |r| 相同。作者称全部 Z 分数超过 10。
• 因果足迹：作者称 SAE 在六个 PDE 上 ESF80 都最低；Table 4 的 Speedup 为 Heat 4.2×、Burgers 1.6×、Allen–Cahn 1.2×、Conv. easy 1.5×、Conv. hard 2.0×、Schrödinger 2.3×，均值 2.3×。SparseDict 的 ESF80 介于 SAE 与 PCA 之间。Figure 1 中 Schrödinger 原子 73 与孤子包络 r=+0.83；Figure 2 中 Heat 原子与梯度 r=0.89。作者称消融足迹与激活区域一致。
• 负对照与双侧：Table 4 上 Heat 与 Schrödinger 的 Neg. ctrl 为负，其余四个 PDE 为正。摘要写结构化物理概念上 ESF80 advantage 为 0.04–0.44；正文对局部概念报告 Conv. hard 为 +0.125±0.172，并称其消融比随机对照局部 2.7–4.4×。双侧 ΔR2 为 +0.030 到 +0.146；作者称随机原子对使 R2 下降最多 0.60。

负对照按概念局部性

• 测了什么：Figure 4 把 ESF80 advantage 分成局部概念（激波、界面、梯度）与全局或光滑概念（振幅、时间、带符号 u）。
• 结果：作者称局部概念上，六个 PDE 中有四个 top 原子优势为正，Conv. hard 最大（+0.125±0.172）；即便 L2 约 95% 的失败 PINN 仍编码 x−30t。Heat 与 Schrödinger 的 top 原子对应光滑全局概念，作者称 ESF80 不适合，附录 B 的 support capture 仍显示优势。
• 作者的解读：作者把蓝色标为原子比随机更集中，红色标为随机偶然更集中，并称后者在全局概念上是预期情况。

过完备、稀疏与字典一致性

• 字典大小：Table 5 在 λ=0.02 下比较 D=128、256、512。Heat 的 mean top-1 |r| 从 0.815 到 0.831 再到 0.836，重构 MSE 从 0.128 到 0.075 再到 0.042；Burgers 从 0.855、0.928 到 0.964，MSE 从 0.192、0.106 到 0.060；Schrödinger 从 0.817、0.836 到 0.869，MSE 从 0.240、0.129 到 0.068。作者称 D 从 128 到 256 的边际增益大于 256 到 512。
• 稀疏：作者称扫 λ 时 Burgers 对齐保持在 0.79–0.97，直到 λ≥0.1 且 L0<80 时重构崩溃。操作点 λ=0.02、L0 约 77–141 位于对齐平坦、重构尚可的区域。
• 种子：§4.7 报告 SAE 种子间平均匹配余弦为 0.331–0.371，余弦高于 0.7 的原子只有 1–2%。作者称 ESF80 在六个 PDE 中的四个上、跨 PINN 种子的标准差小于 0.05，因此定位性质稳定，具体原子不稳定。

其他消融与分析

• 表示秩：Figure 5 中，作者称隐藏协方差有效秩随残差损失升高；Heat 与 Schrödinger 更低秩，失败 PINN 更高秩、更弥散；SAE 活跃原子数与训练质量没有清楚的单调关系。
• 单义性：Figure 3 为 Burgers 与 Conv. hard 的对齐矩阵（行为 top-20 原子）；Figure 14 为 Conv. easy 与 Allen–Cahn。作者称原子多与至多一到两个概念较强对齐。
• 剂量响应：方法节设定 ESF80 应随 α 大致不变、范数随 α 线性变化；正文给出的主表未单列各 α 的 ESF80。
• 训练质量：§4.1 称 Heat 与 Schrödinger 的 seed 0 的 L2 为 2.5% 与 5.2%；Burgers 与 Conv. easy 为 17–29% 与 25–28%；Allen–Cahn 与 Conv. hard 平台在约 93–95%。
• 对齐与 Table 3 的差别：Table 4 的 Max |r|（0.890、0.804、0.692、0.872、0.951、0.920）与 Table 3 的种子平均最大 top-1 不是同一汇总；论文未在表题中把二者等同。
• 失败案例：Allen–Cahn 的 SAE ESF80 为 0.476±0.29，Speedup 为六者之中最低的 1.2×；其 Neg. ctrl 为 +0.043，按作者定义为 top 原子并不比匹配随机原子更集中。

作者指出的局限与后续方向

• 代码发布：§3.2 写作者计划在论文被接收后发布代码与检查点，目前尚未作为已完成事项给出。
• 字典非唯一：§4.7 指出过完备字典的解不唯一，不同 SAE 初始化得到不同分解；作者称这不推翻因果定位在 PINN 种子上的稳定性，但仍是字典本身的限制。
• 全局概念指标：§4.4 指出对 Heat 与 Schrödinger 的光滑全局概念，ESF80 不是合适指标，因为充分激活的原子都会产生全域影响。
• 失败网络的表示：贡献第 4 点与 §4.8 说明失败 PINN 的表示秩更高、更弥散，同时仍编码可识别的物理不变量；作者把这作为表示坍缩分析，而不是断言失败后概念消失。
• 后续方向：论文概述把含义与局限放在 Section 5。就已给出的正文，作者把路径写成面向可解释性的科学机器学习，而没有在所见段落列出额外的新实验清单。
• 循环性：方法节把“概念若取自 PINN 输出则会与 h 平凡相关”写成必须避免的设计问题，并用独立参考解处理。

实验覆盖范围

• PDE：Table 2 的 6 个一维时空方程，域除 Schrödinger 为 [−5,5]×[0,1] 外均为 [−1,1]×[0,1]；参考解为解析或 nx=512 伪谱 RK4。
• 模型规模：每个设置 L=5、dh=128 的 MLP；SAE 主设置为 D=512；过完备消融只在 Heat、Burgers、Schrödinger 上取 D=128、256、512（Table 5）。
• 重复：每个 PDE 3 个 PINN 种子、每个 PINN 3 个 SAE 种子；置换检验 500 次；负对照每个 top 原子 10 个；双侧随机对 20 个。
• 对照分解：PCA、ICA 与 SparseDict 使用与 SAE 相同的隐藏态干预。论文未报告各 α 的完整 ESF80 表，也未报告人工一致性。
• 层与概念：干预与对齐使用倒数第二层；概念面板为 Table 1。Spearman 结果作者称定性相同但未展示。活跃原子与残差的关系在 Figure 5 中由作者描述为没有清楚单调趋势。

PhysSAE 用过完备 SAE 事后读取冻结 PINN 的倒数第二层，并用绕过解码器的隐藏态消融检验物理概念是否具有因果足迹。

• 问题：PINN 的失败模式多在损失与梯度上讨论，隐藏层是否编码可定位的物理特征缺少直接检验。概念若取自网络自身输出，会与线性读出平凡相关。
• 做法：18 个中等宽度 MLP（6 个 PDE × 3 个种子）在均匀网格上提取激活，z-score 后以 D=512、λ=0.02 训练 SAE。概念来自解析解或伪谱参考解。干预为从隐藏态减去 α 倍原子贡献，再用 ESF80、support capture 与配对回归比较 PCA、ICA 和随机原子。
• 对齐：留出集上最佳概念相关在 Table 4 达到 Conv. hard 的 Max |r|=0.951；Table 3 中六个 PDE 的种子平均最大 |r| 从 Allen–Cahn 的 0.675±0.025 到 Conv. hard 的 0.943±0.008，置换 Z 分数均大于 40，作者称全部超过 10。
• 因果：Table 4 中 SAE 的平均 ESF80 在六个 PDE 上都低于 PCA 与 ICA，相对 PCA 的倍数为 1.2× 到 4.2×，均值 2.3×。局部概念上，作者报告 Conv. hard 的 ESF80 advantage 为 +0.125±0.172。双侧原子使 R2 增加 +0.030 到 +0.146，随机对最多降低 0.60。
• 稳定性与失败网络：SAE 种子间匹配余弦约 0.331–0.371，但作者称 ESF80 在四个 PDE 上跨 PINN 种子的标准差小于 0.05。失败的 Allen–Cahn 与 Conv. hard（L2 约 0.93 与 0.95）仍出现可对齐原子，同时隐藏协方差有效秩更高。作者的结论是：PINN 会形成稀疏、带物理结构、可事后识别并做因果追问的潜表示。