TSAE：用于解释时间序列预测模型的结构化稀疏自编码器

要解释冻结时间序列预测模型依靠的隐特征，但输入归因不探测内部特征，标准 SAE 也不直接约束跨变量结构与时间连续性。

• 高风险场景：作者称时间序列预测用于能源调度、工业运行与环境监测，并用于能源、气候、医疗和金融；这些场景里预测误差会带来实际成本，需要评估模型依靠的模式并识别失败。
• 现有方法：saliency、遮挡、Shapley、动态掩码和反事实解释把预测归因到变量、时间步或扰动子序列，不探测骨干学到的隐特征。标准 SAE 把隐状态分成稀疏线性组合，平坦的重建–稀疏目标不直接约束跨变量结构、幅度标定或相邻 token 的特征连续性。
• 作者的观察：骨干若给出按变量索引、按时间有序的 token，同一字典既可能跨变量捕捉同一时间 motif，也可能在不同变量上下文里复用同一方向。相邻 patch 来自重叠局部片段；原始片段相似时，稀疏码突然变化更像特征闪烁。作者称稀疏惩罚可能压缩幅度，应审计而不是假定幅度仍与局部信号变化标定。
• 提出的方法：TSAE 用共享字典、按变量路由的私有字典、门控编码和条件时间连续性分解隐状态，再用短程预测一致性微调保留冻结预测器的输出。TSEVAL 把保真、相干、物理标定、预测干预敏感性、隐空间对照和输入层基线分开审计。

论文在附录 B 把相关工作分成输入层解释、语言模型 SAE，以及时间序列分解/稀疏解释，并把本文放在冻结隐状态的结构化审计上。

输入层时间序列解释

• 归因到输入：Sundararajan 等（2017）的 saliency、Ribeiro 等（2016）的 LIME、Crabbé 与 van der Schaar（2021）的 Dynamask、Bento 等（2021）的 TimeSHAP，以及遮挡和反事实解释，把预测归因到变量、时间步或子序列。
• 与隐特征不同：Adebayo 等（2018）和 Hooker 等（2019）的检查显示这类解释可能脆弱。论文指出输入归因能定位有影响的输入，但不检验内部稀疏特征是否被重建、语义相干、物理标定或对预测敏感。

语言模型中的稀疏自编码器

• 重建与单义性：Gao 等（2025）研究重建–稀疏权衡；Bricken 等（2023）、Bussmann 等（2024）和 Lieberum 等（2023）讨论特征分裂与单义性，以及下游干预。
• 收缩与变体：Rajamanoharan 等（2025；2024）讨论幅度收缩，并提出 Gated SAE 与 JumpReLU。
• 概念方向：Kim 等（2018）的 TCAV 和 Gurnee 等（2023）的 sparse probing 检验隐方向是否对齐可解释概念。论文称这些标准证据不直接处理按变量索引、带物理尺度的时间序列表示。

时间序列分解与稀疏解释

• LaST：Wang 等（2022）分离潜在季节与趋势以改进预测精度。论文称它不审计稀疏隐特征的跨变量结构、时间稳定性或标定。
• TimeSAE：Oublal 等（2026）学习稀疏概念来解释黑盒时间序列模型的预测，强调干预、分布偏移和组合一致性下的忠实性。论文称它是与本文最接近的时间序列稀疏解释框架，但解释的是输入–预测行为，不是冻结骨干的隐状态。

基线与定位

• 基线方法：L1、Gated、TopK、JumpReLU SAE。主比较用冻结 PatchTST，数据集为 ETTh1、ETTh2、ETTm1；Weather 为外部有效性扩展。iTransformer 与 DLinear 为迁移检查。
• 本文位置：作者把 TSAE 写成平坦共享 SAE 的结构化替代，并用 TSEVAL 把每条主张绑到单独诊断。论文称 TimeSAE 与 TSAE 互补：前者问稀疏概念是否忠实解释预测行为，后者问内部预测特征应如何结构化并审计保真、时间稳定性与物理标定。

冻结骨干先把多元序列编成隐 token，TSAE 学习过完备稀疏码并重建隐 token，不重建原始序列。TSEVAL 规定这些特征能支持哪些解释主张。作者不假设隐状态有唯一的真实因子分解，而采用变量结构、幅度保持和时间结构三种归纳偏置。

共享字典与变量路由

• 记号：hb,c,p 是样本 b、变量 c、位置 p 的隐 token，维度为 D。平坦 SAE 用一个共享字典把它编成过完备稀疏向量再解回。
• 重建：每个 token 由共享分量加按变量索引选出的私有分量重建，ĥ=D^shz^sh+D^priv_cz^priv+b。共享字典跨变量，私有容量保持紧凑。
• 分流方式：分流是学出来的，不是硬规则；每个 token 可以同时激活两条路径。作者称重建、稀疏和有限私有容量会鼓励重复出现的跨变量 motif 走共享特征，变量条件残差走私有特征；这是诱导分离，不是保证。

门控检测与幅度

• 编码：在把 h 升到过完备空间时，每个共享或私有特征先算一个学习方向，再分开做门和幅度：z=\mathbf{1}[g(h)>0]\odot m(h)。g 检测特征是否出现，m 是非负幅度；门关闭则激活为零，打开则取幅度值。两条路径都用这一参数化。
• 惩罚位置：稀疏惩罚加在门激活上，不直接加在幅度上。作者称这沿用 Gated SAE 把选择与幅度分开的想法，以便和斜率、波动等物理 motif 比较；过度的稀疏收缩会削弱激活与信号强度的联系。

条件时间连续性

• 何时惩罚：编码器产出稀疏码之后，对同一样本、同一变量的相邻有序 token，用原始片段相似度加权稀疏码之差。原始 token 相似时，特征身份突变更像闪烁；出现尖峰或状态变化时，应允许稀疏特征改变。
• 图与权重：邻接来自适配器元数据，不从隐空间相似度推断：按样本和变量分组、按位置排序后连接相邻位置。权重 wb,c,p 在 0 到 1 之间，是样本–变量链内联合归一化的原始片段之间的 RBF 相似度；距离为长度 ℓ 归一化后的欧氏距离。PatchTST 主实验 σ=1。没有有序时间边时时间图为空，Ltemp=0。

两阶段训练

• 第一阶段：Lbase 包含隐 token 重建、共享与私有路径的平均非负门信号、门重建辅助损失、条件时间项，以及 Laux。Laux 含平衡项和正交项：平衡项抑制同一变量内私有特征使用塌缩，正交项抑制共享与私有解码方向冗余。
• 第二阶段：只更新 TSAE，骨干 f 冻结。在 Lbase 上加入 λfc 乘以 f(ĥ) 与 f(h) 的均方误差、再除以 f(h) 的方差。PatchTST 主实验 λfc=0.1，两轮，每轮至多 80 个训练 batch。作者称目标是归纳偏置，不是唯一因子恢复的保证，也不声称每项指标都占优。

TSEVAL

• 六轴：Table 1 为保真、相干、标定、预测敏感性、隐空间对照、输入层基线。相干用语义/通道集中统计，含与既有 SAE 分析兼容的纯度分数。标定取八个原始片段 motif 中最强的一个，用标准化拟合残差作为标定误差。
• 干预：预测敏感性用解码器中介消融：在 z=E(h(x))、ĥ=D(z) 上去掉特征 i 再解码，FIS 为预测损失相对未去掉时的期望增量。隐空间对照从原始隐状态减去匹配方向 zi di，用来看变化是否特定于 SAE 解码路径。作者称 FIS 是指定干预下的敏感性，不是因果效应估计器。
• 能力分级：适配器把表示规范到 H∈R^{B×C×D×P}，并记录解码、时间顺序、隐空间对照、解码器标记和周期索引等标志。缺所需轴时标为 unsupported，不用人造元数据推断。工具包覆盖 18 个已注册预测模型、五个适配器族；冒烟测试只查插件覆盖与可复现，不查科学性能。作者称各轴不等价：保真分不出有意义共享和无控制混合，相干可以不跟踪物理 motif，标定也可以在预测头对该方向不敏感时成立。

主证据是冻结预测骨干上的活跃度匹配比较；正式测试数字来自验证集选定工作点后、从零重训的三种子。

实验设置

• 骨干与数据：主比较为冻结 PatchTST 的 patch token，数据集 ETTh1、ETTh2、ETTm1；Weather 为外部有效性扩展。iTransformer 与 DLinear 在 ETTh1 上做迁移检查。附录还有 Transformer 的组件消融。
• 基线与活动窗口：对照为 L1、Gated、TopK、JumpReLU。每 token 编码宽度 2,048，对齐的是码宽，不是路由后的总参数量。完整 TSAE 含第二阶段微调，基线保留各自原目标，骨干都不更新。验证集把实测活跃特征选到最接近 256，允许窗口 [192, 320]，并列时用验证重建 MSE 打破；再在训练集从零重训，每种子在测试集评一次。
• 指标与不确定性：重建 MSE、NFRE、平均活跃特征、死特征比例、有序码转移率、selectivity AUROC、物理 motif 相关、标定误差。Table 2 的 Recon. 与 NFRE 乘了 10^3。论文未使用 LLM 评审。可复现性清单写明三次运行不做推断性显著性检验。
• 训练与字典：骨干训练 10 epoch、种子 2024。SAE 为 20 epoch、batch 1024、学习率 10^{-3}（Adam），至多 30,000 训练 token、15,000 测试 token，种子 {2024, 2025, 2026}。PatchTST 的 TSAE 请求 Ksh=1792、每变量 Kpriv=256，解析器强制 Kglobal≤4096；平坦基线为单字典宽 2048。iTransformer 与 DLinear 扩展使用另行报告的 1024 特征预算。
• TopK 预算：附录 C.2 正文写 ETT 的 k=256、Weather 的 k=320。Table 6 中 ETTh1 的 TopK 为 k=320，ETTh2 与 ETTm1 为 k=256，Weather 为 k=320。活动数以下以 Table 2 的测试均值为准。

主结果

据 Table 2，冻结 PatchTST，NFRE×10³，三种子均值±标准差：

表格较宽，可左右滑动

方法	ETTh1	ETTh2	ETTm1	Weather
TSAE	5.10±0.25	2.70±0.14	5.00±0.28	2.52±0.22
L1	5.33±0.27	3.66±0.23	5.50±0.25	3.37±0.22
Gated	6.39±0.22	3.76±0.20	6.58±0.41	2.84±0.13
TopK	10.84±0.75	4.56±0.20	8.02±0.16	4.64±0.35
JumpReLU	8.09±0.37	4.79±0.27	8.63±0.27	6.21±0.84

• Table 2 中 TSAE 在四个数据集上的重建 MSE 与 NFRE 都是五法最低，转移率也最低（0.073±0.005、0.050±0.002、0.047±0.002、0.019±0.000）。作者给出相对其余方法最低均值的 NFRE 降幅：ETTh1 4.3%、ETTh2 26.4%、ETTm1 9.1%、Weather 11.3%；重建 MSE 降幅写为 1.0–24.4%，未按数据集拆开。三个 ETT 集的测试活跃均值都在 [192, 320]；Weather 上 L1 为 187.8±16.3，低于下界，其验证选定点仍在窗口内。
• 作者称这不是每项诊断都占优。Table 2 中 L1 的死特征比例在四个数据集上都最低；标定误差在 ETTh1、ETTm1、Weather 上 L1 最低，ETTh2 上 JumpReLU 为 0.520±0.025，低于 TSAE 的 0.595±0.027。ETTh2 物理相关 JumpReLU 为 0.752±0.048，TSAE 为 0.571±0.066。
• 选择性也不一律由 TSAE 领先：ETTh1 上 TSAE 为 0.639±0.007，是该列最高；ETTm1 上 TopK 为 0.638±0.013，TSAE 为 0.615±0.032。作者把主张收窄为：在受控每 token 活跃预算下，结构化码的预测相关隐信息保持和转移率在这四次 PatchTST 比较中居所列方法之首。

活跃度曲线与跨骨干

• Figure 3：PatchTST–ETTh1 验证集。图中文字的横轴为 measured active features per token，标有 200、400、600、800；纵轴为 Reconstruction MSE 与 NFRE，标注含 0.08 与 0.035；图例为 L1、Gated、JumpReLU、TopK、TSAE。作者称在采样的重叠活跃度范围内，TSAE 的重建误差和预测重建误差低于图中基线，因此 Table 2 的保真优势不绑在单一活动水平。曲线端点数值文本未给出。作者把它当作支持证据，不是额外主结果。
• Table 3：同一协议下，iTransformer–ETTh1 上 TSAE 的重建与 NFRE 仍最低，为 14.48±0.23 与 3.01±0.06（×10³），活跃特征 253.1±2.5。DLinear–ETTh1 上 Gated 两项最低，重建 7.71±0.09、NFRE 6.88±0.14，活跃特征 314.1±1.1；TSAE 为 9.09±0.16 与 7.91±0.23，活跃特征 215.0±10.2。附录 C.4 写 TSAE 在 DLinear 的 Reconstruction 上为第二；Table 3 中 JumpReLU 重建 7.99±0.12、NFRE 7.02±0.16，两项都低于 TSAE。以 Table 3 为准，TSAE 在两项上都排第三。作者称保真优势不会自动迁到每种架构。

组件消融

• Table 4：PatchTST 上比较完整模型与去掉私有路由、门控或时间项的变体，为三种子均值，不是容量或活跃度匹配的因果估计。附录 C.4 写明该消融固定 λshared=5.0、λpriv=0.2、λtemp=0.5，因此不是 Table 2 的验证选定工作点。
• 数字：去掉路由后转移率由 ETTh1 的 0.086 到 0.145、ETTh2 的 0.036 到 0.050、ETTm1 的 0.049 到 0.071。作者称升幅为 39–69%。去掉门控后活跃度落到 108、46、79，完整模型为 268、203、218，重建同时变差。去掉时间项后转移率为 0.091、0.038、0.052。作者称时间项的抗闪烁效应更小，且消融本身不能把机制与总容量或实测活跃度分开。

单个原子案例

• Figure 4 与 Figure 5(a)：使用各 ETT 集的 seed-2024 正式检查点，不是额外的三种子方法比较。Figure 4 中蓝线为互不重叠的高激活 patch，红线为互不重叠、激活可忽略的对照；第一行是跨变量重复的共享原子，第二行私有原子只在其路由变量上评估。Figure 5(a) 为 ETTh1：两个共享原子跟踪绝对斜率，r=0.74 与 0.72；两个私有原子跟踪其路由变量的波动，r 均为 0.60。作者称曲线按预设描述符的绝对相关选出，是描述性图示，不是留出显著性检验。
• Table 5 与 Figure 5(b)：每 token 恰好保留 top 24 后，相邻 patch Jaccard 为 TSAE/L1：ETTh1 0.257/0.184，ETTh2 0.676/0.456，ETTm1 0.540/0.424。这是只做评估的读出，作者称不应与原始转移率直接比。把选中原子置零后经冻结 PatchTST 解码；对照的激活率相差不超过 1.4 倍且物理相关更低。共享原子在三个数据集上的平均预测偏移比为 2.04、2.05、2.40，论文未逐一标明对应数据集。私有原子比为 ETTh1 2.97、ETTh2 1.06、ETTm1 1.30。作者称这支持所选原子的预测相关性，但不声称每个私有原子下游效应同样大，也不把它当成数据生成过程中的因果效应。

其他消融与分析

• Table 7（PatchTST–ETTh1，单种子，λshared=5.0、λpriv=0.2）：λtemp=0 与 0.001 的转移率都是 0.0908；λtemp=0.5 时活跃度 255、转移率 0.0844、NFRE 4.9（×10³）。作者称 0.5 相对为零时约降 7%，正式系数用验证选定的 0.5。
• Table 8（同一骨干与数据集，单种子，λshared=5.0）：λpriv=1.0 时死特征 13.8%、NFRE 4.5；λpriv=0.1 时死特征 0.6%、NFRE 3.9。作者称该扫描只是示例，正式设置仍按数据集在活跃匹配协议下另选。
• Table 6 的 TSAE 选定系数：ETTh1 共享 λ=6.0、私有 λ=0.30；ETTh2 为 3.0 与 0.15；ETTm1 为 5.0 与 0.25；Weather 为 1.8 与 0.09。各次 λtemp=0.5、λfc=0.1、λbalance=0.003。附录称 Figure 6 中 TSAE 活跃计数随共享稀疏系数增大而单调下降，灰带为 [192, 320]。
• 附录 Table 16–18 在同一固定系数下比较 iTransformer、DLinear、Transformer。作者称去掉路由一般使重建变差，去掉门控使实测活跃度下降；变体未做活跃度匹配。No temporal 只出现在 PatchTST，因为其余表示没有有序时间邻接。

作者在 Section 5 把限制写在证据范围、诊断含义和时间项的适用条件上；实验实际跑到的范围见下一节。

作者指出的局限与后续方向

• 主证据范围：主证据在 PatchTST 与三个 ETT 数据集上最强；这是为了在受控隐表示和数据集特定的活跃特征预算下比较（Section 5）。
• 迁移：同一设计能迁到其他预测架构和高维数据集多远仍然开放，这些问题需要单独的、完全匹配的评估（Section 5）。
• 诊断不一致：TSAE 在重建和 NFRE 上最一致，但不是每个可解释性代理都最好；JumpReLU 或 TopK 在选择性、物理相关或标定误差上可以更强，取决于数据集（Section 5）。
• 手工 motif：物理 motif 是手工设计的形状统计，可能错过领域特定语义（Section 5）。
• 干预含义：FIS 式干预度量的是指定 SAE 解码器干预下的敏感性，不是穷尽的因果归因（Section 5）。
• 时间项条件：条件时间连续性只在适配器暴露有序时间 token 时有意义；非 patch 或无序 token 表示的时间图为空，该项不应被过度解释（Section 5）。

实验覆盖范围

• 主表比较冻结 PatchTST 上的 TSAE、L1、Gated、TopK、JumpReLU，数据集为 ETTh1、ETTh2、ETTm1 与 Weather，三种子，活跃窗口 [192, 320]（Section 4、Table 2）。完整 TSAE 含 λfc=0.1 的两轮微调，基线不使用该阶段（Section 2、附录 C.5）。
• 跨骨干正式比较为 iTransformer–ETTh1 与 DLinear–ETTh1 的重建和 NFRE（Table 3）。附录还报告二者及 Transformer 在三个 ETT 集上的组件消融（Table 16–18）。
• Figure 3 的活跃度–保真曲线只画了 PatchTST–ETTh1 验证集。案例研究使用各 ETT 集的 seed-2024 检查点（附录 A）。
• TSEVAL 在 Section 3 与 Table 1 定义了隐空间对照和输入层基线。Table 2 报告重建、NFRE、活跃度、死特征、转移率、选择性、物理相关和标定误差；附录 A 报告置零原子后的预测偏移比。隐空间直接对照与 saliency/occlusion 的定量结果论文未报告。
• 工具包注册 18 个预测模型、五个适配器族；冒烟测试不验证科学性能（Section 3）。可复现性清单写明三次运行以均值和标准差报告不确定性，不做推断性显著性检验。

TSAE 是插在冻结时间序列预测骨干上的结构化稀疏自编码器，用来把隐 token 分成可检查特征，并配有分轴协议 TSEVAL。

• 缺口：输入归因只指向变量、时间步或子序列。标准 SAE 的重建–稀疏目标不直接约束跨变量共享、激活幅度和相邻 patch 连续性。作者称因此难以判断骨干是否编码了语义相干、有物理依据且与预测相关的时间模式。
• 做法：共享字典与按变量路由的私有字典分开可复用 motif 和变量条件残差；门控把检测和幅度分开，稀疏惩罚打在门上；相邻稀疏码的变化按原始片段相似度加权。第二阶段只更新 TSAE，使重建隐表示保留冻结骨干的预测。TSEVAL 把保真、相干、标定、预测干预、隐空间对照和输入基线分开。
• PatchTST 结果：Table 2 中，ETTh1、ETTh2、ETTm1、Weather 上 TSAE 的重建 MSE 与 NFRE 都是五法最低，转移率也最低。作者给出三 ETT 集 NFRE 相对其余方法最低均值的降幅为 4.3%、26.4%、9.1%，Weather 为 11.3%。
• 例外：选择性、物理相关和标定随数据集变化。ETTh2 上 JumpReLU 的物理相关为 0.752±0.048，TSAE 为 0.571±0.066。DLinear–ETTh1 上 Gated 的 NFRE 为 6.88±0.14（×10³），TSAE 为 7.91±0.23。
• 作者的结论：作者称完整 TSAE 提高了对预测相关隐信息的保真，同时暴露与选择性、物理相关和标定的取舍。消融方向与路由、门控和时间项的设计角色一致，但作者称不能把这些机制从容量或活跃度变化中分离出来。保真和时间稳定性的收益仍要靠独立的语义诊断，才能支撑特征解释。