神经网络的具体算法可解释性：以纹理分类为例

要解释的是某一组参数实现了什么算法，而不只是网络结构对应哪类算法。

• 场景：作者认为经典算法的每一步由设计指定、角色已知；神经网络的行为则由结构和数据优化得到的参数共同决定。前向计算可以写清，决策过程仍常常难懂。
• 现有不足：算法展开和 algorithmic alignment 能解释一族参数共享的计算结构，作者称之为 generic algorithmic interpretability。标准端到端训练后，具体参数不必再与实现原算法的参数有清楚关系。作者把这一落差称为 algorithmic alignment gap。
• 模型假设：每个观测是类相关随机过程的一次实现。若统计量可从单次样本估计，且足以区分类，则实现该估计的预定网络是 data disentangler，其参数有明确算法含义。
• 本文做法：以该可解释实现为初始化，微调时控制参数离开初始点的距离，以弥补理想模型与真实数据的偏差。作者称微调后的网络大致保留初始解释。PAC-Bayes 分析给出复杂度项随微调半径变化的一致泛化界。
• 纹理实例：作者称纹理可看成平稳随机场，遍历性使单张图像能估计过程统计量；实例用 scattering transform 构造上述初始化。

算法解释与展开

• 结构级解释：Monga et al. [2021] 把优化迭代映射到网络层；Gregor and LeCun [2010] 的 LISTA 展开 ISTA 并学习算子。Papyan et al. [2017]、Sulam et al. [2020] 把网络看成稀疏编码或多层基追踪；Yu et al. [2023, 2024] 把 transformer 块看成 sparse rate reduction 的迭代。Tishby and Zaslavsky [2015]、Mehta and Schwab [2014] 分别用信息瓶颈和变分重整化群解释深层结构。作者指出，这些解释的是一族参数共享的结构；稀疏编码网络在字典学完后仍可说成在做稀疏推断，但这并不解释具体字典。
• 内在解释与事后解释：Rudin [2018]、Arrieta et al. [2019] 区分按构造可解释的模型和对已训练模型的事后解释。作者把本文放在前者。附录 A.1 还写到 concept bottleneck（Koh et al., 2020）和 prototype 网络（Chen et al., 2019）用概念或样例解释决策；Xu et al. [2020] 的 algorithmic alignment 关心模块是否对应算法子程序；Olah et al. [2020] 的 mechanistic interpretability 从事后已训练模型反推电路。作者称本文从已知算法的参数出发，并约束后续学习。

神经塌缩

• 几何目标：Papyan et al. [2020] 报告训练末期倒数第二层出现 neural collapse：同类特征集中、异类分开。E and Wojtowytsch [2022]、Lu and Steinerberger [2022]、Tirer and Bruna [2022]、Nguyen et al. [2022]、Mixon et al. [2022] 在特征提取器无限表达时，把该现象写成分类目标的最优解。作者只用其基本几何原则，并称初始算法的目标是促进 neural collapse。

PAC-Bayes 泛化界

• 先验—后验界：McAllester [1999, 2003]、Langford and Shawe-Taylor [2002] 用后验与数据无关先验的 KL 散度控制泛化。Neyshabur et al. [2018] 用逐层谱范数把参数扰动连到输出变化，得到 margin 界；Behboodi et al. [2022] 扩展到等变网络。作者引用 Shalev-Shwartz and Ben-David [2014]，称经典一致复杂度界对过参数网络可能变成空界。

纹理统计与散射

• 过程统计量：Julesz [1962] 用随机图像过程的统计量刻画纹理感知；Portilla and Simoncelli [2000]、Mallat [2012] 给出更丰富的纹理模型与平稳过程的散射表示；Ryabko and Ryabko [2010] 讨论平稳遍历过程的分类。

• 散射变换：Mallat [2012] 用小波卷积、复数模和空间平均构造多尺度统计量。窗化系数可看成单次实现对期望散射系数的估计。Bruna and Mallat [2013, 2018] 给出不变散射卷积网络和 microcanonical 合成。

• 基线方法：同一架构的随机初始化、不做微调的固定散射、Zarka et al. [2021] 的 ScatNet B.A.。Gauthier et al. [2022] 只学习控制 Morlet 小波的少量参数；作者称未把它作为主基线。

• 基准：DTD、EuroSAT、MinC-2500、SuroTex。作者未使用 KTH-TIPS 与 CUReT，称它们较小，且固定散射在其上已经表现好。

作者把本文定位为 specific algorithmic interpretability：解释依赖具体参数值，并用受控微调处理 algorithmic alignment gap，而不是只解释架构模板。

先按随机过程模型选定可分统计量的估计算法，把 data disentangler 写成网络初值，再在该初值的邻域内微调。纹理实例用 scattering transform。

随机模型与 data disentangler

• 混合过程：输入空间是欧氏范数不超过 B 的向量，共 C 类。式 (1) 把数据分布写成过程族上的混合：先抽过程，再抽一次实现。类 c 的分布是该类过程子集上的条件混合，式 (2)。类内差异可来自单个过程的随机性，也可来自该类中不同过程。
• 可估计的类可分统计量：假设有映射 s，把每个过程映到统计量，且各类统计量集合互相分离。过程按作者所用意义遍历，因而存在估计量，使单次实现近似对应过程的 s。预定参数取 F_Θ0(x)=ŝ(x)（式 (4)）。类 c 的样本就被映到接近该类统计量集合的表示，参数则实现这一估计程序。
• 识别假设：作者提出 stochastic pattern recognition hypothesis：模式识别是从单个观测推断能区分其生成过程的统计量。作者猜想特征提取器可理解为在逐步估计越来越有区分力的统计量。该观点被联系到 Julesz 的纹理统计假设。
• 与聚类的差别：data disentangler 对每个观测独立使用同一变换，不利用数据集内样本之间的关系。类信息必须能从该观测自身的性质恢复。

微调与泛化界

• 对齐缺口：展开类方法通常按算法结构建网，再全量训练，不要求学到的参数仍对应原算法的参数。作者因此不只约束架构，还约束参数离开 Θ0 的距离。Θ0 来自理想模型，真实数据不必正好满足该模型，所以允许有限适配。作者并不要求预定网络本身比得上现代训练模型，只假设好的预测器不必离 Θ0 太远。
• 邻域与稳定性：对 R>0，邻域是到 Θ0 的欧氏距离不超过 R 的参数。附录 Definition 4 的 (R, τ, ε)-稳定要求：该邻域内，各矩阵块谱范数扰动不超过 τ 时，输出最大范数的变化小于 ε。分类 margin 是正确类得分减去其他类的最大得分。
• 一致界：若网络在 Θ0 附近 (R, τ, γ/4)-稳定，附录 Corollary 2 称，对任意 δ∈(0,1)，以至少 1−δ 的概率，邻域内所有参数同时满足 R₀(F_Θ)≤ R̂_γ(F_Θ)+4√((R² hln(4dh)/τ²+ln(6M/δ))/(M−1))。h 是各权重矩阵行、列维数的最大者，d 是矩阵块数，M 是训练样本量。正文式 (5) 在提取文本中的根号覆盖范围不完整；附录证明把整个分式放在根号内，先验是以 Θ0 为中心的各向同性高斯。作者称对固定架构和稳定性尺度 τ，泛化间隔按 O(R/√M) 变化，因此更小半径对应更紧的界，或在固定目标间隔下用更少样本得到同一保证。控制可以写成 λ 乘参数偏离的平方，或用足够小的学习率。作者称该界用作先验设计原则，不是训练后的数值证书。
• 散射的稳定性：附录 Lemma 2 给出散射特征提取器的扰动上界，随路径数的平方根、输入范数上界、路径长度上界和 τ 增长。Corollary 3 把该稳定性推广到再接数据无关初始化的线性分类器。

纹理上的散射实现

• 平稳场与有限窗：纹理看成 Z² 上平稳随机场在矩形窗中的有限观测。Definition 1 用 Birkhoff 定理的形式定义遍历：可积函数的空间平均几乎必然收敛到期望。作者引用遍历分解：平稳过程是遍历过程的混合，因而适合上一节的模型。实用统计量只取可积函数的子集，因此分辨率下降，须选择对分类仍有区分力的子集。有限图像不能计算式 (6) 的极限，实践中在观测域上平均；作者假设窗足够大。
• 散射作为估计器：路径 p 定义 f_p(X)=U[p]X(0)。窗化系数是这些平移求值相对尺度函数的加权平均；尺度足够高时，近似该函数的期望。附录 A.2.2 称，低通滤波器积分为 1 时，窗化系数是对应过程统计量的无偏估计。标准路径为频率递减、长度至多 q_max 的有限集。实验正文未给出所用 J 与 q_max。
• 合成检查：分类之前，作者用 Bruna and Mallat [2018] 的 microcanonical 梯度法，使合成图的散射统计接近参考图，并目视是否保留纹理外观（Figure 1）。附录 C.1 写明实现用 Kymatio，L-BFGS 从独立高斯噪声初始化；RGB 另加颜色通道相关矩阵的约束。优化后的直方图匹配只用于可视化，不在优化目标里。

可训练网络与训练流程

• 精确初始化：空间域用 steerable Morlet 和快速多尺度小波，使小波运算成为可训练卷积。初始化时每个输出只对同一输入通道使用对应小波，非对角核为 0，因此初值精确实现按通道独立的散射。微调时核可以变化，并只在预定邻域内混合通道，而不是全通道稠密连接（Figure 4）。块间 batch normalization 可选，是否使用由扫描决定。
• 分类头：所有方法都把最终表示经 batch normalization 送入单层线性分类器；需要时先做全局平均池化。作者的理由是，若特征已经把类解开，线性头即够用。
• 两阶段训练：提出方法先冻住滤波器、只训练分类头，再端到端最小化分类损失加 λ 乘滤波器参数离开散射初值的平方。固定散射只做第一阶段。随机初始化是单阶段无约束梯度下降。ScatNet B.A. 保持空间小波和散射模固定，学习 1×1 投影与 tight-frame 分析层；正文写出的最小化只对 θ_c，并称流程来自 Zarka et al. [2021]。主实验中提出方法的 λ 取 0、0.1、1.0；随机初始化与 ScatNet B.A. 在主对比中取 λ=0，以免锚到没有算法含义的先验。

实验设置

• 方法：可训练散射网络在初值精确实现散射。基线是同一结构的随机初始化、固定散射，以及 ScatNet B.A.。四者都用单层线性头。参数化 Morlet 模型未列入主基线。
• 数据：DTD、EuroSAT、MinC-2500、SuroTex。DTD 有 5640 张图、47 类、每类 120 张；作者用 10 个官方划分中的 5 个，把一个划分的官方 train 与 val 合成 3760 张后再按 80/20 重分，官方 1880 张测试集不改。其余三个数据集无官方划分：MinC-2500 抽 15% 作测试，SuroTex 与 EuroSAT 抽 20%，剩余再 80/20 为训练/验证。子采样只作用于训练集，验证集和测试集不随训练比例变化。
• 训练比例：下至 MinC-2500 的 0.2%、EuroSAT 的 0.5%、DTD 的 10%、SuroTex 的 2%。最小设置下每类分别约 4、8–9、6、1 张。提出方法的 λ 为 0、0.1、1.0。
• 结构：四种报告模型都用核大小 5、4 个小波方向、复数模，以及分类前的低通。Table 1 中提出方法为：DTD 2.74M、6 块；EuroSat 2.08M、4 块；MinC-2500 2.56M、6 块；SuroTex 112K、4 块。Table 2 中 ScatNet B.A. 为 26.8M、24.1M、9.47M、37.2M。特征提取器学习率为 1.0×10^{-4}；分类器学习率在 DTD、MinC-2500、EuroSAT 为 0.001，在 SuroTex 为 0.01，微调时减半。Table 1 另列 WD 为 0.005 或 0.0001，正文未把它写成与 λ 相同的量。
• 指标：测试准确率是测试集上正确预测数除以预测总数。NC1 是分类器子空间中的 tr(Σ_W M)/tr(Σ_B M)，M 由分类器权重行空间的标准正交基构成；作者称该子空间外的方差不改变预测，因而不计入。微调距离是初值与终值参数的 L2 距离，再除以初值范数。
• 重复与选择：种子为 42、43、44。DTD 的表还跨 5 个划分。验证准确率用于 checkpoint 和早停，报告数字来自留出测试集。图给出均值，阴影或误差条为 ±1 标准差。论文未使用 LLM 评审，也未报告假设检验的 p 值。

主结果

下表是各数据集所报告的最小训练比例上的测试准确率，单位为百分比，格式为均值（标准差）。

Swipe horizontally to read the table

据 Table 4、5、7、9。各列比例不同，不能横比成同一样本量。

• 作者称训练数据量很小时，微调散射优于全部基线（Figure 2）。MinC-2500 的 0.2% 上，L2=0 与 ScatNet B.A. 的均值差小于各自标准差。
• 满训练子集：DTD 上 L2=0 为 43.25（1.05），固定散射 35.42（0.35），随机初始化 34.10（0.92），ScatNet B.A. 21.93（0.61）（Table 4）。EuroSAT 上 L2=0 为 94.45（0.46）（Table 6）。MinC-2500 上 ScatNet B.A. 为 69.61（0.68），L2=0 为 57.19（0.45）（Table 8）。SuroTex 上 ScatNet B.A. 为 99.47（0.31），L2=0 为 98.87（0.46）（Table 10）。
• 作者称在最不像经典纹理的 MinC-2500 上，数据增加后 ScatNet B.A. 高于微调散射；其余数据集上微调散射高于基线或与之相当。Table 7 在 MinC-2500 的 5% 上，ScatNet B.A. 为 44.23（0.64），L2=0 为 36.68（1.00）。

泛化间隔与正则

• 距离与间隔：Figure 3 以颜色表示方法、线型表示正则强度、点的大小表示训练数据量。作者称微调距离下降时泛化间隔倾向于下降，在 MinC-2500 上最明显；随机初始化不跟随微调散射的趋势，且间隔高于该趋势所对应的水平。作者认为这说明把参数锚到可解释算法会改善表现。
• 定义与表格：附录 C.3.1 把 generalization gap 定义成测试准确率减训练准确率，并称理想点在图的右下，即准确率高、间隔低。Table 4–10 的 Gen. Gap 有正有负。EuroSAT、0.5%、L2=0 的 Test acc. 64.77 与 Gen. Gap 35.23 之和为 100.00，与“测试减训练”的符号不一致。作者称固定散射在四个数据集上间隔最小；Table 5 中 EuroSAT 0.5%、Random Init.（L2=0.1）的 Gen. Gap 为 13.37，小于固定散射的 32.46。
• 权重衰减：Figure 6 把微调距离正则与把随机初始化锚到原点的权重衰减分开。作者称权重衰减能降低随机初始化的间隔，但在 DTD、EuroSAT、MinC-2500 上以降低测试准确率为代价。Table 4 中 DTD、100%、Random Init.（L2=1）的 Test acc. 为 2.53（0.40）；Table 6 中 EuroSAT、100% 的对应值为 66.02（11.60）。Figure 7 还把随机初始化锚到自身初值或散射参数；作者称锚到散射先验可避免这种下降，但在 DTD 与 SuroTex 上间隔仍高于从散射初值出发的微调网络。图注则写 DTD 与 MinC-2500。

神经塌缩与滤波器解释

• NC1：Figure 8 把分类器子空间中的归一化类内方差对测试准确率作图。作者称二者相关；微调散射在 DTD 与 MinC-2500 上相对固定散射同时有更高准确率和更低的该方差，MinC-2500 上 ScatNet B.A. 优于微调散射。Table 8 在 MinC-2500、100% 上，ScatNet B.A. 的 NC1 为 1.35（0.04），L2=0 为 2.32（0.01），固定散射为 3.98（0.06）。作者称 SuroTex 是固定散射的该方差低于其他方法的唯一数据集；Table 9 在 2% 上固定散射为 0.12（0.01），L2=0 为 0.15（0.01），随机初始化为 0.48（0.06）。
• 滤波器：Figure 9 报告零频分量相对幅度的中位滤波器与最差滤波器。作者称小波须满足零频分量为 0；随机初始化不满足，微调散射的中位值更小，加强正则会进一步减小，最差滤波器随训练集变大而变差，但惩罚微调距离能把变差限制住。Figure 10 的 ρ 是滤波器到最近 Morlet 的 L2 距离除以该滤波器范数。作者称相同微调距离下，微调滤波器仍比随机初始化更接近 Morlet 族。Figure 11 比较拟合的方向、中心频率和带宽相对初始滤波器组的变化；作者称 λ=1 时各数据集上的相对偏移接近 0，λ=0 时在 DTD、MinC-2500、SuroTex 上更大，EuroSAT 上各正则水平的变化都小。正文未给出这三张图的具体读数。
• 合成：Figure 1 为匹配散射统计后的纹理合成。作者称合成图像保留了有感知意义的纹理信息。附录未报告优化结束时的损失值。

其他消融与分析

• λ=0.1：DTD 10% 的 Test acc. 为 19.31（0.31），与 λ=0 的 19.32 接近（Table 4）；MinC-2500 0.2% 为 15.84（1.05），高于同表 λ=0 的 15.61（Table 7）。
• EuroSAT、100%：L2=0 为 94.45（0.46），L2=1 为 91.98（0.31）（Table 6）。作者称该数据集上正则对微调散射的泛化间隔没有作用，并认为初始小波已经表现好、训练中不必移动。
• SuroTex、100%、固定散射的 Gen. Gap 为 -6.63（0.29），Test acc. 为 94.60（0.17）（Table 10）。
• 作者在 C.3.1 称更低的泛化间隔通常与更高测试准确率一起出现，只要训练准确率高，并称 Figure 5 展示了这一点。
• 结构扫描中，更大的核、更多方向或去掉最后低通，在部分数据集上单独提高准确率，但幅度小于增加深度，或无法与种子波动分开，且参数量大增，因而未采用。
• Corollary 1 直接约束的是泛化间隔而不是测试准确率；作者称低间隔通常与高性能有关，前提是训练准确率高。

作者指出的局限与后续方向

• 任务类型：作者称目前的框架主要适合分类问题（Conclusion，Limitations and Future Work）。
• 其他设定：作者称未来工作可以把这一视角扩展到其他设定，包括生成模型（同节）。
• 其他模态：作者称可以在其他数据模态上实例化该框架（同节）。
• 作者对扩展的预期：作者称这类扩展或可澄清，显式算法结构在何时能为现代学习模型提供有用基础（同节）。

实验覆盖范围

• 被评方法为微调散射网络，对照为同一架构的随机初始化、固定散射和 ScatNet B.A.；参数化 Morlet 模型未列入主基线（第 4 节、附录 C.2.2）。
• 数据集为 DTD、EuroSAT、MinC-2500、SuroTex。KTH-TIPS 与 CUReT 未使用；第 4 节称它们较小，且固定散射在其上已经表现好。
• 每个配置使用种子 42、43、44；DTD 使用 10 个官方划分中的 5 个。训练比例下至各数据集写明的最小子集，最小时每类约 4、8–9、6、1 张（附录 C.2.1、C.2.3）。
• 报告了测试准确率、泛化间隔、NC1、微调距离，以及零频分量、ρ 和 Morlet 参数偏移。正文与图注未给出 Figure 9–11 的具体读数。纹理合成为定性检查（Figure 1、附录 C.1），论文未报告合成损失的最终数值。
• 第 2.4 节称 Corollary 1 用作先验设计原则，预测性能在留出数据上直接评估；论文未报告该界在训练后的数值。论文未报告假设检验的 p 值。

• 定位：specific algorithmic interpretability 要求某一组参数本身对应明确算法，而不是只解释架构模板。作者用纹理分类作为该框架的实例。
• 问题：算法展开可以说明网络在做哪类计算，标准训练却可能把参数移到与原算法没有清楚关系的位置。作者把这称为 algorithmic alignment gap。
• 做法：把观测看成类相关随机过程的实现，用可从单张图估计、且能区分类的统计量定义 data disentangler。散射变换被写成卷积网络的精确初值；随后用离开该初值的平方惩罚做两阶段微调。附录的 PAC-Bayes 界在局部稳定性条件下随微调半径变化，作者称间隔按 O(R/√M) 缩放，因而适合小样本。
• 小样本准确率：DTD 训练 10% 时，L2=0 微调散射的测试准确率为 19.32%（0.50），固定散射 17.15%（1.14），随机初始化 11.06%（0.67），ScatNet B.A. 6.91%（0.77）（Table 4）。EuroSAT 0.5% 时 L2=0 为 64.77%（0.87）（Table 5）。SuroTex 2% 时 L2=0 为 60.13%（3.67），固定散射为 34.73%（1.31）（Table 9）。
• 数据增多后的例外：MinC-2500 满训练子集上，ScatNet B.A. 为 69.61%（0.68），L2=0 微调散射为 57.19%（0.45）（Table 8）。作者称该数据集最不像经典纹理，数据增加后 ScatNet B.A. 更高；其余数据集上微调散射高于基线或与之相当。作者还称更小的微调距离对应更低的泛化间隔，而随机初始化不跟随这一趋势。
• 作者的结论：作者认为该框架让高度过参数的网络能在小样本下训练，而不依赖外部大数据预训练；经典算法可以充当带领域知识的可解释初始化。滤波器分析中，作者称加强正则后滤波器仍接近小波，而不是把这一结构消掉。作者同时称框架目前主要适合分类。