基于线性化最优传输的测度值数据稀疏字典学习：高效算法与样本复杂度

如何在 Wasserstein-2 空间中对概率测度做可扩展的稀疏字典学习，并分析其泛化。

• 场景：作者称，概率测度数据上的学习与推断大量使用 Wasserstein-2 的非线性几何。Wasserstein 字典学习（WDL）学习代表数据的测度字典，以便从潜码合成样本，并做降维、稀疏表示与压缩。
• 不足：作者称 WDL 受该空间可扩展学习的计算与统计困难；合成常需不动点迭代并反复计算 W2，数据、原子与重构又常在固定有限支撑上。何种数据与任务适合 WDL，作者称仍不清楚。
• 思路：固定绝对连续参考测度 ρ，用线性化最优传输（LOT）把测度嵌入 Hilbert 空间 L2(ρ)，再在该平坦几何上学习稀疏非负组合能逼近嵌入的原子。
• 提出的对象：带稀疏惩罚的线性化 Wasserstein 字典学习（LWDL），嵌入包括精确传输映射、熵传输映射和 Kantorovich 势，并用稀疏自编码器参数化。同时给出以原子类覆盖数表达的泛化界，以及对 OT 与熵传输映射字典的显式速率。

非线性几何中的 WDL

• Schmitz et al.（2018）：在有限确定性训练集上最小化重构的 W2 平方，系数不加正则。
• Mueller et al.（2023）：加入几何正则，使学到的参考测度靠近由其表示的数据点。作者称这类方法在非线性 W2 几何中很慢，合成靠不动点迭代并多次计算 W2；支撑固定；该几何也使理论分析困难。

固定参考测度、只学系数

• Bonneel et al.（2016）、Mallery et al.（2025）、Werenski et al.（2022）：把观测表成 Wasserstein 重心或熵正则重心的系数。作者称它们在完全非线性几何中工作，不学习参考测度。
• Gunsilius et al.（2024）、Werenski et al.（2025）：对固定参考测度学习 LOT 度量下的系数。作者称这相当于目标 (1) 中不对原子集合优化且 g 恒为 0。
• Do et al.（2025）：对固定参考测度用贪心算法，并对系数加显式稀疏惩罚。

基线方法与基准/数据集

• 基线方法：WDL（Schmitz et al., 2018），γ 取 0.5 与 2；高光谱上的非负矩阵分解（NMF），以及直接在归一化光谱上训练的非负稀疏自编码器（N-SAE）。
• 基准/数据集：Pavia、Botswana、Salinas A；MNIST 传输映射；ModelNet-10；Pythia-410M 隐状态上的合成文本损坏与 The Pile。

附录 D 的 Table 5 把本文标为同时学习测度与系数、支撑可变、使用线性化并带稀疏促进；表中其余方法至少缺其中一项。作者称 SAE 参数化相对基于非线性 W2 的方法能更快学习原子。

在参考测度 ρ 处把概率测度嵌入 L2(ρ)，再用 LWDL 的共享编码器与方法特定原子联合学习稀疏非负码。三种嵌入分别是精确传输映射、熵传输位移场和中心化 Kantorovich 势。

问题设定

• 嵌入：数据为 P2(R^d) 中的测度。Eρ 映入 L2(ρ)。ρ-LOT 是从 ρ 出发的传输映射之差的 L2(ρ) 范数；作者将其视为在 ρ 处线性化 W2。
• 目标：LMDL 学习 m 个原子，使嵌入能被非负系数的稀疏线性组合逼近。惩罚 g 为稀疏诱导项，例子是 g(λ)=c||λ||1，c>0。
• 三种变体：Table 1 中，LWDL-OT 取精确映射，只在一维实现；LWDL-EOT 取熵映射，用于高于一维的情形；LWDL-KP 用标量势，面向高维编码。作者称三者是 WDL 的不同线性化（附录 B）。
• 合成：OT 与 EOT 可用学到映射的推前生成测度。KP 的原子是标量函数，作者称不能直接合成环境空间中的测度，需先对势求导。

原子参数化

• LWDL-OT：限于 [0,1] 上的一维测度。原子由解码矩阵经正增量归一化，在 ρ 的网格上单调，左端为 0、右端为 1（Algorithm 2）。作者给出的理由是区间上的 Brenier 映射恰为单调不减；高维上强制向量场为凸势梯度更困难。
• LWDL-EOT：ρ 有限支撑，另固定目标点集 Y，使其凸包几乎包含数据支撑。原子先参数化为有限维熵映射；实验改用位移场，嵌入也减去恒等映射（Algorithm 3）。作者称经验上位移场优于映射本身。适用于任意 d≥1。
• LWDL-KP：嵌入为 Kantorovich 势减去其 ρ 均值；原子是支撑点上的标量函数，并按同一约定中心化（Algorithm 4）。作者称这把向量值映射换成标量函数，适合高维编码。

编码器与训练

• LISTA 型编码器：先计算各原子与嵌入的 L2(ρ) 内积，从零向量做 L 层仿射更新，再经映到非负象限的激活，输出 λ(L)（Algorithm 5，式 (2)）。作者称它保留迭代仿射-阈值形式，但权重和激活不绑定某个固定 ISTA 更新。激活可以是 ReLU、JumpReLU 或 k-稀疏激活。
• 损失：式 (3) 对样本平均二分之一重构平方，再加上 c 乘系数的 ℓ1。原子参数与编码器参数端到端训练。
• 优化与离散化：Algorithm 1 用小批量 SGD、AdamW 和余弦学习率。数值实现中 ρ 有限支撑，嵌入与原子用支撑点上的取值表示，L2(ρ) 化为加权有限维范数。映射嵌入的输出维为 d，势嵌入为 1。

泛化界

• 设定：点态损失用熵映射（ε>0）或存在时的 OT 映射（ε=0），对单位范数原子做非负组合并加 g。数据二阶矩有上界；g 下半连续、在 0 处为 0，且不低于 c 乘 ℓ1；原子类紧。
• Theorem 6.1：经验最小化字典与总体最小化字典的泛化差，由原子类在 L2(ρ) 中的覆盖数积分控制，并依赖矩界与正则强度。作者称证明中的主要想法已知，这一精确陈述未见诸文献。
• Theorem 6.2：乘积区间且密度有正有限界时，OT 映射字典在 d=1 的速率为 O(√(m/n))，d>1 为 O(m^{1/d} n^{-2/(3d)})。基测度与数据为 σ-次高斯时，EOT 映射字典的速率为 O(√(m/n))。常数分别依赖 D、d、β、ϑ、c，或 σ、d、ε、ϑ、c。

实验设置

• 方法变体：LWDL-OT、LWDL-EOT、LWDL-KP。正文 §4.1 写运行 Algorithm 5；附录 G 写运行 Algorithm 3，并给出该次超参数。
• 数据：合成 MNIST 传输映射 60000 条，训练 54000、测试 6000，ρ 支撑 M=400；与 WDL 对比时 Pavia 为一维、支撑 102 点，MNIST 为二维，n 取 100 与 1000。高光谱为 Pavia Centre、Botswana、Salinas A。ModelNet-10 取至少 300 例的六类，共 1800 个测度，每云 1024 点。文本损坏 19200 条；The Pile 约 80000 篇，100 至 2000 个 token。
• 基线：WDL，γ 为 0.5 与 2，m=10，时间预算 1000 秒；高光谱上为 NMF 与 N-SAE。字典大小设为非背景类数加一。
• 指标：L2(ρ) 重构误差、Mean W2^2、对齐后系数 MSE、聚类准确率、stability（平均准确率对损坏比例 k 的最小二乘斜率；作者称越接近 0 越稳健）、线性分类或逻辑回归准确率、source purity。
• 判定与重复：高光谱在干净光谱上训练字典后固定，再编码损坏光谱，聚类后与标签匹配。Table 4 对五个损坏种子平均；LWDL-OT 与 N-SAE 另对五个训练种子平均。论文未使用 LLM 评审，也未报告显著性检验。
• 特征抽取：文本实验用 Pythia-410M 的中间层 token 隐状态，dmodel=1024、24 层。

主结果

据 Table 2，1000 秒预算或数值失败时的最终 Mean W2^2。* 表示因数值不稳定提前终止。

表格较宽，可左右滑动

数据集	方法	n	Mean W2^2	Epochs
Pavia	WDL (γ=.5)	100	4.6×10^{-3}	117
Pavia	LWDL-OT	100	5.0×10^{-5}	240438
Pavia	WDL (γ=2)	1000	6.0×10^{-3}	7*
Pavia	LWDL-OT	1000	9.3×10^{-5}	65183
MNIST	WDL (γ=2)	100	1.0×10^{-2}	101
MNIST	LWDL-EOT	100	2.6×10^{-3}	50978
MNIST	WDL (γ=.5)	1000	1.3×10^{-2}	10
MNIST	LWDL-EOT	1000	2.7×10^{-3}	12965

• 省略行：Pavia 上 WDL（γ=2, n=100）为 4.9×10^{-3}（84 epoch）；WDL（γ=.5, n=1000）为 5.7×10^{-3}（7*）；MNIST 上 WDL（γ=.5, n=100）为 1.2×10^{-2}（101 epoch），WDL（γ=2, n=1000）为 1.3×10^{-2}（11 epoch）。表中最大误差为 1.3×10^{-2}。
• 作者称在该预算内 LWDL 的 Mean W2^2 大约低 4 到 100 倍，部分因为完成的 epoch 远多于 WDL；并称 epoch 不能直接比较，但差距说明 LWDL 每 epoch 成本更低。
• 作者称 WDL 的时间主要花在稠密核矩阵，即 Sinkhorn 型重心的典型成本；线性化方法只计算一次 OT 或 EOT 映射，之后是自编码器优化。附录 H 写明所报时间包含初始映射嵌入的计算。

合成字典恢复

• 测了什么：五个 MNIST 数字（0、2、3、7、8）的传输映射原子，系数恰有两个非零并落在单纯形上；评估测试集重构、原子匹配与系数恢复。
• 结果：平均平方 L2(ρ) 误差为 9.22×10^{-4}；原子匹配误差为 1.74×10^{-2}；对齐后系数 MSE 为 8.50×10^{-3}。展示的 25 个近邻中 24 个数字与匹配原子一致，五个原子的最高近邻都是匹配数字。
• 作者的解读：作者称数据映射可被重构到较高程度，但学到原子与数字的视觉相似性弱；近邻结果被作者称为至少能识别真实原子类别的证据。尽管原子有残差，作者称系数仍接近生成系数。附录 G 中作者认为细部抖动可能来自 ρ 比数据更弥散。

高光谱重构与损坏聚类

• 重构：Table 3 在 Pavia 光谱上，LWDL-OT 的 Mean L2 为 2.72×10^{-6}、Mean W2 为 4.71×10^{-5}；NMF 分别为 2.98×10^{-7} 与 6.69×10^{-5}。作者称 LWDL-OT 在 W2 上低于 NMF，在 L2([0,1]) 上则高于 NMF；传输原子常把质量集中到波长区间端点。
• DropUniform：Table 4 中 LWDL-OT 的 stability 为 Pavia −0.16、Botswana −0.59、Salinas A −0.57，三个数据集上都比 NMF 与 N-SAE 更接近 0。作者称它在 15 个非零损坏水平中的 13 个上准确率最高。表中反例是 Pavia 的 k=0.1 与 0.2：NMF 为 .790 与 .785，LWDL-OT 为 .778 与 .754。
• 干净数据：作者称 k=0 时每种方法各在一个数据集上最高。Table 4 中 Pavia 为 LWDL-OT .763，Botswana 为 N-SAE .633（LWDL-OT 为 .556），Salinas A 为 NMF .853。

点云与文本隐状态

• 点云：六类物体的系数上，线性分类器留出准确率为 96.1%。附录 F 写 2000 epoch 后平均平方 L2(ρ) 误差为 0.00173。作者称原子形成可解释部件，并称 Figure 4(b) 进一步显示码的类别结构；图中的簇是否分开，文本未给出可核对的坐标描述。
• 合成损坏：19200 个变体、四种损坏、十二个强度。作者称原子使用强烈依赖类别，且该模式在 JumpReLU 与 TopK、10 与 40 个原子上持续。10 次随机划分上，前两个主成分的逻辑回归超过 90%，前六个约 95%。
• The Pile：512 个原子。Table 7 前 19 行 purity 为 1.00。作者称 f469、f327、f132、f44 都有超过 99% 的文档来自 Wikipedia，但 top 20 的主题不同；又写 f98 与 f469 的 top 文档几乎相同，并称高纯度原子之间有冗余。

其他消融与分析

• 附录 E Table 6：Salinas A 的一组 N-SAE（m=15, c=10^{-3}）在 DropUniform 的各 k 上均为 0.2853。
• 同表 LogDiffeo：准确率不随 k 单调下降；Pavia 的 N-SAE（m=10, c=10^{-4}）从 k=None 的 0.7295 到 k=1000 的 0.8199。Figure 6 图注称另两类损坏的表现随数据集与方法变化。
• 附录 J：更换基测度后，推前原子继承各自基测度的定性性质；作者从 ρ 处切空间的角度解释这一点。
• Table 2 注：LWDL 在 n=100 时 B=100，n=1000 时 B=256；LWDL-EOT 用 ε=0.025、c=5×10^{-5}。
• 附录 G：m=5、ε=0.025、c=10^{-4}、20 层编码器、1000 epoch，报告 epoch 862 的检查点。
• 附录 I.2：E(x^2, 407)=133.82，而 j 为 134 或 263 时该量为 0；作者称对应文档以 Math StackExchange 帖子为主。

作者指出的局限与后续方向

• 原子可辨识性：Section 7 写，未来有必要在 LWDL 生成模型下保证原子可辨识。
• 基测度：同一节写，有必要理解基测度的影响，并可能把基测度本身引入学习过程。

实验覆盖范围

• 嵌入变体为 LWDL-OT（一维精确映射）、LWDL-EOT（熵映射及位移场）和 LWDL-KP（中心化势）（Table 1，Section 3）。
• 与 WDL 的对比在 Pavia（支撑 102 点）和二维 MNIST 上，n 为 100 与 1000，预算 1000 秒，m=10，γ 为 0.5 与 2（Section 4.2，Table 2）。论文未报告该对比的重复次数。
• 高光谱数据为 Pavia Centre、Botswana、Salinas A；损坏为 DropUniform、DropContiguous 与 LogWarp/LogDiffeo；对照为 NMF 与 N-SAE。Table 4 对五个损坏种子平均，LWDL-OT 与 N-SAE 另对五个训练种子平均（Section 5.1，附录 E）。
• 点云为 ModelNet-10 中六类、1800 个测度；文本使用 Pythia-410M 中间层隐状态，合成损坏 19200 条，The Pile 约 80000 篇、512 个原子（Section 5.2–5.3）。论文未报告点云线性分类的测试集大小与重复次数。
• 统计结果为 Theorem 6.1 与 Theorem 6.2。已知字典的恢复实验在 Section 4.1。论文未报告显著性检验，也未报告评审模型或与人工判定的一致性。

LWDL 把概率测度嵌进 Hilbert 空间，再做稀疏字典学习。

• 问题：作者称非线性 W2 上的字典学习计算慢、理论难做，且常见实现把支撑固定在有限点集上。
• 做法：在参考测度 ρ 处用精确传输映射、熵传输位移场或中心化 Kantorovich 势嵌入 L2(ρ)，以 LISTA 型编码器和 ℓ1 惩罚联合学习原子与非负码。OT 与 EOT 可经推前合成测度；KP 面向高维编码。
• 与 WDL 对比：Table 2 的 1000 秒预算内，Pavia n=100 上 LWDL-OT 的 Mean W2^2 为 5.0×10^{-5}，WDL（γ=.5）为 4.6×10^{-3}。n=1000 时 WDL 在 epoch 7 因数值不稳定停止，LWDL-OT 为 9.3×10^{-5}。MNIST n=1000 上 LWDL-EOT 为 2.7×10^{-3}，WDL 为 1.3×10^{-2}。作者称差距大约为 4 到 100 倍，并与每 epoch 成本更低相联系。
• 恢复与应用：合成测试集平方 L2(ρ) 误差为 9.22×10^{-4}，对齐系数 MSE 为 8.50×10^{-3}，原子匹配误差为 1.74×10^{-2}；作者称原子与数字的视觉相似性弱，但近邻大多属于匹配数字。Pavia 上 LWDL-OT 的 Mean W2 低于 NMF，Mean L2 高于 NMF（Table 3）。DropUniform 的 15 个非零水平中，作者称 LWDL-OT 在 13 个上准确率最高，三组 stability 也更接近 0。ModelNet-10 留出线性分类准确率为 96.1%。文本损坏码的前两个主成分上，逻辑回归超过 90%。
• 理论与后续：Theorem 6.2 对一维 OT 与次高斯情形的 EOT 给出 O(√(m/n)) 型速率，更高维 OT 的速率含 n^{-2/(3d)}。作者称经验结果相对已有 WDL 计算效率更好，原子与重构具有效用和可解释性；后续关心生成模型下的原子可辨识性，以及基测度的作用。