比采样更高效地估计宽随机 MLP 的期望输出
Estimating the expected output of wide random MLPs more efficiently than sampling
AI 导读
作者提出无需采样即可估计初始化时宽随机 MLP 在高斯输入下期望输出的方法，用累积量和 Hermite 展开逐层近似激活分布。理论与实验显示，对足够宽的网络，其达到目标均方误差所需 FLOPs 显著少于 Monte Carlo 采样。该方法尤其擅长估计稀有事件概率，还可用于模型训练；作者称这为大幅降低模型灾难性尾部风险概率提供了路径。