ARC 提出宽随机 MLP 的机制估计方法，无需运行模型即可估计输出

ARC 发布论文《Estimating the expected output of wide random MLPs more efficiently than sampling》，研究如何在不运行模型的情况下估计随机初始化 MLP 在高斯输入下的期望输出。传统做法是采样大量输入取平均，而该工作直接从权重中机制性地读出估计值。对宽模型，其最佳算法均方误差为 O(ε²)、运行时间为 O(n/ε²)，比蒙特卡洛采样的 Θ(n²/ε²) 快一个 n 倍因子，但随深度的扩展性更差。在 4 个隐藏层、宽度 256 的 ReLU MLP 上，该算法在跨越 7 个数量级的 FLOP 预算下优于采样，某些情况下达到相同均方误差所需 FLOP 不到采样的 1/100。该方法在分布尾部表现更突出，在概率低于 1/N 时仍能实现低于 30% 的相对误差。