含归一化层的深度神经网络中的 Lipschitz 爆炸：对优化与对抗鲁棒性的影响
On Lipschitz Explosion in Deep Neural Networks with Normalization: Consequences for Optimization and Adversarial Robustness
AI 导读
论文证明，含归一化层的深度神经网络即使每层谱范数受控（||W_ℓ||_2 ≤ 1）、只用线性激活，输入与参数 Lipschitz 常数仍可随深度即参数维度指数增长。这意味着以 batch normalization 为典型代表的归一化机制虽广泛用于稳定训练，可能造成逐层范数界无法察觉的最坏情形失稳。参数 Lipschitz 爆炸会把依赖 Lipschitz 的非光滑优化保证变成随维度指数增长的界，输入 Lipschitz 爆炸则使基于最坏情形 Lipschitz 的泛化与鲁棒性证书失效。理论还给出对抗脆弱性的秩分离机制，预测引入新奇异方向的扰动比同等噪声下留在原奇异子空间内的扰动被放大得多；在 MNIST、Fashion-MNIST 和 CIFAR-10 上的实验显示，产生新秩的扰动在精度、置信度和间隔上造成明显更陡的下降。