S2O：用权重二阶统计量增强对抗训练
S2O: Enhancing Adversarial Training with Second-Order Statistics of Weights
AI 导读
S2O 将模型权重视为随机变量，通过优化权重的二阶统计量来增强对抗训练。该方法放松了既有 PAC-Bayesian 框架中权重统计独立的假设，据此推导出更紧的 PAC-Bayesian 鲁棒泛化界。实验显示，S2O 单独使用即可提升神经网络的鲁棒性与泛化性，也能与其他 SOTA 对抗训练方法结合使用。