跳到正文
原文
LessWrong· Nischal Mainali·本站收录· 原文发表· 对齐 →· 扫描记录里的位置 →

非线性网络中特征学习的可解模型

A solvable model of feature learning in a nonlinear network

AI 导读

PIRAMID 学习理论团队用更简化的 cavity 推导,讲解 Rubin 等人提出的非线性网络特征学习可解模型。该模型让两层可训练网络在贝叶斯平衡下学习仅依赖一个未知方向、含线性与三次分量的目标。理论预言隐藏权重分布发生相变,从无偏好方向变为与目标方向对齐,网络由此能更强地表征三次分量,所需样本数大幅减少。

阅读原文lesswrong.com