可压缩性度量复杂度：最小描述长度与奇异学习理论结合
Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory
AI 导读
研究者用奇异学习理论把最小描述长度（MDL）原则扩展到神经网络等奇异模型，发现基于局部学习系数（LLC）的复杂度估计与可压缩性高度相关。在 Pythia 系列上结合量化、因子分解等压缩技术的实验显示，二者部分情况下呈线性相关。作者称这为严格评估模型压缩极限提供了路径。