Skip to content

Translation in progress Some entries still include text in the original language.

arXiv· arXiv:2510.12077· Einar Urdshals, Edmund Lau, Jesse Hoogland, Stan van Wingerden, Daniel Murfet·Indexed by this site · Originally published

可压缩性度量复杂度:最小描述长度与奇异学习理论结合

Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory

AI summary

研究者用奇异学习理论把最小描述长度(MDL)原则扩展到神经网络等奇异模型,发现基于局部学习系数(LLC)的复杂度估计与可压缩性高度相关。在 Pythia 系列上结合量化、因子分解等压缩技术的实验显示,二者部分情况下呈线性相关。作者称这为严格评估模型压缩极限提供了路径。

Read originalarxiv.org