预测神经网络预测准确性的普遍理论

Heavy-Tailed Universality Predicts Trends in Test Accuracies for Very Large Pre-Trained Deep Neural Networks 是今年1月24日在Arxiv上post的一篇论文。作者还有针对这个话题的一系列偏理论的文章，本篇是其中最实用的一篇这篇文章对神经网络的泛化能力建立了一个大一统性质的理论，不仅能够解释为何神经网络中的各种正则化手段有效，还能够用一个指标预测一个训练好的网络的泛化能力，这篇文章中有很多在我看来高深的数学，其中很多我觉得较难理解，因此这里只概述我理解的部分，写下这篇论文笔记，更多的是像行家请教。初学深度学习的时候，我被各种各样的正则化方法搞的很迷茫。传统的机器学习中就是增加L1或者L2正则项，到了深度学习，减少batch size，dropout，early stopping等很多看 ………………………………