【神经网络为什么过拟合？】理解深度学习需要重新思考“记忆”

文章预览

   新智元报道   来源： arXiv 作者：文强   【新智元导读】 之前 Bengio 等人在 ICLR-17 提出了“理解深度学习需要重新思考泛化”这一观点，相关论文也被选为 ICLR-17 的最佳论文之一。这一次，Bengio 联合 Aaron Courville，与学生一起，从“记忆”的角度入手，再次对深度神经网络做了分析，理解深度学习的本质。作者发现，深度神经网络不仅仅是记住数据，并且在记忆之前，会先学习简单的模式。 深度神经网络在容量（capacity）足够的情况下，能够对任意复杂函数进行表征，因此也被称为通用的函数逼近器（universal approximators）。不仅如此，最近的工作表明，深度神经网络的表达能力（expressiveness）随着深度呈指数增长。  然而，这些工作都只是对现象进行了研究， ………………………………