北大数学系毕业，UIUC助理教授60页论文综述深度学习优化

【导读】深度学习理论是当下研究的热点之一。最近来自UIUC的助理教授孙若愚撰写了一篇关于深度学习优化的综述论文，共60页257篇文献，概述了神经网络的优化算法和训练理论，并得到众多大佬的推荐。深度学习理论是当下研究的热点之一。最近来自UIUC的助理教授孙若愚撰写了一篇关于深度学习优化的综述论文《Optimization for deep learning: theory and algorithms》，共60页257篇文献，概述了神经网络的优化算法和训练理论，并得到众多大佬的推荐，比如模仿学习带头人加州理工Yisong Yue，欢迎大家阅览，需要一番数学理论功底，方能扛过。 摘要 为什么一个复杂的神经网络居然可以被成功训练出来？ 到底是哪些要素促成的? 为了理解这些问题，本文概述了神经网络的算法和优 ………………………………