学界 | 全局最优解？为什么SGD能令神经网络的损失降到零

选自 arXiv机器之心编译参与：思源昨日，reddit 上一篇帖子引发热议，该帖介绍了一篇关于梯度下降对过参数化神经网络影响的论文，该论文只用单个非常宽的隐藏层，并证明了在一定条件下神经网络能收敛到非凸优化的全局最优解。这是对深度学习的复古？到底是否有效？社区中很多人对此发表了看法。机器之心简要介绍了该论文，更详细的推导过程与方法请查看原论文，不过这样的证明读者们都 Hold 住吗。用一阶方法训练的神经网络已经对很多应用产生了显著影响，但其理论特性却依然成谜。一个经验观察是，即使优化目标函数是非凸和非平滑的，随机初始化的一阶方法（如随机梯度下降）仍然可以找到全局最小值（训练损失接近为零）。令人惊讶的是，这个特性 ………………………………