深度学习优化算法入门：三、梯度消失和激活函数

来源：paperspace编译：weakish编者按：DRDO研究人员Ayoosh Kathuria深入讨论了激活函数如何隐式地改变传入网络层的数据分布，进而影响网络的优化过程。这是优化系列的第三篇，我们想要通过这一系列文章全面回顾深度学习中的优化技术。到目前为止，我们已经讨论了：用于对抗局部极小值、鞍点的mini batch梯度下降（点击阅读）。动量、RMSProp、Adam（点击阅读）等方法在原始梯度下降的基础上加强了哪些方面，以应对病态曲率问题。分布，该死的分布，还有统计学不同于之前的机器学习方法，神经网络并不依赖关于输入数据的任何概率学或统计学假定。然而，为了确保神经网络学习良好，最重要的因素之一是传入神经网络层的数据需要具有特定的性质。数据分布应该是零 ………………………………