吴恩达团队：神经网络如何正确初始化？

来源 | deeplearning.ai编译 | 刘静转载自图灵TOPIA(ID:turingtopia)初始化对训练深度神经网络的收敛性有重要影响。简单的初始化方案可以加速训练，但是它们需要小心避免常见的陷阱。近期，deeplearning.ai就如何有效地初始化神经网络参数发表了交互式文章，图灵君将结合这篇文章与您一起探索以下问题：1、有效初始化的重要性2、梯度爆炸或消失的问题3、什么是正确的初始化？4、Xavier初始化的数学证明一、有效初始化的重要性要构建机器学习算法，通常需要定义一个体系结构（例如Logistic回归，支持向量机，神经网络）并训练它来学习参数。 以下是神经网络的常见训练过程：1、初始化参数2、选择优化算法3、重复这些步骤：a、正向传播输入b、计算成本函数c、使用反向传播 ………………………………