神经网络中的权重初始化一览：从基础到Kaiming

大数据文摘出品来源：medium编译：李雷、刘思佳、张弛在进行各种小实验和思维训练时，你会逐步发现为什么在训练深度神经网络时，合适的权重初始化是如此重要。那么如何使用不同的方法初始化神经网络中的每层权重呢？本文作者James Dellinger，总结了Jeremy Howard在fast.ai上最新的《Deep Learning Part II》课程之后，他自己在Jupyter Notebook上重做了一遍，然后为大家提供了以下建议。为什么要初始化权重权重初始化的目的是防止在深度神经网络的正向（前向）传播过程中层激活函数的输出损失梯度出现爆炸或消失。如果发生任何一种情况，损失梯度太大或太小，就无法有效地向后传播，并且即便可以向后传播，网络也需要花更长时间来达到收敛。矩阵乘法是神经网络的基本 ………………………………