不使用残差连接，ICML新研究靠初始化训练上万层标准CNN

选自arXiv机器之心编译参与：路、思源本论文介绍了如何利用动态等距和平均场理论完成一万层原版卷积神经网络的训练，研究者证明了仅仅使用恰当的初始化机制就能有效训练一万层原版 CNN 甚至更多层。研究者通过信号传播的平均场等理论导出该初始化机制，并表明在关键线上初始化的网络信号能高效传播，因此即使不使用残差连接或密集型连接等方式，超深卷积网络也能有效地训练。1. 引言深度卷积神经网络（CNN）是深度学习成功的关键。基于 CNN 的架构在计算机视觉、语音识别、自然语言处理以及最近的围棋博弈等多个领域取得了前所未有的准确率。随着深度卷积网络的深度增加，其性能也得到了改善。例如，一些在 ImageNet (Deng et al., 2009) 上表现最好的模型使 ………………………………