机器学习算法如何调参？这里有一份神经网络学习速率设置指南

作者：Jeremy Jordan机器之心编译参与：黄小天、许迪每个机器学习的研究者都会面临调参过程的考验，而在调参过程中，学习速率（learning rate）的调整则又是非常重要的一部分。学习速率代表了神经网络中随时间推移，信息累积的速度。在理想情况下，我们会以很大的学习速率开始，逐渐减小速度，直至损失值不再发散。不过，说来容易做来难，本文作者对学习速率的调整思路进行了简要介绍，希望能够对你有所帮助。在之前的文章里，我已经讲了如何用反向传播和梯度下降来训练神经网络。为了训练神经网络，其中一个需要设置的关键超参数是学习率。提醒一下，为了最小化此网络的损失函数，这个参数缩放了权重更新的幅度。如果你把学习率设置太低，训练 ………………………………