建神经网络模型，哪种优化算法更好？35000次测试告诉你丨图宾根大学出品

萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI想要优化自己的神经网络，却不知道哪种优化器更适合自己？又或者，想知道深度学习中梯度下降的算法到底都有哪些？现在，最全面的优化算法分析来了。它整理了自1964年以来，几乎所有的优化方法 （约130种），将它们进行了分类。此外，它还给出了几种基准测试方法，并用它分析了1344种可能的配置方案。在运行了35000次测试后，它给出了非常全面的优化器算法分析介绍，并告诉你如何用这些基准测试，为自己的深度学习模型选择最好的优化方案。优化方法具体都有哪几种？从下图这份密密麻麻的图表来看，迄今为止，提出的优化算法已经有130种左右。目前他们还看不出来区别，但在测试结果中可以发现，这些优化器明 ………………………………