自 Adam 出现以来，深度学习优化器发生了什么变化？

选自medium作者：Phúc Lê机器之心编译参与：高璇、王淑婷Adam 自出道以来，就一直是最流行的深度学习优化器，哪怕现在其实已经有几种可能更好用的优化器……如果将 Adam 优化出现以来产生的关于优化过程的有趣想法按时间顺序排列的话，结果如下：LR Range test + Cyclical LR（《Cyclical Learning Rates for Training Neural Networks》）SGDR（《SGDR: Stochastic Gradient Descent with Warm Restarts》）SGDW(R) and AdamW(R)（《Fixing Weight Decay Regularization in Adam》）1-cycle policy and super-convergence（《Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates》）这个来自 Andrej Karpathy 的笑话或多或少是我深度学习项目的一套流程。除非把具有学习率硬编码的代码直接从 GitHub 里复制到所选优化器中，否则我可 ………………………………