【深度学习】Adam真的是最好的优化器吗？

仅作学术分享，不代表本公众号立场，侵权联系删除转载于：机器之心提到优化器，大多数人会想到 Adam。自 2015 年推出以来，Adam 一直是该领域的「王者」。但近日，波士顿大学的一位助理教授做出了一个假设，他认为 Adam 或许不是最佳的优化器，只是神经网络的训练使其成为了最佳。Adam 优化器是深度学习中最流行的优化器之一。它适用于很多种问题，包括带稀疏或带噪声梯度的模型。其易于精调的特性使得它能够快速获得很好的结果，实际上，默认的参数配置通常就能实现很好的效果。Adam 优化器结合了 AdaGrad 和 RMSProp 的优点。Adam 对每个参数使用相同的学习率，并随着学习的进行而独立地适应。此外，Adam 是基于动量的算法，利用了梯度的历史信息。基于这些特征，在选择优化算法时，Adam 往往是「当仁不让」。但近日，波士顿大学助理教授 F ………………………………