从动力学角度看优化算法：一个更整体的视角

作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm最近把优化算法跟动力学结合起来思考得越来越起劲了，这是优化算法与动力学系列的第三篇，我有预感还会有第四篇，敬请期待。简单来个剧情回顾：第一篇中我们指出了其实 SGD 相当于常微分方程（ODE）的数值解法：欧拉法；第二篇我们从数值解法误差分析的角度，分析了为什么可以通过梯度来调节学习率，因此也就解释了 RMSprop、Adam 等算法中，用梯度调节学习率的原理。本文将给出一个更统一的观点来看待这两个事情，并且试图回答一个更本质的问题：为什么是梯度下降？注：本文的讨论没有涉及到动量加速部分。梯度下降再述前两篇文章讨论的观点是“梯度下降相当于解 ………………………………