看啥推荐读物
专栏名称: 机器学习初学者
号主黄博Github全球排名前90,3.6万Star!致力于为初学者提供学习路线和基础资料,公众号可以当作随身小抄,文章很全,建议收藏!点击菜单可以进入学习!
今天看啥  ›  专栏  ›  机器学习初学者

【深度学习】一文搞定面试中的优化算法

机器学习初学者  · 公众号  ·  · 2021-07-01 18:11
深度学习各类优化器 借用古代炼丹的一些名词,我们可以把训练模型中的数据比做炼丹药材,模型比做炼丹炉,火候比做优化器。那么我们知道,同样的药材同样的炼丹炉,但是火候不一样的话,炼出来的丹药千差万别,同样的对于深度学习中训练模型而言,有时候模型性能不好,也许不是数据或者模型本身的原因,而是优化器的原因。由此可见优化器对于深度学习来说是多么重要了,那么今天小编就带大家了解一些常见的优化器。优化算法设计原理深度学习中的优化算法采用的原理是梯度下降法,即最小化目标函数 ,最优化的求解过程,首先求解目标函数的梯度 ,然后将参数 向负梯度方向更新,, 为学习率,表明梯度更新的步伐的大小,最优化的过程依赖的算 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照