干货|掌握机器学习数学基础之优化下[1]（重点知识）

文章预览

推荐阅读时间：8~15min 主要内容（下划线部分）： 接上篇博文： 干货|掌握机器学习数学基础之优化[1]（重点知识） 1、计算复杂性与NP问题 2、上溢和下溢 3、导数，偏导数及两个特殊矩阵 4、函数导数为零的二三事 5、方向导数和梯度 6、梯度有什么用 7、梯度下降法 8、牛顿法 1 方向导数和梯度： 方向导数: 在之前讲偏导数的时候，相信很多人已经看出，偏导数求的都是沿着坐标轴的变化率，不管多少维也好，都只是求的变化率，那现在问题来了，如果我想求在某个方向而不是沿着坐标轴方向的变化率怎么求呢？ 那方向导数，简单来说，就是我们指定任意一个方向，函数对对这个任意方向的变化率. 或者说，如下图，我们知道在一维的时候，函数的导数就是在某 ………………………………