干货 ：机器学习最全知识点汇总（万字长文）

本文共12000字，建议阅读20+分钟本文为你介绍机器学习的各类算法。1. 概览梯度下降法；牛顿法；拟牛顿法；坐标下降法；梯度下降法的改进型如AdaDelta，AdaGrad，Adam，NAG等。2. 梯度下降法的关键点梯度下降法沿着梯度的反方向进行搜索，利用了函数的一阶导数信息。梯度下降法的迭代公式为：根据函数的一阶泰勒展开，在负梯度方向，函数值是下降的。只要学习率设置的足够小，并且没有到达梯度为0的点处，每次迭代时函数值一定会下降。需要设置学习率为一个非常小的正数的原因是要保证迭代之后的xk+1位于迭代之前的值xk的邻域内，从而可以忽略泰勒展开中的高次项，保证迭代时函数值下降。梯度下降法只能保证找到梯度为0的点，不能保证找到极小值点。迭代终止的判定依据是梯度值充分接近于0，或者达到最大指定迭代次数。梯度下降法在机 ………………………………