应该没有比这更全面的“梯度下降”总结了。

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。今天小天就对梯度下降法做一个完整的总结。一、梯度‍‍在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。‍‍比如函数：分别对x,y求偏导数，求得的梯度向量就是,简称，或者。对于在点，的具体梯度向量就是；或者，如果是3个参数的向量梯度，就是以此类推。那么这个梯度向量求出来有什么意义呢？他的意义从几何意义上讲，就是函数变化增加最快的地方。具体来说，对于函数，在点，沿着梯度向量的方向就是的方向是，增加最快的地方。或者说，沿着梯度向量的 ………………………………