前言

学习机器学习一直是用梯度下降法的，对于牛顿下降法并没有什么了解，但是小学期同学的一个项目用到了牛顿下降法，同时好多大神同学的夏令营之旅问到了牛顿下降法（我等弱鸡疯狂被刷。。。）所以就总结学习一下。

梯度下降法

梯度

梯度高等数学都学过，在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。也就是梯度表示数值变化最快的方向，在一元情况下，梯度当然就是斜率，或者导数。在多元的情况下梯度是这样的：

为啥梯度下降是平面拟合而牛顿下降是二次曲线拟合呢？

解释来源于博客：
http://blog.csdn.net/njucp/article/details/50488869
一阶泰勒展式如下表示：

关于随机梯度下降和批量梯度下降

见我的下一篇文章吧2333！