线性模型和梯度下降（概念简单理解）

对于线性模型和梯度下降在网上解释有很多版本，这里加上自己的理解，总结出了整个简单易懂的版本

一元线性回归

一元线性模型，是一个很简单的数学模型，很多教程也都用来入门介绍。
其数学表达式可以写成:

= +
这里的y就是我们需要预测的结果，假设我们的模型预测结果是 ,则可以定义损失函数如下（我们希望整个损失函数最小）

梯度

定义
设函数在平面区域内具有一阶连续偏导数，则对于每一点 都可定出一个向量：
可以称为
那么这向量称为函在点上的的梯度就是
例如这个函数在x = 2处的梯度

1WS1RU{I[%5PBTG)C{]J$6U.png
那么沿着这个梯度下降的方向走，可以快速的找到最小值（即验证梯度下降的方向），或者最大值（梯度上升的方向）

多项回归模型和多元回归模型

根据上面的线性回归模型
当特征较为多的时候就拓展为多元回归模型，即关于x的一次多项式

多元回归模型

这样就可以拟合更复杂的模型，这些模型的形式大体上一直，他们的loss函数和简单的线性模型是一致的。