线性回归

线性回归，是要求真实值和预测值之间的最小值。那大家知道有多少种方法吗？

第一种，最小二乘法

特点：

①矩阵必须可逆

②当特征数较多时，求求逆运算时间开销大

第二种，梯度下降法（包含三种）

1、批量梯度下降算法(BGD)，每次迭代使用全部样本

2、随机梯度下降法(SGD)，每一次更新参数只使用一个样本，进行多次更新

3、小批量梯度下降算法(MBGD)，更新每一参数时都使用一部分样本来进行更新

第三种，牛顿法

是一种基于导数的算法，每一步迭代的方向都是沿着当前函数值下降的方向