线性回归,是要求真实值和预测值之间的最小值。那大家知道有多少种方法吗?
第一种,最小二乘法
特点:
①矩阵必须可逆
②当特征数较多时,求求逆运算时间开销大
第二种,梯度下降法(包含三种)
1、批量梯度下降算法(BGD),每次迭代使用全部样本
2、随机梯度下降法(SGD),每一次更新参数只使用一个样本,进行多次更新
3、小批量梯度下降算法(MBGD),更新每一参数时都使用一部分样本来进行更新
第三种,牛顿法
是一种基于导数的算法,每一步迭代的方向都是沿着当前函数值下降的方向
线性回归,是要求真实值和预测值之间的最小值。那大家知道有多少种方法吗?
第一种,最小二乘法
特点:
①矩阵必须可逆
②当特征数较多时,求求逆运算时间开销大
第二种,梯度下降法(包含三种)
1、批量梯度下降算法(BGD),每次迭代使用全部样本
2、随机梯度下降法(SGD),每一次更新参数只使用一个样本,进行多次更新
3、小批量梯度下降算法(MBGD),更新每一参数时都使用一部分样本来进行更新
第三种,牛顿法
是一种基于导数的算法,每一步迭代的方向都是沿着当前函数值下降的方向
本文标题:线性回归
本文链接:https://www.haomeiwen.com/subject/bxscwctx.html
网友评论