美文网首页
[线性回归] 梯度下降和正规方程法

[线性回归] 梯度下降和正规方程法

作者: JaiUnChat | 来源:发表于2017-01-01 14:30 被阅读261次

批梯度下降法(Gradient Descent)
正规方程法(Normal Equation)

批梯度下降 正规方程
学习速率 需要设置 不需要
计算次数 需要多次迭代 不需要迭代
时间复杂度 O (kn2) O (n3) 需要计算 XTX
特征数量 即使n很大也能工作 如果n很大会很慢

总结:

  1. 如果特征值小于10k,或者100k,正规方程会是一个非常简便高效的方法。
    否则,正规方程的计算时间将会变的非常巨大,还是使用批梯度下降法比较好。
  2. 正规方程支持的算法不是很多,批梯度下降法几乎支持主流的方法。

所以,出于学习目的,两个方法都是值得的。

相关文章

  • Machine_learning(持续补充......)

    1.线性回归 涉及到了批量梯度下降算法和正规方程求解

  • 2019-04-13

    目录 假设函数概念 线性假设类损失函数 梯度下降和随机梯度下降 矩阵迹的倒数 正规方程法解线性假设函数最优参数 1...

  • [线性回归] 梯度下降和正规方程法

    批梯度下降法(Gradient Descent)正规方程法(Normal Equation) 总结: 如果特征值小...

  • 2018-12-07正规方程

    梯度下降给出了一种最小化J的方法,第二种方法是正规方程。 对于某些线性回归问题,用正规方程法求解参数 θ 的最优值...

  • 线性回归、岭回归

    用sklearn内置的波士顿房屋数据集做一下房价预测,练习线性回归的API。 正规方程法 梯度下降法 岭回归 获取...

  • 多元线性回归

    概述 之前我们讲了最基本、最简单的一元线性回归算法,本章主要讲解多元线性回归,以及梯度下降、特征缩放和正规方程解等...

  • 哲哲的ML笔记(九:正规方程)

    到目前为止,我们都在使用梯度下降算法,但是对于某些线性回归问题,正规方程方法是更好的解决方案 正规方程是通过求解 ...

  • 机器学习笔记E2.1--梯度下降与正则化

    前面的笔记简单介绍了线性回归的相关内容,针对正规方程法求解参数 时的两个问题,这里将介绍 梯度下降法(Gradi...

  • 正规方程(Normal Equation)

    针对某些线性回归问题,除了梯度下降算法,有一个更好的方法来求出最优解,就是正规方程(Normal Equation...

  • 2018-12-06线性回归的梯度下降

    当梯度算法应用于线性回归的情况时,可以导出梯度下降方程的新形式。 我们将梯度下降和平方误差代价函数结合: 用于线性...

网友评论

      本文标题:[线性回归] 梯度下降和正规方程法

      本文链接:https://www.haomeiwen.com/subject/hlkivttx.html