美文网首页
梯度下降法和线性回归模型的代价函数

梯度下降法和线性回归模型的代价函数

作者: mugtmag | 来源:发表于2016-07-30 10:58 被阅读100次

用梯度下降函数最小化平方误差代价函数


Paste_Image.png

图中的偏导数是代价函数的斜率


Paste_Image.png

注意:theta 0 和theta 1 是梯度下降函数的横轴和纵轴,两者是同时更新的,更新主要看他们各自的偏导数,即代价函数的斜率。

Paste_Image.png Paste_Image.png Paste_Image.png
Paste_Image.png
Paste_Image.png Paste_Image.png

错误??

Paste_Image.png Paste_Image.png

用在线性回归中的矩阵和向量相乘


Paste_Image.png

左侧矩阵是测试集和常数系数,右侧矩阵的每一列是theta 0 和theta 1


Paste_Image.png
矩阵满足结合律(associative)但是不满足交换律(commutive),即不满足AxB = BxA,有一种情况除外,即B是特征函数 I(identity matrix) Paste_Image.png Paste_Image.png

求逆矩阵公式,有如下定理:
如果A是一个 n x n的 矩阵,那么一定有一个逆矩阵,使得AA-1= I

Paste_Image.png

不存在逆矩阵的矩阵叫做奇异矩阵(singular)或者退化矩阵(degenerate),零矩阵就是奇异矩阵或者退化矩阵

转置矩阵:

Paste_Image.png

终于理解了:其实就是应该全部的h(x) = y
因为J是指全部差平方之和
而且线性回归是没有局部最优的问题的,因为它相当于一个凸函数,故此题应选择第三个(给我的提示是coursera中的即使是多选题也可能选一个,另外要准确理解some的含义,全部的数目也可能叫some)


Paste_Image.png

相关文章

  • 第2章 单变量&多变量线性回归

    单变量线性回归 梯度下降法 Gradient descent 用梯度下降法最小化代价函数J 多变量线性回归 mul...

  • 线性回归和逻辑回归理解

    1、线性回归算法 假设函数: 代价函数: 优化方法:采用梯度下降法进行全局最小值的求解,同时应该注意的是,梯度下降...

  • 线性回归

    单变量线性回归 多变量线性回归 局限性 梯度下降法 优点 缺点 单变量线性回归 模型线性回归假设数据集中每个yi和...

  • 21吴恩达机器学习课程大纲

    机器学习的定义,兴起原因,应用领域,主要内容;线性回归模型假设函数。 线性回归的代价函数,梯度下降算法,特征缩放,...

  • 梯度下降法和线性回归模型的代价函数

    用梯度下降函数最小化平方误差代价函数 图中的偏导数是代价函数的斜率 注意:theta 0 和theta 1 是梯度...

  • 2020-08-19--梯度下降法01

    梯度下降法简介 多元线性回归中的梯度下降法 随机梯度下降法 梯度下降法 的调试 1.梯度下降法简介 不是一个机器学...

  • 机器学习系列(十六)——随机梯度下降Stochastic Gra

    随机梯度下降法Stochastic Gradient Descent 在之前的梯度下降法解决线性回归问题中,梯度向...

  • (5)回归算法

    回归的模型均可抽象为多元线性回归,其优化方法一般为最小二乘法与梯度下降法等。一般选择使用梯度下降法求解,因为最小二...

  • 个人关于机器学习的周记之十一

    在以前的周记我们谈到关于梯度下降算法,梯度下降是很常用的算法,它不仅被用在线性回归上和线性回归模型、平方误差代价函...

  • ml-简化的成本函数和梯度下降

    目标:更简化的方法得到代价函数运用梯度下降法拟合出逻辑回归的参数。 化简合并之后: 明确目标:代价函数为: 求出参...

网友评论

      本文标题:梯度下降法和线性回归模型的代价函数

      本文链接:https://www.haomeiwen.com/subject/alttsttx.html