美文网首页
线性模型和梯度下降（概念简单理解）

线性模型和梯度下降（概念简单理解）

作者: 泛酸的桂花酒 | 来源:发表于2019-05-05 17:09 被阅读0次

对于线性模型和梯度下降在网上解释有很多版本，这里加上自己的理解，总结出了整个简单易懂的版本

一元线性回归

一元线性模型，是一个很简单的数学模型，很多教程也都用来入门介绍。
其数学表达式可以写成:

y = wx + b
这里的y就是我们需要预测的结果，假设我们的模型预测结果是y_i ,则可以定义损失函数如下（我们希望整个损失函数最小）
\frac{1}{n}\sum_{i=1}^n（y-y_i）^2

梯度

定义
设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一点(x,y)\in D 都可定出一个向量：
\frac{\partial f}{\partial x} + \frac{\partial f}{\partial x}可以称为gradf(x,y)
那么这向量称为函z=f(x,y)在点P(x,y)上的的梯度就是gradf(x,y)
例如f(x) = x^2这个函数在x = 2处的梯度

1WS1RU{I[%5PBTG)C{]J$6U.png
那么沿着这个梯度下降的方向走，可以快速的找到最小值（即验证梯度下降的方向），或者最大值（梯度上升的方向）

多项回归模型和多元回归模型

根据上面的线性回归模型y = wx + b
当特征较为多的时候就拓展为多元回归模型，即关于x的一次多项式
y = w0 x+ w1x^2 + w2x^3 + w3x^4 +......
多元回归模型
y = w0 x+w1y + w2z +......
这样就可以拟合更复杂的模型，这些模型的形式大体上一直，他们的loss函数和简单的线性模型是一致的。

相关文章

  • 线性模型和梯度下降（概念简单理解）

    对于线性模型和梯度下降在网上解释有很多版本，这里加上自己的理解，总结出了整个简单易懂的版本 一元线性回归 一元线性...

  • TF 训练简单梯度下降模型

    tf.GrandientTape 训练简单的线性梯度下降模型 添加引用 首先需要添加TensorFlow引用和Ea...

  • 2019-04-13

    目录 假设函数概念 线性假设类损失函数 梯度下降和随机梯度下降 矩阵迹的倒数 正规方程法解线性假设函数最优参数 1...

  • 个人关于机器学习的周记之十一

    在以前的周记我们谈到关于梯度下降算法，梯度下降是很常用的算法，它不仅被用在线性回归上和线性回归模型、平方误差代价函...

  • 图解梯度下降背后的数学原理

    摘要： 本文讲解了梯度下降的基本概念，并以线性回归为例详细讲解梯度下降算法，主要以图的形式讲解，清晰简单明了。 敏...

  • 机器学习--逻辑回归原理

    补充 : 梯度下降梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型...

  • 「机器学习笔记」梯度下降 Gradient Descent

    前言： 梯度下降是常用的机器学习算法，本篇笔记写的是在线性回归模型使用「梯度下降算法」。通过循环同时修改斜率和y轴...

  • 线性回归

    单变量线性回归 多变量线性回归 局限性 梯度下降法 优点 缺点 单变量线性回归 模型线性回归假设数据集中每个yi和...

  • 用单因子线性回归演示梯度下降和反向传播

    反向传播示例 一、 单层网络的梯度下降和反向传播 单因子线性模型 线性模型定义 损失函数 损失函数求偏导(偏导代入...

  • ML-梯度下降代码-线性回归为例

    梯度下降代码线性回归为例 bgd 批量梯度下降 sbd 随机梯度下降 mbfd 小批量随机梯度下降

网友评论

      本文标题：线性模型和梯度下降（概念简单理解）

      本文链接：https://www.haomeiwen.com/subject/pgttoqtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|线性模型和梯度下降（概念简单理解）|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！