线型回归算法

作者: owolf | 来源:发表于2018-09-05 10:52 被阅读2次

举个例子:

数据:工资和年龄(2个特征)

目标:预测银行会贷款给我多少钱(标签)

考虑:工资和年龄都会影响最终银行贷款的结果那么它们各自有多大的影响呢?(参数)

通俗解释:

X1,X2就是我们的两个特征(年龄,工资),Y是银行最终会借给我们多少钱

找到最合适的一条线(想象一个高维)来最好的拟合我们的数据点

如图所示:

数学理论:

把θ和X看成向量,并且x0=1 这是一个样本的函数 将多个单样本函数累乘得到似然函数

注:转化为对数似然函数是因为把乘法转换为加法,更便于计算。

让似然函数(对数变换后也一样)越大越好 得到 损失函数

比较好理解,就是训练集中所有样本点,真实值和预测值之间的误差的平方和。其中1/2是为了后面计算方便,求导时会消掉。所以我们目的就是找到θ使得J(θ)最小,这就是最小二乘法(最小平方)。

这样就求出了权重参数

相关文章

  • 线型回归算法

    举个例子: 数据:工资和年龄(2个特征) 目标:预测银行会贷款给我多少钱(标签) 考虑:工资和年龄都会影响最终银行...

  • 逻辑回归算法

    一、算法介绍 逻辑回归是一种与线性回归非常类似的算法,但是,从本质上讲,线型回归处理的问题类型与逻辑回归不一致。线...

  • Tensorflow基本模型之线性回归

    线性回归简述 在这里,我们仅仅讨论单变量的线型回归模型。不对回归算法进行过多的展开。重点放在Tensorflow的...

  • 线型回归、逻辑回归和神经网络的区别

    一、线型回归(Linear regression) 二、梯度下降(Gradient descent) 三、逻辑回归...

  • 逻辑回归算法(二)

    一、线型回归模型(Linear Regression) 为了更好的实现分类,逻辑回归诞生了。 [逻辑回归是假设数据...

  • 回归算法学习

    回归算法是机器学习中的经典算法之一,本文是对学习线性回归和逻辑回归算法进行的总结,线性回归与逻辑回归算法解决的分别...

  • 机器学习算法总结

    回归算法 线性回归算法: 支持向量机&向前逐步回归&惩罚线性回归(岭回归/套索回归/ElasticNet/最小角度...

  • 逻辑回归算法简介

    逻辑回归算法:虽然名字中带有回归两个字,但它却不是回归算法,它是一个经典的二分类算法。 回归与分类的区别:回归:可...

  • 《机器学习实战》读书笔记8

    线性回归算法概述 前面的2~7章节讲解的是“分类”算法,本章开始将介绍“回归”算法。 “回归”和“分类”都属于监督...

  • ML03-逻辑回归(下部分)

    本文主题-逻辑回归(下部分):逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...

网友评论

    本文标题:线型回归算法

    本文链接:https://www.haomeiwen.com/subject/mhrnwftx.html