美文网首页
线性回归VS最小二乘法的本质是什么

线性回归VS最小二乘法的本质是什么

作者: zh_harry | 来源:发表于2020-11-30 11:05 被阅读0次

最小平方法是十九世纪统计学的主题曲,从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。
----史蒂芬·史蒂格勒的《The History of Statistics》

日用而不知

来看一个生活中的例子。比如说,有五把尺子:

尺子

用它们来分别测量一线段的长度,得到的数值分别为(颜色指不同的尺子):

尺子的长度

之所以出现不同的值可能因为:

  1. 不同厂家的尺子的生产精度不同
  2. 尺子材质不同,热胀冷缩不一样
  3. 测量的时候心情起伏不定
  4. ......

总之就是有误差,这种情况下,一般取平均值来作为线段的长度:

长度估计公式

日常中就是这么使用的。可是作为很事'er的数学爱好者,自然要想下:

  1. 这样做有道理吗?
  2. 用调和平均数行不行?
  3. 用中位数行不行?
  4. 用几何平均数行不行?

最小二乘法

换一种思路来思考刚才的问题。

首先,把测试得到的值画在笛卡尔坐标系中,分别记作yi

image.png

其次,把要猜测的线段长度的真实值用平行于横轴的直线来表示(因为是猜测的,所以用虚线来画),记作y


image.png

每个点都向y做垂线,垂线的长度就是|y-yi| ,也可以理解为测量值和真实值之间的误差:

image.png

因为误差是长度,还要取绝对值,计算起来麻烦,就干脆用平方来代表误差:

image.png

误差的平方和就是ε (error)代表误差:

image.png

因为y是猜测的,所以可以不断变换:

最小二乖变换.gif

自然,误差的平方和在不断变化的。

法国数学家,阿德里安-马里·勒让德(1752-1833,这个头像有点抽象)提出让总的误差的平方最小的y就是真值,这是基于,如果误差是随机的,应该围绕真值上下波动(关于这点可以看下“如何理解无偏估计?”)。

勒让德的想法变成代数式就是:

image.png

正好是算术平均数。

原来算术平均数可以让误差最小啊,这下看来选用它显得讲道理了。
就是最小二乘法,所谓“二乘”就是平方的意思,台湾直接翻译为最小平方法。

基本形式

给定由d个属性描述的示例x={x1;x2;...;xd}

,其中xi是x现在第 i个属性上取值,线性模型去学习一个通过属性的线性组合来进行预测的函数,即


线性回归基本形式

一般用向量形式表示更为简洁:


线性回归基本形式简化版 其中, 权重参数

其实可以很简单的理解,如下图直线是由很多点组成的,如果事先不知道直线的方程,只有一些点,那么根据这些点求得的函数就是这条直线。我们的任务就是根据已知的一些数据求解得到函数。当然这只是一元线性回归,还有多元线性回归与之类似。

image

回归分析中,如果只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。对于二维空间线性是一条直线;对于三维空间线性是一个平面,对于多维空间线性就是一个超平面

一元线性回归

给定数据集:


image.png
其中, image.png 和 image.png

而线性回归视图学得:


image.png , 使得 image.png

其实就是找到一个函数使得数据尽可能的在这个函数内。那么如何确定参数w和b呢?
显然,关键在于如何衡量f(xi)与yi之间的差距,我们使用均方误差来进行度量。因此我们将差距最小问题转化为均方误差最小化,即

image.png 其中, image.png

分别表示w和 b的解。

在线性回归中,最小二乘法就是试图找到一条直线,使得所有样本到直线上的距离之和最小。

求解w和b使 image.png

最小化的过程,称之为线性回归模型的最小二乘法“参数估计”(parameter estimation)。为了得到最小值,我们只需要将函数


image.png image.png 求导即可。则 image.png

分别对w和b求导,得到:

image.png image.png

求得倒数为零的解,即为最优解,则令导数


image.png image.png
极值点处的导数一定为0,但导数为0的点不一定是极值点

可得到w和b的最优解分别为:


image.png image.png 其中,x的均值为 image.png

https://www.zhihu.com/question/37031188

相关文章

  • 线性回归以及logistic回归公式

    线性回归 最小二乘法: Logistic回归 :

  • 机器学习

    监督学习: 分类与回归 线性回归: 线性模型:最小二乘法,岭回归,lasso回归 解决线性问题...

  • 线性回归VS最小二乘法的本质是什么

    最小平方法是十九世纪统计学的主题曲,从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。----史蒂芬...

  • 23高通量测序-线性模型之线性回归

    线性模型之线性回归 线性回归(Linear Regression)主要思想 使用最小二乘法(least-squar...

  • 算法概述-02

    1.逻辑回归和线性回归的联系和区别: 逻辑回归和线性回归的都是广义的线性回归。 线性回归是根据最小二乘法来建模,逻...

  • 线性模型

    一、基本概念 二、参考资料 1、线性回归原理与基本实现认识 2、最小二乘法 3、梯度下降法 4、逻辑回归的本质--...

  • 线性回归

    损失函数介绍简单线性回归最小二乘法梯度下降求解线性回归评价指标多元线性回归链接 损失函数介绍 损失函数描述了单个样...

  • 利用 python 进行线性回归

    线性回归也被称为最小二乘法回归(Linear Regression, also called Ordinary L...

  • 机器学习—线性回归之最小二乘法

    1 什么是”最小二乘法”呢? 线性回归是很常见的一种回归,线性回归可以用来预测或者分类,主要解决线性问题。 插图摘...

  • 李航-第6章逻辑斯蒂回归与最大熵模型

    线性回归和逻辑回归的联系 在我理解,线性回归一般预测解决连续值预测的问题,对已有的数据进行线性拟合,运用最小二乘法...

网友评论

      本文标题:线性回归VS最小二乘法的本质是什么

      本文链接:https://www.haomeiwen.com/subject/pqlrwktx.html