美文网首页机器学习基础
【机器学习】多项式回归原理介绍

【机器学习】多项式回归原理介绍

作者: 0a88ac7ea4a4 | 来源:发表于2019-03-10 08:21 被阅读0次

在上一节中我们介绍了线性回归的原理,然后分别用python和sklearn实现了不同变量个数的线性回归的几个例子。线性回归模型形式简单,有很好的可解释性,但是它只适用于X和y之间存在线性关系的数据集。对于非线性关系的数据集,线性回归不能很好的工作。因此本文介绍线性回归模型的扩展——「多项式回归」,我们可以用它来拟合非线性关系的数据集。

假设我们有一个单变量数据集,如下图。



为了观察它们之间的关系,我们用 matplotlib 画出散点图。



从图中看,它们有点像在一条直线上,但仔细看更像是在一个抛物线上。

首先我们假设它们满足线性关系,使用线性回归模型得到的结果如下图中黄线所示。



看起来似乎还可以,但是来看看误差,太大了。



下面我们试试用抛物线拟合它们。

线性回归可以通过从系数构造多项式的特征来扩展。为了使推导过程更具有代表性,我们先以一个双变量的为例,然后再看我们上面的单变量的例子。

双变量线性回归模型形如下面式子:



通过结合二阶多项式的特征,添加二次方项,将它从平面转换为抛物面:



用z替换x:

所以,我们的式子可以写成:



这样就变为线性回归模型。

同理,我们的数据集是单变量的,转换后的式子为:



计算结果如图。



线性回归得到的模型为:

多项式回归得到的模型为:



两个模型如下图所示。

可以看出多项式回归模型的效果(绿线)要明显好于线性回归模型(黄线)。

更高阶的同理。

相关文章

  • 【机器学习】多项式回归python实现

    【机器学习】多项式回归原理介绍 【机器学习】多项式回归python实现 【机器学习】多项式回归sklearn实现 ...

  • 【机器学习】多项式回归sklearn实现

    【机器学习】多项式回归原理介绍 【机器学习】多项式回归python实现 【机器学习】多项式回归sklearn实现 ...

  • 【机器学习】多项式回归原理介绍

    【机器学习】多项式回归原理介绍 【机器学习】多项式回归python实现 【机器学习】多项式回归sklearn实现 ...

  • 读书笔记-《机器学习实战》

    《机器学习实战》 介绍:本书没有从理论角度来揭示机器学习算法背后的数学原理,而是通过“原理简述+问题实例+ 实际代...

  • 机器学习实践系列2——多项式回归

    摘要:本文主要结合实际案例介绍多项式回归, 多项式回归主要包括一元多项式回归和多元多项式回归,本文主要介绍的是一元...

  • 1 导学

    机器学习可解决的问题 图像识别人脸识别数字识别 MNIST数据集 机器学习算法 kNN线性回归多项式回归逻辑回归 ...

  • 从信息论的角度谈机器学习

    本文先介绍下信息的本质是什么,再介绍下机器学习的本质是什么接着介绍下机器学习的流程,以及其中的信息论原理。 信息是...

  • 08-KNN

    一.机器学习原理 原理机器学习原理.png 常见名词 训练数据类 二.机器学习分类 2.1 有监督学习 分类 K近...

  • 6 多项式回归与模型泛化

    本文我们会通过讲解多项式回归的算法,从而引出机器学习算法中非常重要的一环,即模型泛化相关的知识 1 多项式回归算法...

  • 机器学习CNN之step by step

    关于机器学习原理的介绍比比皆是,而基于这些原理该如何操作才能应用机器学习完成一些工作任务呢。本文旨在尽可能详细地介...

网友评论

    本文标题:【机器学习】多项式回归原理介绍

    本文链接:https://www.haomeiwen.com/subject/vsoypqtx.html