美文网首页
统计模型-线性回归

统计模型-线性回归

作者: fairy小倩 | 来源:发表于2019-06-19 18:01 被阅读0次

1.什么是模型

模型就是对数据进行的高度概括
其作用是判别数据的合理性,并对数据做预测。

2.回归分析

确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
回归:一组值向均值的回归,也可用于一组值向预测值的回归。
分类:
1)一元线性回归:自变量为1个,且为直线模型拟合
2)多元线性回归:自变量为N个,但回归方程仍为一次方程,拟合模型为一个平面或超平面
3)非线性回归:拟合曲线非直线,有部分非线性回归可以转化为线性求解,模型成为广义线性模型

3.线性回归

自变量和因变量之间建立一个线性关系模型,结果变量Y为因变量,用来预测结果变量的X为自变量。

自变量:研究者主动操纵,从而引起因变量发生变化
因变量:被观测或者记录的量,会随着自变量的变动而变动,因变量必须是一个连续变量。

4.线性回归模型需满足的条件

1)线性关系:自变量和因变量之间存在线性关系
2)多变量正态性:所有的变量都满足正态分布
3)没有,或者有一点点多重共线性:自变量相互独立,残差的平均值要与其他的自变量独立
4)没有自相关:数据中没有或有一点点自相关
5)常数方差:同方差性

5.残差

分析模型合理性的重要指标
残差应满足以下假设
1)残差独立同分布,且无自相关性
2)残差和自变量X不相关
3)残差的均值为0,方差为常数

6.模型的诊断

1)对假设的检验
残差应满足:独立同分布,和自变量X不相关,均值为0,方差为常数
2)显著性检验
回归方程显著性F检验,看所有自变量X从整体上对随机变量Y是否有明显的影响。
若 P值<0.05,自变量全体对因变量产生线性影响。
回归系数显著性t检验:看单个自变量对Y是否有明显影响。
若 P值<0.05,自变量和因变量有显著的线性关系。

对于一元线性回归,以上两种检验是等价的。

3)拟合优度
用于检验回归方程对样本观测值的拟合程度
样本决定系数R2=SSR/SST=1-SSE/SST(R2属于[0,1])
R2越接近1,表明回归拟合的效果越好
R2越接近0,表明回归拟合的效果越差

7.线性回归分析步骤

1)根据预测目标,确定自变量和因变量
2)绘制散点图,确定回归模型类型
3)估计模型参数,建立回归模型
4)对回归模型进行检验
5)利用回归模型进行预测

相关文章

  • [回归] 线性回归 Linear Regression

    线性回归是统计/机器学习中最基础的一个模型,在线性回归的基础上可以拓展出之后相当多的模型,例如逻辑回归。 线性回归...

  • 统计模型-线性回归

    1.什么是模型 模型就是对数据进行的高度概括其作用是判别数据的合理性,并对数据做预测。 2.回归分析 确定两种或两...

  • 【机器学习实践】有监督学习:线性分类、回归模型

    线性模型 为线性模型 分类和回归的区别 分类:离散回归:连续本文主要关注线性回归模型 常用线性回归模型类型 OLS...

  • NLP笔记Day3:逻辑回归模型

    逻辑回归模型 目标:数据可视化,构建逻辑回归模型 步骤: 使用散点图表示正向/负向推特的统计 可视化线性回归模型的...

  • Linear Regression (线性回归)

    概述 线性回归是机器学习的一种回归模型,同时也是统计学中的回归模型。回归模型主要被用来预测真实值,相反分类问题主要...

  • 算法笔记(6)-线性模型及Python代码实现

    线性模型不是特指某一个模型,而是一类模型,常用的线性模型包括线性回归、岭回归、套索回归、逻辑回归和线性SVC等。线...

  • logistics回归分类

    logistics回归分类模型和线性模型的关系非常密切;区分下线性回归模型和线性模型;线性模型:自变量和因变量之间...

  • 【机器学习】线性回归:动手实现一个线性回归模型

    已有知识: 线性回归(统计学) 线性回归(机器学习) 回归问题简单说就是给出一组特征,模型需要给出一个回答,这个回...

  • 西瓜书 第3章 线性模型 学习笔记

    第3章 线性模型 3.1 基本形式 线性模型:向量形式表示线性模型: 3.2 线性回归 线性回归试图学得:均方误差...

  • 第一次打卡

    线性回归主要内容包括: 线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回...

网友评论

      本文标题:统计模型-线性回归

      本文链接:https://www.haomeiwen.com/subject/muzhqctx.html