一元线性回归（BLUE性以及R方）

作者: 想象_442c | 来源:发表于2021-01-23 10:10 被阅读0次

一元线性回归（BLUE性以及R方）
多元线性回归
机器学习实践系列1——线性回归
2020-02-14
Matlab一元/多元回归（后续会有更新）
「量学堂-6」多元线性回归（上）
一元线性回归方程
多元线性回归
数学建模系列笔记2：回归和时间序列
机器学习

1.高斯-马尔可夫定理（BLUE性）

在经典假设下，OLS估计量估计量具有，线性、无偏性和有效性三个优良性质，称为最佳线性无偏估计量（best linear unbiased estimator,BLUE）

线性

指 $\hat{\beta_0}$ 和 $\hat{\beta_1}$ 为 $y_i$ 和 $u_i$ 的线性函数
$\hat{\beta_1}=\Sigma \cfrac{\dot{x_i}}{\Sigma \dot{x_i}^2}y_i$

$\hat{\beta_1}=\beta_1+\Sigma \cfrac{\dot{x_i}}{\Sigma \dot{x_i}^2}u_i$

$\hat{\beta_0}=\Sigma (\cfrac{1}{n}-\bar{x}\cfrac{\dot{x_i}}{\Sigma \dot{x_i}^2})y_i$

$\hat{\beta_0}=\beta_0+\Sigma (\cfrac{1}{n}-\bar{x}\cfrac{\dot{x_i}}{\Sigma \dot{x_i}^2})u_i$

无偏性

$E(\hat{\beta_1})=\beta_1$

$E(\hat{\beta_0})=\beta_0$

有效性

在回归参数的所有线性无偏估计量中，OLS估计量的方差最小

2.拟合优度（可决系数）

$R^2=\cfrac{ESS}{TSS}=1-\cfrac{RSS}{TSS}$

TSS (total sum of squares)

$TSS=\Sigma (y_i-\bar{y})^2$

TSS为 y 的总离差平方和 ,反映的是因变量y的变异程度（离散程度）

ESS (explained sum of squares)

$ESS=\Sigma (\hat{y_i}-\bar{y})^2$

ESS为TSS中被 y 对 x 的回归方程所说明的部分，称为回归平方和（或已被解释的平方和）

RSS (residual sum of squares)

$RSS=\Sigma (y_i-\hat{y})^2$

RSS为TSS中未被回归方程所说明的部分，称为残差平方和

$R^2$ 称为拟合优度（测定系数/可决系数）它代表着回归方程可以解释的那部分变差占总变差的比例，越接近 1 表明能解释的越多，拟合程度越好。

$R^2$ 还有其他形式的表达：
$R^2=\hat{\beta_1}\cfrac{\Sigma\dot{x_i}\dot{y_i}}{\Sigma\dot{y_i}^2}$

一元线性回归（BLUE性以及R方）
1.高斯-马尔可夫定理（BLUE性）在经典假设下，OLS估计量估计量具有，线性、无偏性和有效性三个优良性质，称为...
多元线性回归
实现了基于线性最小二乘、基于梯度下降法、基于随机梯度下降法的多元线性回归。计算中发现对一元回归，三者均有较高的R方...
机器学习实践系列1——线性回归
摘要：本文结合实际案例，介绍机器学习的线性回归模型，包括一元线性回归和多元线性回归，以及模型的评估。案例展示用Py...
2020-02-14
线性回归：线性回归分为一元线性回归和多元线性回归，一元线性回归用一条直线描述数据之间的关系，多元回归是用一条曲线描...
Matlab一元/多元回归（后续会有更新）
一元线性回归&一元非线性回归多元回归/逐步回归多元回归先画散点图，看有没有线性性质，再决定能不能用多元线性回...
「量学堂-6」多元线性回归（上）
多元线性回归模型多元性先回归相较于一元线性回归更为泛化，后者可以看做是前者的特例。对于多元线性模型，应变量Y与自...
一元线性回归方程
目标：写清楚一元线性回归分析的全部过程。一元线性回归分析步骤：确定变量variable:independent...
多元线性回归
概述之前我们讲了最基本、最简单的一元线性回归算法，本章主要讲解多元线性回归,以及梯度下降、特征缩放和正规方程解等...
数学建模系列笔记2：回归和时间序列
数学建模 @[toc] 3-1-1 一元线性回归一般，假设若称为一元正态线性回归模型回归分析要解决的主要问...
机器学习
1.线性回归 1.1一元线性回归 y=a+bx 1.2多元线性回归 y=a+b1x1+b2x2+...+bnxn ...

一元线性回归（BLUE性以及R方）

1.高斯-马尔可夫定理（BLUE性）

线性

无偏性

有效性

2.拟合优度（可决系数）

TSS (total sum of squares)

ESS (explained sum of squares)

RSS (residual sum of squares)

相关文章

一元线性回归（BLUE性以及R方）

多元线性回归

机器学习实践系列1——线性回归

2020-02-14

Matlab一元/多元回归（后续会有更新）

「量学堂-6」多元线性回归（上）

一元线性回归方程

多元线性回归

数学建模系列笔记2：回归和时间序列

机器学习

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读