统计学笔记（四）：线性回归

基础知识：

• 因变量：被预测的变量（y）
• 自变量：预测因变量值的一个或者多个变量(x)
• 只包括一个自变量和一个因变量，二者之间的关系可以用一条直线近似表示，这种回归分析被称为简单线性回归

简单线性回归的估计步骤：

image.png

估计的简单线性回归方程：

image.png

最小二乘法

最小二乘法准则：

image.png

估计的回归方程的斜率和Y轴截距求解：

image.png

判定系数：提供了一个拟合优度的度量
误差平方和（SSE）：样本观测值与预测值的离差平方和

image.png

总的平方和（SST）：在没有任何相关变量信息的情况下，以样本均值作为估计值所产生的的误差度量

image.png

回归平方和（SSR）：度量回归线上的预测值与期望值的偏离程度

image.png

三者之间的关系：

image.png
判定系数：
image.png

• 𝑟^2理解为总平方和中能被估计的回归方程解释的百分比。

相关系数：

image.png

显著性检验

image.png

t检验

关于线性回归方程b1的抽样分布：

image.png

b1的估计标准差为：

image.png

简单线性回归显著性的t检验：

image.png

β1的置信区间：

image.png

简单线性回归显著性的F检验：

image.png
ANOVA（方差分析）表：
image.png

• 每一个方差分析表中，总平方和是回归平方和与误差平方和之和，同时，总平方和的自由度是回归平方和与误差平方和的自由度之和；
• 回归分析能识别变量之间如何相互联系的，不能用来作为变量之间存在因果关系的根据。

关于显著性检验解释的注意点：

• 我们利用估计的回归方程对于x的样本观测值范围以内的x值进行预测，应该是完全有把握的。但是超过这一范围就需要十分谨慎

区间估计

置信区间：对于x的一个给定值，y的平均值的区间估计

• 当x为平均值是，可得到y的平均值最佳或最精确的估计量，x偏离平均值越远，y的平均值的置信区间就变得越宽：

  
  image.png

预测区间：对于x的一个给定值，对应y的一个新的观测值，也即对y的一个个别值进行预测的区间估计

• 当自变量的值x越接近平均值，置信区间和预测区间就越精确

  
  image.png