1.多元线性回归模型
一般的多元线性回归模型可以写为：
多元线性回归模型
因为在绝大数情况下，回归方程都是有常数，我们可以令xi1 = 1 ，则上式可以简化为：
多元线性回归模型
上式又可以用向量来表示：
多元线性回归模型
全部写出来有如下：
多元线性回归模型
其中矩阵X为：
X矩阵
如此便得到了一般多元线性回归模型的向量形式
2.OLS估计量的推导
我们的目标函数依旧是最小化残差平方和，寻找最佳拟合的回归超平面。
目标函数为：
目标函数
一阶条件为：
一阶条件
次方程组称为“正规方程组“，满足该方程组的beta hat解称为OLS估计量
由残差表达式
残差
可以将正规方程组用矩阵形式表示出来
矩阵形式
矩阵形式
由残差表达式可以进一步得到残差向量
残差向量
接下来继续求解OLS估计量
OLS估计量
3.拟合优度
对于多元线性回归方程，拟合优度的缺点被放大。即如果增加解释变量的数目，则拟合优度只增不减，因为至少可让新增解释变量的系数为0而拟合优度保持不变。另外通过最优地选择新增解释变量的系数以及已有的解释变量系数，通常可以提高拟合优度。因此，需要引入校正拟合优度，对解释变量过多进行惩罚。
e
由上图，我们可以看出，n个残差被K个方程束缚了，所以自由的残差只剩下n-K个
y
由上图，我们可以得知，对于n个y i - y* （y*表示y的均值），其中必有一项可以由其余n-1项表示。可以类比下：a+b+c=0，则c=-(a+b)，可以说c是不自由的。
我们可以通过调整自由度对模型进行“惩罚”
校正拟合优度
同样的，无论拟合优度还是校正拟合优度只反映了拟合程度的好坏。评估回归方程是否显著，应使用F检验。此外，对于无常数项的多元回归模型，其非中心拟合优度仍然为
非中心拟合优度
Over~
网友评论