0.多元线性回归
多元线性回归是统计学中经常用到回归方法，一般需满足一下六个条件：
-
随机误差项是一个期望值或平均值为0的随机变量；
-
对于解释变量的所有观测值，随机误差项有相同的方差；
-
随机误差项彼此不相关；
-
解释变量是确定性变量，不是随机变量，与随机误差项彼此之间相互独立
-
解释变量之间不存在精确的（完全的）线性关系
-
随机误差项服从正态分布。
但以上六个条件算是比较严格的条件，在实践中大部分情况下难以满足。由于无法满足假设条件，因此多元线性回归也经常遇到多重共线性、自相关、异方差等问题。下面就总结下这三个常见的问题。
1.多重共线性
多重共线性是解释变量存在线性关系或者近似的线性关系，多重共线性影响的模型一般为底层是线性的模型，例如：回归、SVM等
如果变量间不存在多重共线性，则变量系数组成的矩阵应该是满秩的，且变量间不存在共线性不代表变量间不存在非线性关系
产生变量相关性的原因有很多，一般为经济变量之间的相同变化趋势，模型中包含滞后变量和截面数据等等
1.1多重共线性的检验
计算相关系数，因为相关系数是对线性相关的度量
对于线性回归来说，删除或者增加变量系数是不是有较大变化
系数的正负号是否与现实相违背
系数通不过显著性检验
变量之间做回归，计算可决系数和VIF=1/（1-可决系数）来度量，也称为方差扩大因子法
1.2多重共线性的影响后果
共线性使最小二乘法预估的参数不确定且估计值方差较大，方差较大又会导致参数的置信区间增大
回归显著但是回归系数通不过检验，甚至会出现回归系数的正负号的不到合理的解释
但是如果遇到必须使用这些变量度量且为了预测Y，则可以对这些变量进行线性组合
1.3多重共线性的处理方法
删除变量--这个方法一般不推荐使用，因为删除变量会导致异方差增大，异方差后面会讲到
增加样本容量--这个好像现实中也不是很好实现，毕竟能用的数据肯定都会用的，时效性不强的也没太大用
变换模型--对数据求差分；计算相对指标；吧相关变量做线性组合，即小类合并成大类；----比较靠谱的做法
逐步回归----常用方法，添加删除变量之后做可决系数、F检验和T检验来确定是否增加或者剔除变量，若果增加变量对这些指标的影响较小，也认为指标为多余的，如果增加指标引起R和F的变动且通不过T检验，说明存在共线性---常常使用的方法
岭回归---但是岭回归的参数k不好选择，k的选择严重影响方差和偏倚程度
2.异方差性
什么是异方差呢，我们前面写线性回归的时候说过，做线性回归应假定随机扰动项满足l平均值和同方差，同方差表示的是所有变量对其均值的分散程度相同，由于u=0，所以也可以说是Y围绕回归线均值的分散程度，但是如果u对不同x呈现的离散程度不同，则称u具有异方差性，也就是被解释变量的观测值分散程度随着解释变量的变化而 变化，也可以说异方差是某个解释变量引起的
2.1产生异方差的原因
模型的设定（例如多重共线性变量的删除，但是变量与y具有相关性，也会产生异方差）
测量误差和截面数据的影响
2.3异方差的影响
存在异方差将不能保证最小二乘法估计的方差最小，但是模型的拟合依然是无偏性和一致性，但不具有有效性，即不具有最小方差
异方差会导致参数的方差增大，如果还是使用不存在异方差时的方法进行估计，则会低估参数方差
破坏t检验和f检验的有效性
image
由于参数估计不满足方差最小，所以不是有效的，则对Y的预测也是无效的
2.4异方差的检验
相关图检验---观察随着x的增加y的离散程度是否增加，如果增加说明存在递增的异方差
残差图分析
image
image
image
White检验
基本思想是如果存在异方差，x与u存在相关关系，所以white检验不但可以检验异方差，还可以检验时哪个变量导致的异方差，但该方法要求大样本，但是解释变量过多又会导致丧失自由度，所以一般用u与预测值y和y的平方做回归，用F检验检验是否存在异方差，H0所有系数为0不存在异方差，否则存在异方差
2.5异方差的处理
加权最小二乘法
方差越小，样本偏离均值的程度越小，越重视，权重越大，否则越小，一般权重使用1/x,1/x2,1/根号x
模型对数变换，log之后缩小了异方差的范围
3.自相关
自相关即u存在自相关，即cov（u）不等于0，不满足线性回归的假定
3.1自相关产生的原因
经济活动滞后和经济系统的惯性
3.2自相关的后果
存在自相关将不能保证最小二乘法估计的方差最小，但是模型的拟合依然是无偏性和一致性，但不具有有效性，即不具有最小方差，所以估计的参数不是最佳线性无偏估计
低估真实的方差会导致高估t检验的值，夸大参数显著性，本来不重要的变量会变为重要的变量，失去t检验的意义
方差的变大导致预测变量的区间增加，降低了预测的精度
3.3自相关的检验
残差图---et与e（t-1）的相关图
DW检验
但是DW检验的前提条件较多，首先需要u为一阶自回归，而且回归必须存在常数项
image
image
image
image
3.4自相关的处理
差分法
科克伦--奥克特迭代
基本思想是对变量回归，求残差u，u=相关系数*u（t-1）+随机扰动项
然后根据计算出来的相关系数做差分，yt-相关系数y（t-1）=yt
用yt和xt做回归
然后令最终计算的参数=上一步计算的参数/（1-上一步的相关系数）
迭代直到两次相关系数相差很小时作为最佳的相关系数
网友评论