参考这篇英文文章Going deeper into regression analysis，对回归分析进行深入解读。基本上就是对原文的翻译，建议看原文。
一、重要假设：
- 因变量与自变量间应该存在线性的、可加的关系。线性关系意味着无论
的值为多少，当
变量会有一个固定的增加。可加的关系意味着变量
对因变量
- 残差项（误差项）之间不应该存在相关性，否则将会存在自相关现象。
- 自变量之间无相关性，否则将会存在多重共线性。
- 误差项必须有恒定的方差，称为方差齐性，否则将会存在异方差性。
- 误差项必须是正态分布的。
二、如果违背假设，该如何检查
-
线性可加性：如果采用线性模型来对非线性、非可加性的数据集进行拟合，回归算法将不能捕获其中的趋势，导致模型无效。同样，这也会导致对未知数据集的错误预测。
如何检测：查看残差V.S.拟合值。也可以在模型中添加多项式（）来捕捉非线性的效应。
-
自相关：误差项的相关性大大降低了模型的精度。这通常发生在时间序列模型中，因为其下一个时刻的数值依赖于前一个时刻。如果误差项是相关的，估计的标准误差往往会低估真实的标准误差。
如果发生这种情况，则会导致置信区间和预测区间变窄。较窄的置信区间意味着95%置信区间包含系数实际值的概率小于0.95。让我们用一个例子来理解窄预测区间:
例如,最小二乘系数15.02 X¹及其标准误为2.08(没有自相关)。但是在存在自相关的情况下，标准误差降低到1.20。因此，预测区间从(12.94,17.10)缩小到(13.82,16.22)。同时，较低的标准误差会导致相关的p值低于实际值。这将使我们错误地得出一个参数具有统计意义的结论。
如何检测：查看 Durbin – Watson (DW) statistic统计量。它必须位于0和4之间。如果DW=2,意味着没有自相关，0<DW<2意味着正向的自相关, 2<DW<4意味着负向的自相关。此外，还可以查看残差V.S.时间图，并在残差值中查找季节或相关模式。 -
多重共线性：当自变量之间存在中度或高度相关时，就会出现这种现象。在具有相关变量的模型中，找出预测因子与响应变量之间的真实关系是一项艰巨的任务。换句话说，很难找出哪个变量实际上有助于预测响应变量。
另一点是，如果存在相关的预测因子，则标准误差往往会增加。当标准误差较大时，置信区间会变宽，从而导致对斜率参数的估计不那么精确。
此外，当预测因子相关时，相关变量的估计回归系数取决于模型中有哪些其他预测因子可用。如果发生这种情况，您将得到一个错误的结论，即一个变量对目标变量的影响是强/弱的。因为，即使您从模型中删除一个相关变量，其估计的回归系数也会发生变化。那不是很好!
如何检验：以使用散点图来可视化变量之间的相关效应。此外，您还可以使用VIF因子。VIF值<= 4表示不存在多重共线性，而VIF>= 10表示严重的多重共线性。最重要的是，一个关联表也应该解决这个问题。 -
异方差性：误差项的非恒定方差导致了异方差性。通常，异常值或极端杠杆值的存在会导致非恒定的方差。看起来，这些值获得了太多的权重，因此不成比例地影响了模型的性能。当这种现象发生时，样本外预测的置信区间往往会变得不切实际的宽或窄。
如何检验：你可以看看残差与拟合值的关系图。如果存在异方差，则该图呈漏斗状(见下一节)。您也可以使用breuss - pagan / Cook - Weisberg检验或White general检验来检测这种现象。 -
误差项的正态分布：如果误差项不是正态分布的，置信区间可能会变得太宽或太窄。一旦置信区间变得不稳定，就会导致基于最小二乘最小化的系数估计困难。非正态分布的存在表明存在一些不寻常的数据点，必须对这些数据点进行深入的研究才能建立更好的模型。
如何检验：你可以看看QQ图(如下图所示)。您还可以执行正常的统计检验，如Kolmogorov-Smirnov检验、Shapiro-Wilk检验。
三、解决方法
在知道了假设被未被的时候，还需要知道如果进行修正。
-
残差V.S.拟合值
这个散点图显示了残差(误差)与拟合值(预测值)的分布。这是每个人都必须学习的最重要的情节之一。它揭示了各种有用的见解，包括异常值。图中离群点用观察编号标记，便于检测。
image.png
拟合值与残差
这里面有两点需要注意：
1). 如果此图中存在任何模式(可能是抛物线形状)，则将其视为数据中非线性的符号。这意味着该模型没有捕捉到非线性效应。
2). 如果图中出现明显的漏斗形状，则认为是方差不恒定的迹象，即异方差性。
解决方法：为了克服非线性的问题,你可以做一个非线性变换等如变换因变量。为了克服异方差性，一种可能的方法是对响应变量如log(Y)或√Y进行变换。也可以用加权最小二乘法来处理异方差性。
-
正态QQ图（Normal Q-Q Plot）
正态QQ图
这个Q-Q或分位数-分位数是一个散点图，它帮助我们验证数据集中正态分布的假设。使用这个图，我们可以推断数据是否来自正态分布。如果答案是肯定的，那么绘图就会呈现出一条直线。误差的不正态性可以从直线上的偏差看出。
解决方法：如果误差不是正态分布的，则变量(响应或预测因子)的非线性变换可以改善模型。
-
Scale Location Plot
Scale Location Plot
此图也用于检测同质性(假设方差相等)。它显示了残差是如何沿着预测因子的范围分布的。它类似于残差vs拟合值图，只是它使用了标准化的残差值。理想情况下，情节中应该没有明显的模式。这意味着误差是正态分布的。但是，如果图中显示出任何可识别的模式(可能是漏斗形状)，则意味着错误的非正态分布。
解决方法：参照图1中的对异方差性的解决方法。
-
残差V.S.杠杆图（Residuals vs Leverage Plot）
残差杠杆图
它也被称为库克的距离图（Cook’s Distance plot）。库克的距离试图找出比其他点更有影响力的点。这些有影响的点往往会对回归线产生相当大的影响。换句话说，从模型中添加或删除这些点可以完全改变模型的统计信息。
但是，这些有影响力的观察结果能被视为异常值吗?这个问题只有在看过数据之后才能回答。因此，在这个图中，cook’s distance标记的大值可能需要进一步的调查。
解决方法：如果有影响的观测结果只是异常值，如果不是很多，您可以删除这些行。或者，您可以使用数据中的最大值缩小离群值，或者将这些值视为缺失值。
该文章的讲述更比自己写的回归分析诊断、统计检验、绘图及模型解释
综合一些，回头找下Python中的具体教程，实践操作一下。
网友评论