什么是回归

我们先来聊聊历史，从回归这个词被发明的源头聊起。话说有一个叫高尔顿的生物学家兼统计学家在研究人类遗传问题时发现了一个现象：非常高的父亲，其儿子的身高往往要比父亲矮一点，而非常矮的父亲，儿子的身高也会比父亲高一些，也就是说，人类的身高从高矮两个极端移向所有人的平均值，他把这种现象称为“向平均回归（regression to the mean）”。

其实仔细想想这种现象应该是正常的才对，如果不发生这种向平均值回归的事情，那么高的人后代将越来越高，同样矮的人的后代会越来越矮，那么经过一系列的种族繁衍后，人类将变成特别高和特别矮的两极分化状态。

这是回归这个词的由来，所以我们再来理解一下什么是回归分析，首先我要去分析两个现象之间有什么关系，然后我要知道现象之间的具体形式，并用数学表达式来展示。比如上次的相关性分析中我们说到了城市化水平和离婚率之间存在着相关关系，那么这两个变量之间的关系到底深到什么程度，是谁在影响谁，这就需要我们用函数定量地去描述，这就是回归。

在说相关性的时候，我们会把两个变量之间的关系用散点图来展示，更进一步地，还会去找到一条最合适的平均线，也就是“向平均回归的线”，而这条线的函数表达式，就是我们说的回归方程，所以说，回归分析要寻找的就是变量之间的最佳拟合关系。

常见回归算法

有线性和非线性，这里我们就重点说下线性回归

线性回归，顾名思义，就是用一条直线去拟合样本的趋势。包括一元线性回归和多元线性回归，在实践中，多元应用的较多。什么是“元”？实际上就是自变量X，一个X就是一元线性回归，多个X就是多元线性回归。

一元线性回归是最基本的回归，对于每一个自变量X都有因变量Y，误差项是一个服从正态分布的随机变量且相互独立，上公式：

多元线性回归就是多个自变量x，X和Y之间的函数关系如下：

在线性回归里，我们只需要关注2点：一个是x和y是线性表达式，这一点很重要，如果有非线性关系的变量我们用线性来描述，这就是误区了；另一点是线性回归有一个误差项，且误差项服从正态分布，这个怎么理解呢？不是所有的关系都能百分之百用函数表达式去解释的，可能有80%的部分我们可以去解释，但是还有20%的部分我们解释不了，就把它归为误差项。