多项式回归

前面我们学习过线性回归，线性回归模型需要假设数据背后存在线性关系。

线性回归

而实际中，有线性关系的数据集比较少，更多的数据之间是非线性关系。进而——多项式回归产生。
其实多项式回归完全是线性回归的思路，只是相当于在原来的数据上增加了二次项、三次项、...等更高次的多项式特征项，然后用线性回归求解。

二次多项式回归

下面以一个例子来感受一下多项式回归，首先生成模拟数据集：

import numpy as np
import matplotlib.pyplot as plt
x = np.random.uniform(-3,3,size=100)
X = x.reshape(-1,1)
y = 0.5 * x**2 +x +2 +np.random.normal(0,1,size=100)
plt.scatter(x,y)
plt.show()

大致符合二次曲线 $y=0.5x^{2}+x+2$ ，加入了人工的高斯噪声，图示如下：

数据集分布

首先用线性回归模型求出回归方程，并作出回归方程：

'''线性回归'''
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X,y)
y_predict = lin_reg.predict(X)
plt.scatter(x,y)
plt.plot(x,y_predict,color='r')
plt.show()

回归方程图示：

线性回归结果

从图中可以明显看出，线性回归的效果在该数据集上不够好，有没有解决办法呢？那就是添加一个原特征的二次方项特征，然后对这两个特征做线性回归，这就是最简单的多项式回归，这里我们已经知道数据符合二次分布了，实际中的数据可能要用到更高次幂的多项式特征：

X2 = np.hstack([X,X**2])
lin_reg2 = LinearRegression()
lin_reg2.fit(X2,y)
y_predict2 = lin_reg2.predict(X2)
plt.scatter(x,y)
plt.plot(np.sort(x),y_predict2[np.argsort(x)],color='r')#有序排序后绘制曲线
plt.show()

添加二次项后的回归结果：

多项式回归

此时的回归结果已经好很多，我们可以查看回归系数：

回归系数和截距

和真实数据的系数和截距是吻合的。

scikit-learn中的多项式回归和pipeline

添加多项式特征

现在来看一下sklearn中的多项式回归，实际上sklearn并没有为多项式回归封装类，只是可以为它方便生成带多项式特征的数据集，然后再用线性回归求解：

from sklearn.preprocessing import PolynomialFeatures
'''添加最多degree次幂特征'''
poly = PolynomialFeatures(degree=2)
poly.fit(X)
X2 = poly.transform(X)
X2.shape //out:(100,3)
X2[:5,:]

多项式特征

可以看到sklearn添加多项式特征后，自动为我们补了一列1，这相当于x的0次幂，这样求得的系数里会有0。

from sklearn.linear_model import LinearRegression
lin_reg2 = LinearRegression()
lin_reg2.fit(X2,y)
lin_reg2.coef_

求解结果:

系数与截距

求解结果和我们添加二次特征后求解结果一样。

sklearn中的pipeline

从上面看来好像每次使用多项式回归都需要先加入多项式特征，然后实际中往往还要对数据进行归一化，最后再使用线性回归求解，这样繁琐的过程很容易让人蒙圈。为此:sklearn为我们提供了一个叫pipeline的类，这个类可以很方便地将多个步骤封装到一块，按照pipeline里我们定义的顺序执行:

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
'''传入步骤对应的类'''
poly_reg = Pipeline([
    ("poly",PolynomialFeatures(degree=2)),
    ("std_scaler",StandardScaler()),
    ("lin_reg",LinearRegression())
])

上面我们就定义了一个pipeline，里面就是多项式回归的三个步骤:添加特征，归一化，线性回归求解。下面求解此模型

'''沿着pipeline顺序执行'''
x = np.random.uniform(-3,3,size=100)
X = x.reshape(-1,1)
y = 0.5 * x**2 +x +2 +np.random.normal(0,1,size=100)

poly_reg.fit(X,y)
y_predict = poly_reg.predict(X)
plt.scatter(x,y)
plt.plot(np.sort(x),y_predict[np.argsort(x)],color='r')#有序排序之后绘制曲线
plt.show()

求解结果图示: