过拟合(overfitting)与欠拟合(underfittin

我们在在实际机器学习预测过程中，可能会经常遇到过拟合与欠拟合现象。

在多项式回归中，这种现象比较直观。我们将构造相关的数据去看：

x = np.random.uniform(-3, 3, size = 100)
y =  0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size = 100) # 加上一点噪声
X = x.reshape(-1, 1)

1. 欠拟合

lin_reg = LinearRegression()
lin_reg.fit(X, y)
y_pred = lin_reg.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred, color = 'r')
plt.plot(np.sort(x), y_pred[np.argsort(x)], color = 'r')
plt.show()

2. 正常拟合

def PolynomialRegression(degree):
    poly_reg = Pipeline([
        ("poly", PolynomialFeatures(degree=degree)),
        ("std_scaler", StandardScaler()),
        ("lin_reg", LinearRegression())
    ])
    return poly_reg

poly_reg2 = PolynomialRegression(degree=2)
poly_reg2.fit(X,y)
y_pred2 = poly_reg2.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred2, color = 'r')
plt.plot(np.sort(x), y_pred2[np.argsort(x)], color = 'r')
plt.show()

3. 过拟合

poly_reg3 = PolynomialRegression(degree=100)
poly_reg3.fit(X,y)
y_pred3 = poly_reg3.predict(X)
plt.scatter(x, y)
# plt.scatter(x, y_pred3, color = 'r')
plt.plot(np.sort(x), y_pred3[np.argsort(x)], color = 'r')
plt.show()

随着degree越大，均方误差肯定会越来越小，模型的效果肯定会更好。不过这样会使得模型的泛化能力变差，也就是对别的数据的预测效果会非常差。这也是我们用train_test_split划分数据集的原因。

image

【今天发现coursera开通了student计划，用学校邮箱申请后可以免费学习很多课程！】