Python机器学习基础教程学习笔记（4）——KNN处理wave数据集（回归）

1 wave数据集

wave数据集只有一个输入特征和一个连续的目标变量（或响应）

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn
# 加载wave数据集
X,y = mglearn.datasets.make_wave(n_samples=40)

# 做图
plt.plot(X,y,'o')
plt.ylim(-3,3)
plt.xlabel("feature")
plt.ylabel("target")
plt.show()

output_3_0

2 knn回归

# k=1时
mglearn.plots.plot_knn_regression(n_neighbors=1)

output_5_0

# k=3
mglearn.plots.plot_knn_regression(n_neighbors=3)

output_6_0

3 knn处理wave数据集

# 引入knn
from sklearn.neighbors import KNeighborsRegressor
from sklearn.model_selection import train_test_split
# 拆分训练集与测试集
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=0)

# 模型实例化，并将邻居个数设为3
reg = KNeighborsRegressor(n_neighbors=3)
# 用训练数据和训练目标来拟合模型
reg.fit(X_train,y_train)

KNeighborsRegressor(algorithm='auto', leaf_size=30, metric='minkowski',
          metric_params=None, n_jobs=None, n_neighbors=3, p=2,
          weights='uniform')

print("Test set predictions:{}".format(reg.predict(X_test)))

Test set predictions:[-0.05396539  0.35686046  1.13671923 -1.89415682 -1.13881398 -1.63113382
  0.35686046  0.91241374 -0.44680446 -1.13881398]

4 模型评估

• 对于回归问题，score方法返回的是R^2分数
• R^2分数也叫做决定系统，是回归模型预测的优度度量
• 位于0-1之间
• R^2=1，对应完美预测
• R^2=0，对应常数模型，即总是预测训练响应（y_train）的平均值

print("Test set R^2:{:.2f}".format(reg.score(X_test,y_test)))

Test set R^2:0.83

5 分析knn回归

fig, axes = plt.subplots(1,3,figsize=(15,4))
# 创建1000个点，在-3和3之间均匀分布
line = np.linspace(-3,3,1000).reshape(-1,1)
for n_neighbors,ax in zip([1,3,9],axes):
    reg = KNeighborsRegressor(n_neighbors=n_neighbors)
    reg.fit(X_train,y_train)
    ax.plot(line,reg.predict(line))
    ax.plot(X_train,y_train,'^',c=mglearn.cm2(0),markersize=8)
    ax.plot(X_test,y_test,'v',c=mglearn.cm2(1),markersize=8)
    ax.set_title(
        "{} neighbor(s)\n train score:{:.2f} \n test score:{:.2f}".format(
            n_neighbors,
            reg.score(X_train,y_train),
            reg.score(X_test,y_test)
        )
    )

output_14_0

从图中可以看出：

• k=1时，训练集中的每一个点都对预测结果有显著影响，预测结果的图像经过所有数据点。预测结果非常不稳定。（过拟合）
• k增大时，预测结果变更更加平滑，对训练数据的拟合也不好。