交叉验证是建立模型后进行参数调整和模型检验的一个步骤。本文就sklearn自带的鸢尾花数据集，进行基本的建模思路整理和交叉验证梳理。
注：
鸢尾花案例的背景是，通过已知（历史）花的数据和对应的分类，训练出模型结果，从而得到分类模型。
实现效果是可以预测鸢尾花的分类。
建立model的基本思路与步骤
- 首先，导入相应模块
- 下载数据集，定义好x/y
- 分割数据集
- 选择算法对训练集训练
- 预测分类结果
- 检验得分：交叉验证
- 首先，导入相应模块；
- 下载数据集，定义好x/y
import numpy as np
from sklearn import datasets
from sklearn.cross_validation import train_test_split #用于分割数据集
from sklearn.neighbors import KNeighborsClassifier #引入算法
iris=datasets.load_iris() #下载数据集
iris_X=iris.data #定义属性（x）
iris_y=iris.target #定义分类（y）
print(iris_X[:2,:]) #查看一下属性的前两行
print(iris_y) #查看分类
[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]]
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2]
-
分割数据集——将数据分为为训练集（70% train）和测试集（30% test）:trian_test_split()
-
选择算法对训练集训练——用knn算法对数据进行训练：knn.fit(X_train,y_train)
#分割数据集，同时对数据做乱序
X_train,X_test,y_train,y_test=train_test_split(iris_X,iris_y,test_size=0.3)
# print(y_train) #从这里可以看到，数字已经被打乱
knn=KNeighborsClassifier()
knn.fit(X_train,y_train)
[0 0 2 1 2 1 0 0 1 2 0 1 0 2 2 0 1 1 1 1 1 2 2 1 0 2 1 1 1 0 0 0 0 0 1 1 0
2 0 2 0 2 2 2 2 2 1 0 1 1 0 2 2 0 0 1 2 1 0 2 1 2 1 1 1 0 1 2 2 2 0 0 1 0
1 1 0 1 2 2 0 2 0 1 0 2 2 2 0 2 1 0 0 2 0 2 2 1 1 0 2 1 1 2 2]
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=1, n_neighbors=5, p=2,
weights='uniform')
- 预测分类结果——把测试集（test）代入训练得到的结果：knn.predict()
- 检验——对预测结果与实际数值进行效果对比（验证是否选用该模型。接下来引入交叉验证）
print(knn.predict(X_test))
print(y_test)
[1 1 1 1 2 2 2 1 2 2 2 0 0 0 2 1 1 1 2 2 1 2 2 0 0 0 1 0 0 0 0 1 1 1 2 1 2
0 1 1 0 2 0 2 0]
[1 1 1 1 2 2 2 1 2 1 2 0 0 0 2 1 1 1 2 2 1 2 2 0 0 0 1 0 0 0 0 1 1 1 2 1 2
0 1 2 0 2 0 2 0]
交叉验证
交叉验证的基本思想是在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。
而对一个数据集进行多次（cv）交叉验证，并对每一次的得分求平均得到最客观的评价分数可以作为最终评分。
因此，它的作用就是：用于参数调整和模型选择/评价。
用于模型选择——模型评价分的高低
from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
iris=load_iris()
X=iris.data
y=iris.target
X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=4)
knn=KNeighborsClassifier(n_neighbors=5)
# 表示考虑数据点附近5个点的值并综合，得到预测值
knn.fit(X_train,y_train)
print(knn.score(X_test,y_test)) #只做一次分组测试，打印准确率
0.9736842105263158
训练五次获得综合评价
from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
iris=load_iris()
X=iris.data
y=iris.target
from sklearn.cross_validation import cross_val_score
knn=KNeighborsClassifier(n_neighbors=5)
scores=cross_val_score(knn,X,y,cv=5,scoring='accuracy')
# 分成5组不同的训练&测试集；得分标准定位 准确度（分类模型通常以准确度为准）
print(scores.mean()) #综合五次训练得分的平均分
0.9733333333333334
该结果接近满分，说明模型分类效果较好。可以采用该模型。
用于调整参数
循环找到合适的k值
KNN算法中k值的大小，代表分类时考虑训练数据点周围的数据点的个数。不同的k的取值，分类结果不同。我们可以用循环的方法对k进行循环，根据不同k值对应的得分（上述交叉验证的评价得分）决定k的取值，从而确定最终的模型和模型评价。
- 用准确度评价
from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
iris=load_iris()
X=iris.data
y=iris.target
# X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=4)
# knn=KNeighborsClassifier(n_neighbors=5)
# knn.fit(X_train,y_train)
# print(knn.score(X_test,y_test))
# knn=KNeighborsClassifier(n_neighbors=5)
# scores=cross_val_score(knn,X,y,cv=5,scoring='accuracy') #分成5组
print(scores.mean()) #综合五次训练得分的平均分
from sklearn.cross_validation import cross_val_score
import matplotlib.pyplot as plt
k_range=range(1,31)
k_scores=[]
for k in k_range:
knn=KNeighborsClassifier(n_neighbors=k)
scores=cross_val_score(knn,X,y,cv=10,scoring='accuracy') #for classification 分类的评价用准确度
k_scores.append(scores.mean())
plt.plot(k_range,k_scores)
plt.xlabel('Value of K for KNN')
plt.ylabel('Cross_Validated Accuracy')
plt.show()
image.png
上图是以准确度为评价标准，k从1～31对应的score的值
这组数据选择12～18至间的数字会比较好。
from sklearn.datasets import load_iris
from sklearn.cross_validation import train_test_split
from sklearn.neighbors import KNeighborsClassifier
iris=load_iris()
X=iris.data
y=iris.target
from sklearn.cross_validation import cross_val_score
import matplotlib.pyplot as plt
k_range=range(1,31)
k_scores=[]
for k in k_range:
knn=KNeighborsClassifier(n_neighbors=k)
loss=-cross_val_score(knn,X,y,cv=10,scoring='neg_mean_squared_error') # for regression ，回归的评价用 平均方差
#scores=cross_val_score(knn,X,y,cv=10,scoring='accuracy') #for classification 对比regression发现，只有前面的负号和评分方式不同。
k_scores.append(loss.mean())
plt.plot(k_range,k_scores)
plt.xlabel('Value of K for KNN')
plt.ylabel('Cross_Validated Accuracy')
plt.show()
image.png
上图是用平均方差值来作为评价标准（越接近0说明拟合效果越好），k选择13~18是比较合适的。
（回归模型的评价一般用R^2 值来判断，R^2越接近1，也就是误差平方和越接近0，拟合效果越好）
上述两个不同评价标准下的数值是调参的过程，可以由此定下k的值，从而确定模型。
网友评论