前言
因为是用sklearn来实现KNN算法，所以基本上只需要调用API就可以了，但是可以理解一个算法的基本流程。
基本内容
- 加载sklearn库中的数据
- 切分数据集
- 训练并评估
- 网格搜索
- 数据标准化
准备数据
sklearn中自带了一些数据集，可以使用这些数据集来进行练习，下面导入手写数字识别的数据集
from sklearn import datasets
digits = datasets.load_digits()
print(digits.keys())
#output:dict_keys(['data', 'DESCR', 'images', 'target', 'target_names'])
导入数据集后，数据集类似于字典，可以通过“点”操作符获得它相应的值，一般用到的也就是“data”和“target”两个键来获得数据的特征矩阵和标签向量：
X = digits.data
y = digits.target
切分
一般为了更好的泛化能力，都将数据集切分为训练集和测试集，训练集用来训练得到模型，然后用测试集来测试这个模型的性能
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
不成文规定，矩阵大写，向量小写
训练并评估
在sklearn中这一部分十分简单，只需要将对应的模型实例化，然后fit训练集上的数据，再在测试集上调用score方法就可以进行评估了
from sklearn.neighbors import KNeighborsClassifier
knn_clf = KNeighborsClassifier()
knn_clf.fit(X_train, y_train)
knn_clf.score(X_test, y_test) #得分0.975
网格搜索超参数
在实例化模型的时候，不指定参数的话，使用的是默认的值，其实K近邻模型中有几个参数值得注意：
- n_neighbors：整数，默认为5，决定考虑几个点来投票
- weights：投票时是否考虑距离的远近，越近的权重越大
- p：整数，考虑使用哪种距离考量，默认值为2，即欧式距离
其实不只是这些参数，具体有哪些参数可以到官网去查看api，这些参数的值为多少时模型的表现最好呢？我们可以用网格搜索来查找参数最好的值
param_grid = [
{
'n_neighbors':[i for i in range(1, 10)],
'weights':['uniform', 'distance'],
'p':[i for i in range(1, 6)]
}
]
knn = KNeighborsClassifier()
from sklearn.model_selection import GridSearchCV
grid_search = GridSearchCV(knn, param_grid)
grid_search.fit(X_train, y_train)
搜索的时间比较长，自己的垃圾电脑用了差不多7分钟==
fit完之后，可以通过下面两个属性查看结果和分数：
grid.best_estimator_
# output:
'''
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=1, n_neighbors=7, p=3,
weights='uniform')
'''
grid.best_score_ #会输出最好的分数是多少
使用网格搜索的到参数的值，更新模型后评估得到果然提高了一点
数据标准化
stand = StandardScaler()
stand.fit(X_train)
X_train = stand.transform(X_train)
X_test_stand = stand.transform(X_test)
不知道为何标准化之后的数据的评分还降低了……
网友评论