knn是一种分类算法。使用knn需要一堆有标签的数据集，数据集记录了每个样本的每个特征，特征的值和它的标签。举个例子：

这里特征就是打斗镜头，接吻镜头，下面记录了这些特征的数值。标签就是指的电影类型。

于是我们就可以把这些数据向量化成[[3, 104], [2, 100], [1, 81], [101, 10], [99, 5], [98, 2]]的形式。

这时候对于一个新的数据[?, ?]，我们要对其进行类别的判定：

1. 首先计算这个新数据同数据集中每个样本的向量之间的距离，一般采用欧式距离：。
2. 然后将这个距离从小到大排序
3. 接着截取前k个距离近的，统计这k个样本属于哪个标签。根据统计结果，我们给出大概的判断

一个简单的代码

from numpy import *

def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', "B"]
    return group, labels

def classify(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]  # 数据集大小

    # tile: 将输入向量的第一维复制dataSetSize次，第二维不变
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  # [dataSetSize, 2]

    # 欧式距离 [dataSetSize]
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)  # 对第一个维度求和
    distances = sqDistances**0.5
    print(distances)  # [0.82462113 0.72801099 0.85440037 0.82462113]
    sortedDistIndicies = distances.argsort()  # 升序排序后的索引
    print(sortedDistIndicies)  # [1 0 3 2]
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=lambda x: x[1], reverse=True)
    print(sortedClassCount)  # [('A', 2), ('B', 1)]
    return sortedClassCount[0][0]

dataSet, labels = createDataSet()
classify([0.8, 0.3], dataSet, labels, 3)

python3.6环境下

归一化

有时候某个特征的值太大，会掩盖其他特征对结果的影响，对于这些特征的值，我们进行一个处理，使它处于0-1之间：