机器学习实战—— kNN.py学习笔记

k-近邻算法学习笔记：

from numpy import *
import operator


def create_data_set():
    """ 
    
    生成数据
    
    """

    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels


def classify0(inX, dataSet, labels, k):
    """
    
    k-相邻算法：
    ---------
    labels的元素数目必须和矩阵dataSet的行数相等
    
    使用欧氏距离公式：
    --------------
    d = 」(xA0 - xB0 )**2 +  (xA1 -  xB1 )**2
    
    :param inX: 用于分类的输出向量
    :param dataSet: 输入的训练样本集
    :param labels: 标签向量
    :param k: 选择最近邻居的数量
    :return: 
    
    """

    # >>> a = np.array([0, 1, 2])
    # >>> b = np.tile(a, (2, 1))
    # >>> b = array([[0,1,2],[0,1,2]])
    # >>> b.shape[0]
    # >>> 2
    data_set_size = dataSet.shape[0]

    # 距离计算
    # -------
    # **为幂运算，优先级为右结合
    # 2**2**3 --> 2**(2**3) --> 2**8 --> 256

    # >>> a = np.array([0, 1, 2])
    # >>> np.tile(a, 2)
    # >>> array([0,1,2,0,1,2])                      一维数组
    # >>> np.tile(a, (1, 2))
    # >>> array([[0,1,2,0,1,2]])
    # >>> np.tile(a, (2, 1))
    # >>> array([[0,1,2],[0,1,2]])                  二维数组
    # >>> np.tile(a, (2, 1, 2))
    # >>> array([[[0,1,2,0,1,2]],[0,1,2,0,1,2]])    三维数组

    # diff_mat得到的结果为  [(xA0 - xB0 ) , (xA1 -  xB1 )]
    diff_mat = tile(inX, (data_set_size, 1)) - dataSet

    # sq_diff_mat得到的结果为 [(xA0 - xB0 )**2 , (xA1 -  xB1 )**2]
    sq_diff_mat = diff_mat**2

    # sq_distances 得到的结果为 [(xA0 - xB0 )**2 + (xA1 -  xB1 )**2, ...]
    sq_distances = sq_diff_mat.sum(axis=1)

    # distances 得到的结果为 sq_distances 开根
    distances = sq_distances**0.5

    # argsort()返回的是数组值从小到大的索引值
    # 得到的是距离给定点由近到远其他点的排序。
    # >>> [ 1.48660687 , 1.41421356 , 0.      ,    0.1       ]
    # >>> [2 3 1 0]
    sorted_dist_indicties = distances.argsort()
    class_count = {}

    # 选择距离最小的k个点
    for i in range(k):
        # vote_i_label 得到的是距离该点最近的点的所属分类
        vote_i_label = labels[sorted_dist_indicties[i]]

        # 统计分类的出现次数
        class_count[vote_i_label] = class_count.get(vote_i_label, 0) + 1
    sorted_class_count = sorted(class_count.items(), key=operator.itemgetter(1), reverse=True)
    return sorted_class_count[0][0]