2.2.1.1K均值算法

2.2无监督学习

着重于发现数据本身的分布特点。与监督学习不同，无监督学习不需要对数据进行标记。这样，在节省大量人工的同时，也让可以利用的数据规模变得不可限量。

2.2.1数据聚类

数据聚类是无监督学习的主流应用之一。最为经典并且易用的聚类模型，当属K均值（K-means）算法。该算法要求我们预先设定聚类的个数，然后不断更新聚类中心；经过几轮这样的迭代，最后的目标就是要让所有数据点到其所属聚类中心距离的平方和趋于稳定。

2.2.1.1K均值算法

模型介绍：这是在数据聚类中最经典的，也是相对容易理解的模型。算法执行的过程分为4个阶段：1.首先，随机布设K个特征空间内的点作为初始的聚类中心；2.然后，对于根据每个数据的特征向量，从K个聚类中心寻找距离最近的一个，并且把该数据标记为从属于这个聚类中心；3.接着，在所有的数据都被标记过聚类中心之后，根据这些数据新分配的类簇，重新对K个聚类中心做计算；4.如果一轮下来，所有的数据点从属的聚类中心与上一次的分配的类簇没有变化，那么迭代可以停止；否则回到步骤2继续循环。

数据描述

完整的手写体数字图像分为两个数据集合。其中，训练数据样本3823条，测试数据1797条；图像数据通过8*8的像素矩阵表示，共有64个像素维度；1个目标维度用来标记每个图像样本代表的数字类别。该数据没有缺失的特征值，并且无论是训练还是测试样本，在数字类别方面都采样得非常平均，是一份非常规整的数据集。

K-means算法在手写体数字图像数据上的使用示例

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

digits_train=pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tra',header=None)
digits_test=pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tes',header=None)

#从训练与测试数据集上都分离出64维度的像素特征与1维度的数字目标
X_train=digits_train[np.arange(64)]#64个属性值 
y_train=digits_train[64]#一个结果值 

X_test=digits_test[np.arange(64)]
y_test=digits_test[64]

from sklearn.cluster import KMeans
#初始化kmeans模型，并设置聚类中心数量为10
kmeans=KMeans(n_clusters=10)
kmeans.fit(X_train)
#逐条判断每个测试图像所属的聚类中心
y_pred=kmeans.predict(X_test)

性能测评：
（1）如果被用来评估的数据本身带有正确的类别信息，那么就使用ARI指标。ARI指标与分类问题中计算准确性的方法类似，同时也兼顾了类簇无法和分类标记一一对应的问题。

使用ARI进行K-means聚类性能评估

from sklearn import metrics
#使用ARI进行KMeans聚类性能评估
print(metrics.adjusted_rand_score(y_test,y_pred))

0.666827986204

(2)如果被用于评估的数据没有所属类别，那么我们习惯使用轮廓系数来度量聚类结果的质量。轮廓系数同时兼顾了聚类的凝聚度和分离度，用于评估聚类的效果并且取值范围为【-1，1】.轮廓系数越大，表示聚类效果越好。

利用轮廓系数评价不同类簇数量的K-means聚类实例

import numpy as np
from sklearn.cluster import KMeans
#从sklearn.metrics 导入 silhouette_score 用于计算轮廓系数
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt

#分割出3*2=6个子图，并在1号子图作图
plt.subplot(3,2,1)
#初始化原始数据点
x1=np.array([1,2,3,1,5,6,5,5,6,7,8,9,7,9])
x2=np.array([1,3,2,2,8,6,7,6,7,1,2,1,1,3])
X = np.array(list(zip(x1, x2))).reshape(len(x1), 2)#zip(x1, x2)的意思就是拼接起来变成一个坐标。 

#在1号子图做出原始数据点阵的分布
plt.xlim([0,10])
plt.ylim([0,10])
plt.title('Instances')
plt.scatter(x1,x2)

colors=['b','g','r','c','m','y','k','b']
markers=['o','s','D','v','^','p','*','+']

clusters=[2,3,4,5,8]#这里就是分成几类的意思
subplot_counter=1
sc_scores=[]

for t in clusters:#t表示上面list中的某个参数的具体值 
    subplot_counter += 1
    plt.subplot(3,2,subplot_counter)
    kmeans_model=KMeans(n_clusters=t).fit(X)#表示将数据集X，分成t类 
    #kmeans_model.labels_:每个点对应的标签值;i和l都是标记，一个用来指代坐标值，一个用来指代颜色和标记。
    for i,l in enumerate(kmeans_model.labels_):
        plt.plot(x1[i],x2[i],color=colors[l],marker=markers[l],ls='None')
    plt.xlim([0,10])
    plt.ylim([0,10])
    sc_score=silhouette_score(X,kmeans_model.labels_,metric='euclidean')
    sc_scores.append(sc_score)
    #绘制轮廓系数与不同类簇数量的直观图
    plt.title('K = %s, silhouette coefficient= %0.03f' %(t, sc_score))

#绘制轮廓系数与不同类簇数量的关系曲线
plt.figure()
plt.plot(clusters,sc_scores,'*-')#用*标注点
plt.xlabel('Number of Clusters')
plt.ylabel('Silhouette Coefficient Score')
plt.show()

当聚类中心数量为3的时候，轮廓系数最大；此时我们也可以从图中观察到聚类中心数量为3也符合数据的分布特点，的确是相对较为合理的类簇数量。

特点分析：K-means聚类模型所采用的迭代式算法，直观易懂并且非常实用。只是有两大缺陷：（1）容易收敛到局部最优解；（2）需要预先设定簇的数量。
局部最优解指K-means算法无法保证能够使得三个类簇的中心迭代至全局最优解。相反很有可能受到随机初始类簇中心点位置的影响，最终迭代到右侧Local Optimum所示的两种情况而收敛。这样便导致无法继续更新聚类中心，使得聚类结果与正确结果又很大出入。这是算法自身的理论缺陷所造成的，无法轻易地从模型设计上弥补；却可以通过执行多次K-means算法来挑选性能表现更好地初始中心点，这样的工程方法代替。

然后，我们介绍一种“肘部”观察法用于粗略地预估相对合理的类簇个数。因为K-means模型最终期望所有数据点到其所属的类簇距离的平方和趋于稳定，所以我们可以通过观察这个数值随着K的走势来找出最佳的类簇数量。理想条件下，这个折线在不断下降并且趋于平缓的过程中会有斜率的拐点，同时意味着从这个拐点对应的K值开始，类簇中心的增加不会过于破坏数据聚类的结构。

“肘部”观察法示例

import numpy as np
from sklearn.cluster import KMeans
from scipy.spatial.distance import cdist
import matplotlib.pyplot as plt

#使用均匀分布函数随机三个簇，每个簇周围10个数据样本
cluster1=np.random.uniform(0.5,1.5,(2,10))#表示产生随机范围在[0.5, 1.5)之间的数据，2行10列
cluster2=np.random.uniform(5.5,6.5,(2,10))
cluster3=np.random.uniform(3.0,4.0,(2,10))

#绘制30个数据样本的分布图像
X=np.hstack((cluster1,cluster2,cluster3)).T#hstack用来串行连接3个数组
plt.scatter(X[:,0],X[:,1])#X[:,0]取得X中的第一列数据，X[:,1]取得X中的第二列数据
plt.xlabel('x1')
plt.ylabel('x2')
plt.show()

#测试9种不同聚类中心数量下，每种情况的聚类质量，并作图。
K=range(1,10)
meandistortions=[]

for k in K:
    kmeans=KMeans(n_clusters=k)
    kmeans.fit(X)
    meandistortions.append(sum(np.min(cdist(X,kmeans.cluster_centers_,'euclidean'),axis=1))/X.shape[0])
    #cdist来自scipy，用来计算距离，这里特别代指欧氏距离。d=cdist(X,Y,'euclidean')假设X有M个元素，Y有N个元素，最终会生成M行N列的array，用来计算X、Y中每个相对元素之间的欧拉距离；numpy.min(d,axis=1) 如果d为m行n列，axis=0时会输出每一列的最小值，axis=1会输出每一行最小值；sum(np.min(cdist(X,kmeans.cluster_centers_,'euclidean'),axis=1))/X.shape[0] 求出平均畸变程度；

plt.plot(K,meandistortions,'bx-')
plt.xlabel('k')
plt.ylabel('Average Dispersion')
plt.title('Selecting k with the Elbow Method')
plt.show()

类簇数量为1或2时，样本距所属类簇的平均距离的下降速度很快，这说明更改K值会让整体聚类结构有很大改变，也意味着新的聚类数量让算法有更大的收敛空间，这样的K值不能反映真实的类簇数量。而当K=3时，平均距离的下降速度有了显著放缓，这意味着进一步增加K值不再会有利于算法的收敛，也同时暗示着K=3是相对最佳的类簇数量。