现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习

K均值算法(K-means)聚类

聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。

K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。

K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于是就出现了我们的K-Means算法

image.gif

这个算法其实很简单，如下图所示：

image.jpeg

从上图中，我们可以看到，A，B，C，D，E是五个在图中点。而灰色的点是我们的种子点，也就是我们用来找点群的点。有两个种子点，所以K=2。

然后，K-Means的算法如下：

1. 随机在图中取K（这里K=2）个种子点。
2. 然后对图中的所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（上图中，我们可以看到A，B属于上面的种子点，C，D，E属于下面中部的种子点）
3. 接下来，我们要移动种子点到属于他的“点群”的中心。（见图上的第三步）
4. 然后重复第2）和第3）步，直到，种子点没有移动（我们可以看到图中的第四步上面的种子点聚合了A，B，C，下面的种子点聚合了D，E）。

这个算法很简单，重点说一下“求点群中心的算法”：欧氏距离（Euclidean Distance）：差的平方和的平方根

image.gif

下面通过一个例子来解释

#首先导入所需要的包
from sklearn.cluster import KMeans
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
%matplotlib inline
#通过sklearn.datasets中的make_blobs方法我们创建三类点
blobs = make_blobs()
data = blobs[0]
target = blobs[1]
# n_samples=产生多少个点, n_features=几个特征, centers=分成几类
#画出效果图,如图1
plt.scatter(data[:,0],data[:,1],c=target)

图1

kmeans = KMeans(n_clusters=3)
#训练数据
kmeans.fit(data)
#预计出结果
y_ = kmeans.predict(data)
#画出预测后的分类图
#获取每一类的中心点
center_point = kmeans.cluster_centers_
plt.scatter(data[:,0],data[:,1],c=y_)
plt.scatter(center_point[:,0],center_point[:,1],c=[1,2,3],s=200,alpha=0.6,cmap='rainbow')

image.png

可以看出我们没有给于预测数据所对应的预测值,而Kmeans却能将其分开