sklearn的高斯混合模型GMM与Kmeans的实现

Scikit-learn是基于numpy和scipy的一个机器学习算法库，包含很多监督学习，非监督学习一级半监督学习的算法。同时也包括数据特征提取，数据清洗等的一些功能。从功能来分，有以下几个：分类Classification, 回归Regression, 聚类Clustering, 维度降低Dimensionality Reduction, 模型选择Model Selection 和 预处理Preprocessing.

高斯混合模型GMM和KMeans都是聚类算法，其中GMM利用高斯概率密度函数来量化事物，将事物分解为若干高斯分布的模型。将观测点数据及的分布，看做多个单一的高斯分布模型进行混合，每一个component就是一个聚类的中心。

WechatIMG18.jpeg

KMeans就是将输入的数据分为k类。首先随机确定k个中心点，根据所有观测点与中心点之间的距离，将观测点分为不同的类。再根据新的Cluster计算新的中心点，并且重新归类。循环直到中心点的位置不再有变化。

WechatIMG17.jpeg

以下是所有程序的代码：
首先导入Excel文件的数据：

# Open excel file
workbook = xlrd.open_workbook('DATA.xlsx')
# Choose sheets 1
sheet1 = workbook.sheet_by_name('Sheet1')
# Get Data Sets
numRow = sheet1.nrows
numCol = sheet1.ncols
x = np.zeros((numRow, numCol))
for i in range(sheet1.nrows):
    if i == 0:
        continue
    else:
        x[i][0] = (sheet1.row_values(i)[0])
        x[i][1] = (sheet1.row_values(i)[1])

利用KMeans进行拟合:

kmeans = KMeans(n_clusters=5, max_iter=300, n_init=10, init='k-means++', random_state=0)
y_kmeans = kmeans.fit_predict(x)

for i in range(1,len(y_kmeans)):
    if y_kmeans[i] == 0:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='red')
    elif y_kmeans[i] == 1:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='blue')
    elif y_kmeans[i] == 2:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='green')
    elif y_kmeans[i] == 3:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='cyan')
    elif y_kmeans[i] == 4:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='magenta')
print(kmeans.cluster_centers_)
plt.scatter(kmeans.cluster_centers_[:,0], kmeans.cluster_centers_[:,1], s = 30, c = 'yellow', label = 'Centroids')
plt.title('K-Means Clusters  K = 5')
plt.xlabel('x')
plt.ylabel('y')
plt.legend()
plt.show()

利用GMM进行拟合：

gmmModel = GaussianMixture(n_components=5, covariance_type='diag', random_state=0)
gmmModel.fit(x)
labels = gmmModel.predict(x)
print(labels)
for i in range(1,len(labels)):
    if labels[i] == 0:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='red')
    elif labels[i] == 1:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='blue')
    elif labels[i] == 2:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='green')
    elif labels[i] == 3:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='cyan')
    elif labels[i] == 4:
        plt.scatter(x[i, 0], x[i, 1], s=15, c='magenta')
plt.title('Gaussian Mixture Model')
plt.xlabel('x')
plt.ylabel('y')
plt.show()
print(gmmModel.means_)
print(gmmModel.covariances_)