美文网首页MAC + LINUX + VIM + GIT + Latex + Markdown
机器学习-k均值聚类算法代码笔记

机器学习-k均值聚类算法代码笔记

作者: LEONYao | 来源:发表于2017-02-08 21:16 被阅读248次

    最近在学机器学习,看了好多天书发现完全看不懂。然后就跟着敲代码,居然可以理解一点了。在代码上做笔记,好像理解得更多了。我把代码笔记po上来吧
    test.txt,数据集

        1.658985    4.285136  
        -3.453687   3.424321  
        4.838138    -1.151539  
        -5.379713   -3.362104  
        0.972564    2.924086  
        -3.567919   1.531611  
        0.450614    -3.302219  
        -3.487105   -1.724432  
        2.668759    1.594842  
        -3.156485   3.191137  
        3.165506    -3.999838  
        -2.786837   -3.099354  
        4.208187    2.984927  
        -2.123337   2.943366  
        0.704199    -0.479481  
        -0.392370   -3.963704  
        2.831667    1.574018  
        -0.790153   3.343144  
        2.943496    -3.357075  
        -3.195883   -2.283926  
        2.336445    2.875106  
        -1.786345   2.554248  
        2.190101    -1.906020  
        -3.403367   -2.778288  
        1.778124    3.880832  
        -1.688346   2.230267  
        2.592976    -2.054368  
        -4.007257   -3.207066  
        2.257734    3.387564  
        -2.679011   0.785119  
        0.939512    -4.023563  
        -3.674424   -2.261084  
        2.046259    2.735279  
        -3.189470   1.780269  
        4.372646    -0.822248  
        -2.579316   -3.497576  
        1.889034    5.190400  
        -0.798747   2.185588  
        2.836520    -2.658556  
        -3.837877   -3.253815  
        2.096701    3.886007  
        -2.709034   2.923887  
        3.367037    -3.184789  
        -2.121479   -4.232586  
        2.329546    3.179764  
        -3.284816   3.273099  
        3.091414    -3.815232  
        -3.762093   -2.432191  
        3.542056    2.778832  
        -1.736822   4.241041  
        2.127073    -2.983680  
        -4.323818   -3.938116  
        3.792121    5.135768  
        -4.786473   3.358547  
        2.624081    -3.260715  
        -4.009299   -2.978115  
        2.493525    1.963710  
        -2.513661   2.642162  
        1.864375    -3.176309  
        -3.171184   -3.572452  
        2.894220    2.489128  
        -2.562539   2.884438  
        3.491078    -3.947487  
        -2.565729   -2.012114  
        3.332948    3.983102  
        -1.616805   3.573188  
        2.280615    -2.559444  
        -2.651229   -3.103198  
        2.321395    3.154987  
        -1.685703   2.939697  
        3.031012    -3.620252  
        -4.599622   -2.185829  
        4.196223    1.126677  
        -2.133863   3.093686  
        4.668892    -2.562705  
        -2.793241   -2.149706  
        2.884105    3.043438  
        -2.967647   2.848696  
        4.479332    -1.764772  
        -4.905566   -2.911070  
    

    k-means.py

    from numpy import *
    import math
    import matplotlib.pyplot as plt
    
    def loadDataSet(filename):
        fr = open(filename)
        lines = fr.readlines()
        dataMat = []
        for line in lines:
            result = line.strip().split('   ')
            fltline = map(float,result)
            dataMat.append(fltline)
        return dataMat
    
    def distEclud(vecA,vecB):
        return sqrt(sum(power(vecA-vecB,2)))#欧式距离
    
    def randCent(dataSet,k):
        n = shape(dataSet)[1]#n=列数
        
        centroids = mat(zeros((k,n)))
        for j in range(n):
            minJ = min(dataSet[:,j])#一列中最小的值
            rangeJ = float(max(dataSet[:,j])-minJ)#一列中最大减去最小,取差值
            centroids[:,j] = minJ + rangeJ*random.rand(k,1)#最小值加上(差值*(0,1))把聚类点控制在范围之内
        return centroids
    
    def kMeans(dataSet,k,distMeas = distEclud,creatCent = randCent):
        m = shape(dataSet)[0] 
        clusterAssment = mat(zeros((m,2)))# 建立80个簇分配结果矩阵,第一列存索引,第二列存距离值
        centroids = creatCent(dataSet,k)#建立聚类点,k个聚类点
        clusterChanged = True#如果簇有改变,则为真
        while clusterChanged:#循环
            clusterChanged = False
            for i in range(m):
                minDist = inf
                minIndex = -1
                for j in range(k):
                    distJI = distMeas(centroids[j,:],dataSet[i,:])#计算聚类点与数据点距离,k个centroids与80个数据样本进行比较
                    #k为2时候,dataSet有80行数据。每一行dataSet都与centroids[0],centroids[1]进行比较取距离最小值,标记为一个簇
                    if distJI < minDist:
                        minDist = distJI#取最小值
                        minIndex = j
                if clusterAssment[i,0] != minIndex:#对比索引,如果簇是最小值,则停止更新了
                    clusterChanged = True
                clusterAssment[i,:] = minIndex,minDist**2#存最新簇
            for cent in range(k):
                    ptsInClust = []
     
                    ptsInClust = dataSet[nonzero(clusterAssment[:,0].A== cent)[0]] # nonzeros(a==k)返回数组a中值不为k的元素的下标
                    centroids[cent,:] = mean(ptsInClust,axis=0)
                    #for j in range(m):
                        #if clusterAssment[j,0]==cent: clusterAssment的第一列为index,与cent进行比较,相同则为同一簇。80行clusterAssment与cent比较
                          #ptsInClust.append(dataSet[j].tolist()[0])
                    #ptsInClust = mat(ptsInClust)
        return centroids,clusterAssment
    
    
    
    

    然后直接进行测试吧

    由于我使用的是ipython notebook 所以下面的代码不需要import任何东西了

    dataMat =mat(loadDataSet('test.txt'))
    myCentroids,clustAssment = kMeans(dataMat,2)
    
    
    plt.figure(2) #创建图表2
    
    ax3 = plt.subplot() # 图表2中创建子图1
    plt.title("biK-means Scatter")
    plt.xlabel('x')
    plt.ylabel('y')
    
    ax3.scatter(dataMat[:,0],dataMat[:,1],color='b',marker='o',s=100)
    #plt.scatter(x, y, s=area, c=colors, alpha=0.5)
    ax3.scatter(myCentroids[:,0],myCentroids[:,1],color='r',marker='o',s=200,label='Cluster & K=2')
    
    
    #显示label位置的函数
    
    ax3.legend(loc='upper right')
    plt.show()
    
    index.png
    思路整理一下
    数据集有80行坐标,建立k个点,这里我默认两个聚类点
    两个聚类点,每个都要与80行坐标进行距离比较,取最小值minDist以及索引minIndex
    然后接下来的
    if clusterAssment[i,0] != minIndex:
        clusterChanged
    如果不是同一簇,簇变动为真。这一行有点费解,分析一下:
    初始化的簇分配矩阵是80行2列,值全为0的矩阵。80行都要重新分配结果,区分簇。如果某一行索引不等于最小值索引,那就是还没有进行分配。
    这个while循环系统,是在进行六次以后停止的。我前面的分析被推翻了。
    为什么簇会改变呢?
    终于想通了!下面的聚类点centroids是通过计算均值而变化得出的。而distJI距离是通过聚类点与80行坐标进行比较得出的。
    初始的聚类点centroids是随机产生,然后它每次都会更新,产生新的minDist,minIndex。
    新的minIndex会与上次循环形成的簇clusterAssment的Index比较,
    不是同一个簇就会clusterChanged为真,让循环继续,直到新的minIndex与上一轮的一样,则停止循环。
    
    80行坐标,每一行都存入两个聚类点比较之后的最小值以及索引,通过索引区分不同的簇。
    
    
    

    相关文章

      网友评论

        本文标题:机器学习-k均值聚类算法代码笔记

        本文链接:https://www.haomeiwen.com/subject/ptmbittx.html