sklearn的各种聚类算法使用教程

编程环境：

anaconda + Spyder
Win10 + python3.6
完整代码及数据已经更新至GitHub,欢迎fork~GitHub链接

---

声明：创作不易，未经授权不得复制转载
statement:No reprinting without authorization

---

内容概述：

• 测试sklearn中以下聚类算法在tweets数据集上的聚类效果
• 使用NMI(Normalized Mutual Information)作为评价指标
• sklearn聚类资料链接

一、sklearn提供的各种聚类方法简介：

image.png
其中各种方法的原理实现可以查看Sklearn的官方文档，不再赘诉。链接如下：
https://scikit-learn.org/stable/modules/clustering.html#

二、对tweet数据集的简单处理：

根据每条推特都有很整齐的格式，可以简单处理出需要的tweet内容文字和true_label，具体实现函数如下：
处理后得到

• ground_truth #每条推特的正确聚类标签[37,5,8,58......]
• tweets_list #处理过的推特内容列表[推特内容1，内容2，......]。

def token(line):    
    index = line.index(",")
    Text = line[10:index-1]
    cluNumber = line[index+12:-2]
    return (Text,cluNumber)

def tweets_process():
    global ground_truth,tweets_list
    print("tweets processing...")
    f = open(r"C:\Users\93568\Documents\GitHub\DataMining\work5Clustering with sklearn\data\Homework5Tweets.txt")  
    lines = f.readlines()#读取全部内容    
    for line in lines:       
        (text,cluNumber) = token(line)      
        number = int(cluNumber)
        tweets_list.append(text)
        ground_truth.append(number)

三、将tweet表示为tfidf的矩阵：

利用python提供的特征提取的工具包：

from sklearn.feature_extraction.text import  TfidfVectorizer

def get_tfidf_matrix():
    global tfidf_matrix,tweets_list
    tfidf_vectorizer = TfidfVectorizer(tokenizer=token_split, lowercase=True)
    '''
    tokenizer: 指定分词函数
    lowercase: 在分词之前将所有的文本转换成小写，因为涉及到中文文本处理，
    所以最好是False,本tweet数据集已经全是小写可设为True
    '''    
    #tfidf_matrix = tfidf_vectorizer.fit_transform(tweets_list)
    #上面一行代码等价于下面两行代码
    tfidf_vectorizer.fit(tweets_list)
    tfidf_matrix = tfidf_vectorizer.transform(tweets_list)
#    joblib.dump(tfidf_matrix, 'tfidf_matrix.pkl')
#    tfidf_matrix = joblib.load('tfidf_matrix.pkl')

四、运行结果及一些问题：

（1）KMeans:

max_iter=200, n_init=20， init='k-means++'：

#####

（2） AffinityPropagation：

image.png

（3） MeanShift：

开始输入相同的tfidf矩阵时出现
TypeError: A sparse matrix was passed, but dense data is required. Use X.toarray() to convert to a dense numpy array.（使用toarray()/todense()后结果如下：）

image.png
可能是密度质心的方法对于高维数据结果很差,输出的标签结果都是0: image.png

（4）DBSCN：

没有进行调参，默认参数运行结果如下：

image.png

（5）SpectralClustering、ward hierarchical clustering、AgglomerativeClustering、Birch：

image.png

（6）Gaussian mixtures：略…