python利用pandas、matplotlib和wordcl

开发环境还是和之前一样，需要安装pandas，numpy，matplotlib，scipy，jieba, wordcloud库，安装方法可以自行百度。

转载请注明地址：python利用pandas、matplotlib和wordcloud做数据分析
分析结果: 用python对鹿晗微博进行数据分析

首先介绍两个自己写的函数，下面会用到，一个是分词，另一个是返回一个dataframe的函数

def cut_zh(self, sql, cut=False):
    with connect() as cur:
        cur.execute(sql)
        result = cur.fetchall()
        words = map(lambda word: word[0], result)
        words = list(words)
    if cut:
        pattern = re.compile(r'[\u4e00-\u9fa5_a-zA-Z0-9]+')
        words = re.findall(pattern, str(result))
        words = ' '.join(words)
        jieba.load_userdict("source/dict.txt")
        words = jieba.cut(words)
        words = filter(lambda word: word != ' ', words)
        words = list(words)
    return words

• 先连接数据库，查找到需要的数据，并把数据返回一个list列表。
• 正则表达式提取汉字英文数字。
• 判断如果是汉字，可以用jieba进行分词。jieba官方文档
• 最后返回也是一个list列表。

---

def make_df(self, words, stopword=None):
    my_df = pd.DataFrame({'segment': words})
    if stopword:
        stopwords = pd.read_csv(stopword, names=['stopword'],
                                encoding='utf-8')
        my_df = my_df[~my_df.segment.isin(stopwords.stopword)]
        my_df = my_df.groupby(['segment'])['segment'].agg({'count': np.size})
        my_df = my_df.reset_index().sort_values(['count'], ascending=False)
    return my_df

• 通过上一个函数返回的list，把他进行词频统计并返回一个dataframe。
• stopword是停用词，一个txt文本文件，比如stopword = + 'source/com.txt'，这个文件里面有一些没用的词，比如 这些 ，那么 ， 嗯，啊，哦，把这些字写在里面，分析的时候就会排除。
• 剩下的两个函数就是计算每个词出现的次数，并且重新排列。

---

1. 制作词云

def draw_wc(self, words, stopword=None, title=''):
    if stopword:
        data = self.make_df(words, stopword)
    else:
        data = self.make_df(words)
    bg_pic = imread('source/luhan.jpg')
    wordcloud = WordCloud(background_color='black', max_font_size=110,
                          mask=bg_pic, min_font_size=10, mode='RGBA',
                          font_path='source/simhei.ttf')
    word_frequence = {x[0]: x[1] for x in data.values}
    wordcloud = wordcloud.fit_words(word_frequence)
    plt.title(title, fontsize=16)
    plt.imshow(wordcloud)
    plt.axis("off")
    plt.show()

• 参数首先只看words，就是需要准备好的数据，然后把数据转换成dataframe格式。
• bg_pic 是制作词云的背景图，可以自己上传。
• 初始化一个WordCloud对象，具体参数意义参考这里：wordcloud文档
• word_frequence 是统计词的一组字典，就是下面一个函数的参数。
• 通过fit_fitwords函数展示已经分好的词频。（还有另外两个函数，可以在文档中查看）
• 下面的代码就是用plot显示的过程了

---

先贴一下matplotlib官方文档，详细的参数在这里都有解释

2. 制作饼图

def draw_pie(self, words, stopword=None, title=''):
    if stopword:
        data = self.make_df(words, stopword)
    else:
        data = self.make_df(words)
    data = data[0:10].values
    x = [count[1] for count in data]
    y = [name[0] for name in data]
    expl = list(0 for i in range(len(x)))
    expl[0] = 0.1
    plt.title(title, fontsize=16)
    plt.pie(x, labels=y, autopct='%1.0f%%', pctdistance=0.8, shadow=True,
            startangle=60, explode=expl)
    plt.axis('equal')
    plt.legend()
    plt.show()

• 前四行判断用不用停用词，和之前一样。
• 由于饼图只考虑前几条数据，所以筛选前十个。
• x是从df里选择的每个词出现的次数那一列。
• y则是标签那一列。
• expl是一个列表，用于pie的参数，比如[1,0,0,0,0]，表示饼图分成五份，第一个图分割出来。（视觉效果，不写也可以，列表数量一定要和数据数量一样）
• 下面的详细参数可以参考文档。

---

3. 制作柱状图

def draw_bar(self, words, stopword=None, title=''):
    if stopword:
        data = self.make_df(words, stopword)
    else:
        data = self.make_df(words)
    data = data[0:30].values
    x = range(len(data))
    y = [count[1] for count in data]
    label = [name[0] for name in data]
    plt.bar(x, y, tick_label=label, color='rgbycmk', alpha=0.3)
    plt.xticks(rotation=30)
    plt.title(title, fontsize=16)
    for a, b in zip(x, y):
        plt.text(a, b+0.05, '%.0f' % b, ha='center', fontsize=10)
    plt.show()

• 和饼图差不多，x是数据有多少组，也就是有多少个柱。y是每个数据的词频（相当于y轴的值)，label是数据的名字。
• for循环是在每一个柱上面显示标签值，zip(x, y)是生成每一个的坐标。

def draw_barh(self, words, stopword=None, title=''):
    if stopword:
        data = self.make_df(words, stopword)
    else:
        data = self.make_df(words)
    data = data[0:30].values
    x = range(len(data))
    y = [count[1] for count in data]
    label = [name[0] for name in data]
    plt.barh(x, y, tick_label=label, color='rgbycmk', alpha=0.2)
    plt.title(title, fontsize=16)
    plt.xlabel('人数', fontsize=12)
    for a, b in zip(x, y):
        plt.text(b, a, '%.0f' % b, ha='left', va='center', fontsize=10)
    plt.show()

• 横向柱状图，和柱状图大同小异。注意x，y坐标就可以。

---

折线图

def draw_plot_birth(self, words, stopword=None, title=''):
    if stopword:
        data = self.make_df(words, stopword)
    else:
        data = self.make_df(words)
    x_sort = data.sort_values('segment').values[42:110]
    x = range(len(x_sort))
    y = [name[1] for name in x_sort]
    plt.plot(x, y, 'b--')
    plt.title(title)
    plt.xlabel('年份', fontsize=14)
    plt.ylabel('数量', fontsize=14)
    plt.xticks(x, [i[0] for i in x_sort], rotation=90)
    plt.show()

• 这个折线图按月份排序，而不是按词频。x_sort可以改变排序方式
• xticks是x轴的标签名。