01 目标

场景：又到一年年底，大家辛辛苦苦给公司干了一整年，相信大家比较关心的是今年公司「年终奖」奖励方案。

和往年不一样，今年经历了资本HD、裁Y潮，很多公司发的年终奖比例少了很多或者干脆选择不发。

今天是要抓取知识星球的一篇关于「年终奖」帖子，获取到所有球友的留言信息，然后使用「 jieba 」拆分成词语，最后使用「 wordcloud 」生成词云。

02 准备工作

首先，在 PC 上配置好「 mitmproxy 」环境，手机上配置好证书，PC 和手机保证在同一个局域网内。

另外，需要保证已经在虚拟环境下安装必要的库。

# 分词库
pip3 install jieba

# 词云
pip3 install wordcloud

然后，新建一个脚本文件「 nzj.py 」来拦截 APP 段的请求，对获取到的响应做其他处理。使用 mitmproxy下的「 mitmdump 」组件启动监听程序。

$ mitmdump -s nzj.py
Loading script nzj.pyProxy 
server listening at http://*:8080

03 爬取思路

我们首先打开知识星球的这篇帖子。

image

重写「 response(flow) 」方法，解析内容获取到评论内容，写入到文本中。

def response(flow):
    request = flow.request
    response = flow.response

    # 请求的地址
    request_url = request.url
    # 筛选
    if 'comments' in request_url and 'zsxq' in request_url:
        # 返回的内容
        response_content = response.content.decode('utf-8')
        comments = json.loads(response_content)['resp_data']['comments']

        # 最后一页
        if len(comments) == 0:
            print('一共有%d个球友发表了自己的看法' % comment_count)
        else:
            comment_count += len(comments)
            for comment in comments:
                comment_content = comment['text']
                with open(filename, 'a') as f:
                    f.write(comment_content + '\n')

滚动屏幕，直达加载完所有所有球友的评论数据，并保存到文件中。可以看到一共有「 228 」个球友针对今年公司年终奖发表了自己的看法。

image

然后使用 wordcloud 读取文本内容，生成词云图片并保存到本地，头图就是最后获取到的结果。

代码非常简单，就直接上代码了。

def generate_word_cloud():
    """
    生成词云
    :return:
    """
    with open(filename, 'r') as f:
        word_content = f.read()

        # 使用jieba去分割
        wordlist = jieba.cut(word_content, cut_all=True)

        wl_space_split = " ".join(wordlist)

        font = r'/Users/xingag/Library/Fonts/SimHei.ttf'

        wordcloud = WordCloud(font_path=font, width=1080, height=1920, margin=2).generate(wl_space_split)

        # 显示图片
        plt.imshow(wordcloud)
        plt.axis("off")

        # 按照设置保存到本地文件夹
        wordcloud.to_file("./output.png")

本文首发于公众号「 AirPython 」，后台回复「 年终奖 」即可获取完整代码。