我爬取了空间说说，看看成长中的自己在说什么？

0x01 分析

先分析QQ空间说说页面，确定我们要爬取的内容，我要爬取的是说说内容。由于QQ空间用户巨大，不可能采用静态输出内容，很有可能是通过接口获取用户说说信息然后进行渲染输出。为了验证我们的猜想我们看下网络请求。

1.png
图片.png

0x02 数据爬取

可以确定该接口即为说说接口，有了接口剩下的就好操作了，直接撸代码爬数据。接口返回的数据是JSON格式，直接解析就OK。

#-*- coding:utf-8 -*-
#
from bs4 import BeautifulSoup
#from urlparse import urljoin
import requests
import json
import csv
import sys
import re
import time
import codecs
reload(sys)
sys.setdefaultencoding( "utf-8" )

csv_file = file("rent.csv","ab+") #打开rent.csv
csv_file.write(codecs.BOM_UTF8)
csv_writer = csv.writer(csv_file, delimiter=',') # 创建writer对象，指定文件与分隔符
def get_cookie():
    with open('cookie.txt','r') as f:
        cookies={}
        for line in f.read().split(';'):
            name,value=line.strip().split('=',1)  #1代表只分割一次
            cookies[name]=value 
        return cookies


def get_row(i):
    url = "https://h5.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin=1056680519&inCharset=utf-8&outCharset=utf-8&hostUin=1056680519&notice=0&sort=0&pos={pos}&num=20&cgi_host=http%3A%2F%2Ftaotao.qq.com%2Fcgi-bin%2Femotion_cgi_msglist_v6&code_version=1&format=jsonp&need_private_comment=1&g_tk=1835140580&qzonetoken=79638c17978916ad05939c80583e2478e6b640717a4063ed5d0c6b4d5156fad804db82c1518aad5ff4"
    response = requests.get(url.format(pos=i),cookies=get_cookie())  # 抓取目标页面
    text = json.loads(response.text[10:-2])
    max = len(text["msglist"])
    for x in range(0,max):
        conlist = text["msglist"][x]["conlist"]
        created_time = text["msglist"][x]["created_time"]
        cmtnum = text["msglist"][x]["cmtnum"]
        time_local = time.localtime(created_time)
        dt = time.strftime("%Y-%m-%d %H:%M:%S",time_local)
        if not conlist:
            continue
        con = re.search("(?<=con': u')(.+?)(?='})",str(conlist))
        if not con:
            continue
        print con.group().decode('unicode_escape')
        csv_writer.writerow([con.group().decode('unicode_escape'),dt,cmtnum])


if __name__ == "__main__":
    i = -20;
    while True:
        i += 20
        get_row(i)
        print i
        if i >=2740:
            break

将url更换成自己抓取到的地址，需要注意内部包含一个{pos},另外在根目录下建立一个cookie.txt文件，将cookie写进去。然后就可以愉快的采集数据了。

图片.png

跑完以后会在根目录下生成一个rent.csv的文件。里面就是采集下来的数据。

0x03 制作云图

因为爬取出来评论数据都是字符串，所以需要对整个字符串进行分词，然后统计每个词语出现的评论。我采用 jieba 库来进行分词，采用WordCloud制作云图。代码就参考网上开源的代码。

import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba

text_from_file_with_apath = open('1.txt').read() #1.txt为待分析处理文本

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

my_wordcloud = WordCloud().generate(wl_space_split)

plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

先安装相关库

pip install wordcloud
pip install jieba

如果报编码错误是因为wordcloud 默认使用了DroidSansMono.ttf 字体库，改一下换成一个支持中文的ttf 字库，丢到wordcloud的目录下面并修改wordcloud.py中的第28行就可以了。

最后制作出来的云图效果是：

结果.png

个人感觉结果不是很符合我的气质，哈哈，应该是算法有关系。于是我又将相关数据丢到在线生成词云的网站看了看：

图片.png

0x04 结语

结合两张分析图可以看出从我的第一条说说到现在，我的心路历程，总结下来就是：

我吐槽过这牛逼的世界、也感叹过这烦忧的人生。

我说过无数的晚安、也表达过年少的相思。

我喝过无数的励志鸡汤、但也会对世界产生不安。

我有过孤独的时候，但也看过了很多风景。

看来人啊，总是在成长啊。