美文网首页scrapydotNET.NET
爬取朋友圈,Get年度关键词

爬取朋友圈,Get年度关键词

作者: 圣杰 | 来源:发表于2017-11-02 16:39 被阅读594次

    人生苦短,我用Python && C#。

    朋友圈年度关键词

    1.引言

    最近初学Python,写爬虫上瘾。爬了豆瓣练手,又爬了公司的论坛生成词云分析年度关键词。最近琢磨着2017又仅剩两月了,我的年度关键词是啥?
    所以自然想到爬取下自己的微信朋友圈,来个词频分析,生成属于自己的年度关键词词云。

    朋友圈的爬取是非常有难度的,因为微信根本没有暴露API入口去爬取数据。
    但它山之石,可以攻玉。
    通过各种搜索发现,已经有第三方工具可以做到朋友圈的导出。其中微信公众号【出书啦】就提供了这样一种服务,支持朋友圈导出,并排版生成微信书。

    而对朋友圈的爬取就是基于【出书啦】爬取朋友圈后生成网页后的二次爬取。
    有点爬虫经验的,只要拿到导出朋友圈的URL,后面的爬虫就不足为道了。但本着分享和总结的精神,还是和大家娓娓道来。

    =文中涉及个人隐私内容做了特殊处理=

    2.获取朋友圈数据入口

    上面已经介绍过了朋友圈的数据爬取是基于【出书啦】微信公众号生成的在线微信书数据的二次爬取。

    具体步骤很简单:

    1. 关注【出书啦】微信公众号
    2. 点击【创作书籍】-->【微信书】-->【开始制作】-->【添加随机分配的出书啦小编为好友即可】
    3. 稍等片刻,微信书制作完毕,会收到小编发送的消息提醒,如下图所示。
    小编发送的制作结果

    点击上图的链接,我们就可以看到按照月份重新排版的朋友圈数据,如下图所示:


    重新排版后的微信朋友圈数据

    至此,我们拿到朋友圈的数据入口——【出书啦】排版生成的微信书链接。

    写过爬虫的,后面就可以直接略过了。
    当然,没写过爬虫也不想动手的,也可以把【出书啦】生成的微信书链接留言或私信给我,我帮你获取年度关键词。

    3.环境准备

    本文所写爬虫基于python2.7 + scrapy + jieba + wordcloud,使用VS Code IDE。

    1. Scrapy为Python中比较流行的爬虫框架。
    2. Jieba是比较好用的中文分词模块。
    3. Wordcloud 用于生成词云。

    4.生成爬虫项目

    第一步:命令行执行scrapy startproject weixin_moment,生成Scrapy爬虫项目。
    第二步:进入创建的weixin_moment目录,执行scrapy genspider 'moment' 'chushu.la'创建朋友圈爬虫。
    执行以上两步后的文件夹结构如下:

    爬虫项目结构

    5.分析数据源

    数据的准确抓取,需要对数据源进行准确分析。这一步我们就要来分析【出书啦】生成的微信书链接的数据加载方式。老规矩,F12开发者工具用起来。

    Http请求之目录

    从上图我们可以看出这是一个get请求,返回的json类型格式数据。

    点击Preview页签可以看到如下图所示的数据:

    返回的目录结果

    从图中可以看到返回的目录导航数据包,其数据是按月份进行加载的。当点击导航按钮,其加载对应月份的朋友圈数据。

    导航

    我们点击【2014-3】再观察网络请求,发现如下请求:

    导航分页请求

    从以上数据我们可以明细看出,其采用的是用json传参的post的方式请求数据包。点击Preview页签,看到返回的分页JSON数据包。

    分页请求返回的数据包

    展开某个节点,我们可以发现朋友圈数据藏在data/paras节点下。

    朋友圈数据

    至此,我们完成数据的来源分析。

    6.蜘蛛来也

    完成了数据源分析,我们只需构造数据请求,并进行正确的数据解析,即可拿到我们想要的数据!

    6.1.请求导航数据包

    修改moment.py定义start_requests方法:

    bookid = '12345678'  #请填写【出书啦】返回链接中的数字部分
    def start_requests(self):
            """
            使用get方式请求导航数据包
            """
            url = 'http://chushu.la/api/book/chushula-{0}?isAjax=1'.format(self.bookid)  #获取目录的url
            yield scrapy.Request(url, callback=self.parse)
    

    重载parse方法,解析获取到的导航数据包:

    def parse(self, response):
            """
            处理获取到的导航数据包
            """
            json_body = json.loads(response.body)  #加载json数据包
            catalogs = json_body['book']['catalogs']  #获取json中的目录数据包
    

    6.2. 发送导航请求,抓取朋友圈数据

    根据上面跟踪到发出的http导航请求,要想抓取到朋友圈数据,我们需要根据发出的请求参数构造参数。



    从上图可知,主要包含五个参数:

    1. type:"year_month"为默认值
    2. year: 年份
    3. month: 月份
    4. index: 第几页
    5. value : 由年月拼接的字符串

    继续修改我们的parse方法,遍历我们第一步抓取到的导航数据包构造请求参数:

    def parse(self, response):
            """
            处理获取到的导航数据包
            """
            json_body = json.loads(response.body)  #加载json数据包
            catalogs = json_body['book']['catalogs']  #获取json中的目录数据包
            url = 'http://chushu.la/api/book/wx/chushula-{0}/pages?isAjax=1'.format(self.bookid) #分页数据url
            start_page = int(catalogs[0]['month'])  #获取起始月份作为index传值
            for catalog in catalogs:
                year = catalog['year']
                month = catalog['month']
                formdata = {
                    "type": 'year_month',
                    "year": year,
                    "month": month,
                    "index": str(start_page),
                    "value": 'v_{0}{1}'.format(year, month)
                }
                start_page += 1
    

    因为从我们跟踪到的http请求来看是基于json传参的post请求:
    所以我们要这样发起请求:

    yield scrapy.Request(
                    url,
                    method='POST',
                    body=json.dumps(formdata),
                    headers={'Content-Type': 'application/json'},
                    callback=self.parse_moment)
    

    同样我们需要定义一个回调函数用来处理返回的朋友圈数据。定义parse_moment方法,根据返回的json数据包进行数据提取:

    def parse_moment(self, response):
            """
            朋友圈数据处理
            """
            json_body = json.loads(response.body)
            pages = json_body['pages']
            pattern = re.compile(u"[\u4e00-\u9fa5]+")  #匹配中文
            item = WeixinMomentItem()
            for page in pages:
                if (page['type'] == "weixin_moment_page"):# 仅抓取朋友圈分页数据
                    paras = page['data']['paras']
                    if paras:
                        moment = ''
                        for content in paras[0]['rows']:
                            result = re.findall(pattern,
                                                content['data'])  #使用正则匹配所有中文朋友圈
                            moment += ''.join(result)
                        item['moment'] = moment
                        item['date'] = page['data']['dateText']#获取时间
                        yield item
    

    以上用到了定义的WeixinMomentItem。修改items.py,做如下修改:

    class WeixinMomentItem(scrapy.Item):
        """
        朋友圈Item
        """
        # define the fields for your item here like:
        # name = scrapy.Field()
        date = scrapy.Field()  #日期
        moment = scrapy.Field()  #朋友圈文字
    

    至此我们完成爬虫的书写。是不是迫不及待跑一下。

    6.3. 蜘蛛爬起来

    命令行执行scrapy crawl moment -o moment.json,稍等片刻,热乎的朋友圈数据就生成到moment.json文件中了。

    爬取到的朋友圈文本

    7. 分词处理

    jieba中文分词提供了便利的接口用于分词和词频统计。我们直接调用jieba.cut方法即可得到分词结果。在此之前我们需要加载我们爬取的朋友圈数据,即保存到moment.json文件中的数据,并拼接所有朋友圈文本传参至jieba.cut即可。
    新添加一个analyse.py文件,定义analyse_words方法:

    # -*- coding: utf-8 -*-
    
    """分析导出的朋友圈数据"""
    
    import json
    import os
    
    import jieba
    from wordcloud import WordCloud
    
    
    def analyse_words():
        """
        分析抓取到的朋友圈数据,使用jieba进行分词,使用wordcloud生成词云
        """
        curr_path = os.path.dirname(__file__)  # 当前文件文件夹所在目录
        parent_path = os.path.dirname(curr_path)  # 上层目录
        file_path = os.path.join(parent_path, 'moment.json')
        font_path = os.path.join(parent_path, "simhei.ttf")
        if not os.path.isfile(file_path):
            return
        with open(file_path) as moment_file:
            data = json.load(moment_file)  # 使用json加载文件
            moments = [item.get('moment', '') for item in data]  # 获取朋友圈文字数组
            contents = ' '.join(moments)  # 拼接为长文本
            cut_texts = ' '.join(jieba.cut(contents))  # 使用结巴分词进行中文分词
    

    8. 生成关键词词云

    词云需要基于上一步的分词结果生成词云。代码也很简单:

    cloud = WordCloud(font_path=font_path)
            wordcloud = cloud.generate(cut_texts)  #生成词云
            wordcloud.to_file('keys.png')  #保存图片
            image = wordcloud.to_image()  # 转化为图片
            image.show()  # 展示图片
    

    最后在文件末尾调用analyse_words(),命令行执行python analyse.py即可生成关键词!

    生成的词云

    你可能嫌弃以上生成的词云比较丑,没关系,你可以使用wordart做出各种酷炫的效果。

    9. 最后

    因为【出书啦】未完善反爬机制,所以爬虫写下来也没有什么难度,所以感兴趣的不妨赶紧动手试一试。本文出于学习分享,无恶意窃取数据之意,也请读者不要用于他途!

    相关文章

      网友评论

      本文标题:爬取朋友圈,Get年度关键词

      本文链接:https://www.haomeiwen.com/subject/znyipxtx.html