简书首页的坑

爬简书首页，一开始是想着用Scrapy框架比较方便一点，结果遇到了好多坑，花了好多时间解决，必须记录一下。

先贴修改完的完整代码

from scrapy.spiders import Spider
from scrapy.selector import Selector

from ..items import JianshuItem


class JianshuSpider(Spider):
    name = "jianshu_spider"

    allowed_domains = []

    start_urls = ['http://www.jianshu.com/']

    def parse(self, response):
        sel = Selector(response)

        title = sel.xpath("//div[@class='content']/a[@class='title']/text()").extract()
        author = sel.xpath("//div[@class='author']/div[@class='name']/a/text()").extract()
        post_time = sel.xpath("//div[@class='content']/div/div/span[@class='time']/@data-shared-at").extract()
        read = sel.xpath("//div[@class='content']/div[@class='meta']/a[last()-1]/text()").re(r' ([0-9]*)\n')
        comment = sel.xpath("//div[@class='content']/div[@class='meta']/a[last()]/text()").re(r' ([0-9]*)\n')
        like = sel.xpath("//div[@class='content']/div[@class='meta']/span[1]/text()").extract()

        reward = []
        div_1s = sel.xpath("//div[@class='content']/div[@class='meta']")
        for div_1 in div_1s:
            if div_1.xpath(".//span[2]/text()"):
                reward.append(div_1.xpath(".//span[2]/text()").extract()[0])
            else:
                reward.append(u'0')
        subject = []
        div_2s = sel.xpath("//div[@class='content']/div[@class='meta']")
        for div_2 in div_2s:
            if div_2.xpath(".//span[2]/text()"):
                subject.append(div_2.xpath(".//a[@class='collection-tag']/text()").extract()[0])
            else:
                subject.append(u'none')

        item = JianshuItem()

        item['title'] = [i for i in title]
        item['author'] = [i for i in author]
        item['post_time'] = [i for i in post_time]
        item['read'] = [i for i in read]
        item['comment'] = [i for i in comment]
        item['like'] = [i for i in like]
        item['reward'] = [i for i in reward]
        item['subject'] = [i for i in subject]

        yield item

坑一：打赏和收录主题
并不是所有的文章都是有收录主题和打赏的。

image.png image.png image.png

标准的就是第二张图片的样子，这样子我是最喜欢的。

没有打赏和收录主题的怎么办？？？

一开始脑子一片空白，不知道该怎么解决，就去看别人的代码，发现了人家用了循环就解决了，好，那就用循环，但是用XPath怎么实现呢？脑子一片空白，想不出来。后来想到去看Scrapy的官方文档，查到了。（这里再次印证了，官方文档是最棒的！）
怎么解决？上代码

        reward = []
        div_1s = sel.xpath("//div[@class='content']/div[@class='meta']")
        for div_1 in div_1s:
            if div_1.xpath(".//span[2]/text()"):
                reward.append(div_1.xpath(".//span[2]/text()").extract()[0])
            else:
                reward.append(u'0')
        subject = []
        div_2s = sel.xpath("//div[@class='content']/div[@class='meta']")
        for div_2 in div_2s:
            if div_2.xpath(".//span[2]/text()"):
                subject.append(div_2.xpath(".//a[@class='collection-tag']/text()").extract()[0])
            else:
                subject.append(u'none')

很简单是不是，但是没有接触过第一次解决就是无从下手，想了好久。

坑二：没有收录主题的文章，a标签会少一个！！！
先看图

image.png image.png

其实这个问题我应该早就注意到的，还是经验太少了，掉坑里了，刚开始一直摸不着头脑到底是哪里出错了，为什么我爬出来的评论就是少一个。
分析一下第二章标准的格式，前三个a标签分别是收录的主题、阅读数和评论数，后两个span标签分别是赞数和打赏数。如果没有收录主题，那么会没有第一个a标签。

我之前的是这么写的

read = sel.xpath("//div[@class='content']/div[@class='meta']/a[2]/text()").extract(）
comment = sel.xpath("//div[@class='content']/div[@class='meta']/a[3]/text()").extract()
     

改成

read = sel.xpath("//div[@class='content']/div[@class='meta']/a[last()-1]/text()").re(r' ([0-9]*)\n')
comment = sel.xpath("//div[@class='content']/div[@class='meta']/a[last()]/text()").re(r' ([0-9]*)\n')

这样子就能解决了。

坑三：格式问题

image.png image.png

这里的数字，是由空格+数字+换行，其实很好解决，用正则表达式，可是该怎么用呢，再一次我的愚蠢支配了我，我就去百度了。后来突然想到看文档。看文档，看文档，看文档！重要的事情说三遍！

image.png Selector有.re()的方法！
然后就自己写正则表达式啊，自己还是太菜了，写出了怎么还是这么多空格换行，气死我了！就去查，最后发现了这个。
.re(r' ([0-9]*)\n')这个模式可以匹配出数字并把前面的空格和后面的换行符删掉。
好了，这就是我爬简书首页所有的心路历程了！
第一次独立的把所有的问题解决了，独立解决问题还是蛮难的！群里的小伙伴给了我一点启发哈哈哈！
通过这次练习，掌握了好多东西，至少再次面对框架的时候不会没头没脑了！
最后贴上结果吧
image.png image.png