Python 3 实战Scrapy爬取美女壁纸图

简介

之前写了一篇爬妹子图的文章《Python 3 实战Scrapy爬取妹子图》，但是有点粗糙，几乎都是无差别抓取页面所有图片和链接然后过滤，这篇文章优化了代码，让我们的爬虫更高效，爬取的图片质量更高，这里我选了一个妹子图非常多、质量非常高、又很正经的壁纸网站来实验，这里是爬取页面入口->,点击查看！

1.一级页面分析

打开F12分析了这个页面，你会发现这个页面很简单，分页都给你写清楚了多少页，主体页面是一个div+css结构，列表用了ul+li标签:

Screenshot from 2017-07-12 22-08-13.png

用一句xpath表达式就能获取到li标签里面所有的a链接地址，高效而且无多余的链接

 # 一级页面的处理函数
    def parse(self, response):
        # 提取界面所有的符合入口条件的url
        all_urls = response.xpath('//div[@class="main"]/ul/li/a/@href').extract()
        # 遍历获得的url，继续爬取
        for url in all_urls:
            # urljoin生成完整url地址
            url = urljoin(response.url, url)
            yield Request(url, callback=self.parse_img)

2.二级页面分析

当我们点击一个美女图片之后会进去一个二级页面，这个页面的才是这个美女的所有图片合集，这个页面比较简单:

Screenshot from 2017-07-12 22-16-35.png

# 二级页面的处理函数
    def parse_img(self, response):
        item = PicscrapyItem()
        # 提前页面符合条件的图片地址
        item['image_urls'] = response.xpath('//img[@id="bigImg"]/@src').extract()
        yield item
        # 提取界面所有复合条件的url
        all_urls = response.xpath('//ul[@id="showImg"]/li/a/@href').extract()
        # 遍历获得的url，继续爬取
        for url in all_urls:
            url = urljoin(response.url, url)
            yield Request(url, callback=self.parse_img)

通过parse和parse_img这两个函数的递归调用就可以获取所有符合条件的图片，基本上不会访问多余的链接，下载多余的图片...
另外下载图片的时候做了一些优化，之前图片名称是随机生成，现在改成取url一部分加随机数，这样同一个妹子的图片就可以放到一起了，不会乱七八糟了，方法是重写父类函数

 # 重写函数，修改了下载图片名称的生成规则，改成了url地址的最后一个加了随机送
    def file_path(self, request, response=None, info=None):
        if not isinstance(request, Request):
            url = request
        else:
            url = request.url
        url = urlparse(url)
        img_name = url.path.split('/')[5].split('.')[0] + '-' + str(random.randint(1000, 9999))
        return '%s.jpg' % img_name

总结

经过优化后，100M宽带轻轻松松跑满，目测这个页面应该有上万张图片，童鞋，你的硬盘吃的消吗？

Screenshot from 2017-07-12 23-34-50.png
Github地址如下：点击获取代码