环境

python 叫做 Python3，版本 v3.6.1
os 是 Mac os
scrapy 版本 v1.3.3

我有一个小目标，先扒下来几百张图再说

感谢douban，让我一次一次又一次地爬...
目标网页: https://www.douban.com/doulist/1295618/
它看起来是这样的

中国内地电影票房总排行
而我们的目标，是将这些 下载下来电影海报，顺便记录一下排行榜到csv文件

使用Scrapy创建一个项目

如果没有安装Scrapy，可以参考我的另一篇文章安装scrapy。我们这里使用命令生成一个脚手架

scrapy startproject douban

生成后的项目结构如下（根目录）：

├── scrapy.cfg
└── scrapyspider                         # 项目目录
    ├── items.py                         # 模型文件，定义要抓取的对象，后期修改
    ├── middlewares.py
    ├── pipelines.py                     # 以管道方式处理模型，后期修改
    ├── settings.py                      # 项目配置文件，后期修改
    └── spiders                          # 爬虫文件夹
        └── douban_spider.py             # 后期新增的爬虫文件

需要注意：

由于使用我们的管道继承了scrapy的图片管道，所以项目依赖Pillow的库，使用

python3 -m pip install pillow

来安装PIL的依赖

scrapy crawl xxx

其中xxx是爬虫的名字（注：不是文件名哦，是爬虫的name属性）

文件如下

setting.py

import os

BOT_NAME = 'douban'

SPIDER_MODULES = ['douban.spiders']
NEWSPIDER_MODULE = 'douban.spiders'

DOWNLOADER_DEBUG = True              #这5行不是必须的，只是为了调试方便
CONCURRENT_REQUESTS = 200         
AUTOTHROTTLE_DEBUG = True
AUTOTHROTTLE_ENABLED= True
DEPTH_STATS_VERBOSE = True           # 5行到这里

CUR_DIR = os.path.dirname(os.path.realpath(__file__))
IMAGES_STORE = os.path.join(CUR_DIR, '..', 'images')


ITEM_PIPELINES = {
    'douban.pipelines.DoubanPicPipelines': 1
}

COOKIE_ENABLE = False    # 建议有，不要记着我的脸，不要cookie
DOWNLOAD_DELAY = 0.5    # 建议有，步子不要太大，否则容易扯着蛋

ROBOTSTXT_OBEY = False     # 必须有，否则你的爬虫会按照robot.txt规则来决定能否爬当前内容

ITEM_PIPELINES 属性描述了管道流，key是管道类的类名，value是一个数字，用来描述任务优先级，1就是最早执行，数字越大，执行顺序就越晚

pipelines.py

from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy import Request

class DoubanPicPipelines(ImagesPipeline):

    def get_media_requests(self,item,info):
        for image_url in item['image_urls']:
            yield Request(image_url)
    def item_completed(self,results,item,info):
        image_paths=[x['path'] for ok,x in results if ok]    # 这里的path是item自动加上的
        if not image_paths:
            raise DropItem('图片未下载好 %s'%image_paths)

items.py

import scrapy

class DoubanItem(scrapy.Item):
    ranking = scrapy.Field()
    # movie's name
    movie_name = scrapy.Field()
    # score
    score = scrapy.Field()
    # comment count
    score_num = scrapy.Field()
    # image_urls
    image_urls = scrapy.Field()
    # image name
    images = scrapy.Field()

spiders/douban_spider.py

from scrapy.spiders import Spider
from scrapy.http import Request
from douban.items import DoubanItem
import re


class DoubanMovieSpider(Spider):
    name = 'movie'    # 这个名字决定了使用scrapy crawl movie来启动爬虫
    headers = {       # 没有UA，网站不待见你
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:54.0) Gecko/20100101 Firefox/54.0'
    }

    def start_requests(self):
        url = 'https://www.douban.com/doulist/1295618/'
        yield Request(url, headers=self.headers)

    def parse(self, response):
        item = DoubanItem()
        movies = response.xpath('//div[@class="doulist-item"]/div')
        for movie in movies:
            item['ranking'] = movie.xpath(
                './/span[@class="pos"]/text()').extract()[0]
            item['movie_name'] = movie.xpath(
                './/div[@class="title"]/a/text()').extract()[0]

            score = movie.xpath('.//span[@class="rating_nums"]/text()').extract()
            if score:
                score = score[0]
            else:
                score = 'N/A'
            item['score'] = score

            score_num = movie.xpath('.//div[@class="rating"]/span[3]').re(r'(\d+)')
            if score_num:
                score_num = score_num[0]
            else:
                score_num = 'N/A'
            item['score_num'] = score_num

            image_urls = movie.xpath('.//div[@class="post"]/a/img/@src').extract()
            item['image_urls'] = image_urls

            item['images'] = movie.xpath(
                './/div[@class="post"]/a/img/@src').re(r'[^/]*.[jpg|png|gif|webp]$')

            yield item

        # 处理分页
        next_url = response.xpath('//span[@class="next"]/a/@href').extract()
        if next_url:
            yield Request(next_url[0], headers = self.headers)

运行爬虫，