scrapy爬取豆瓣电影，存储在MongoDB

本节分享用的Scrapy爬取豆瓣电影Top250的实战。

本节要实现的内容有：

• 爬取豆瓣电影Top250页面的，全部字段
• 将抓取到的结果存储到MongoDB。

实验环境：

• PyCharm
• Python3.6
• Scrapy
• PyMongo
• MongoDB

创建项目

在你的工作目录的文件夹下打开命令提示符窗口，输入：

scrapy startproject dbmoive

创建爬虫

cd dbmoive
scarpy genspider douban movie.douban.com/top250

如果正确创建，得到的目录如下所示

目录结构

• scrapy.cfg文件中主要包含的是项目的相关设置。
• dbmoive文件夹下是用于编写爬虫的目录。
• items.py：定义我们所要爬取的信息的相关属性。
• middlewares.py：爬虫中间件，这里可以用过自定义相关的方法，用来处理爬虫的响应和请求。
• pipelines.py：当数据被爬虫爬取下来后，它会被发送到item pipelines中，每个item pipelines组件（有时称为“项目管道”）是一个实现简单方法的Python类。他们收到一个项目并对其执行操作，还决定该项目是否应该继续通过管道或被丢弃并且不再被处理。
• settings.py：项目的设置文件。
• douban.py: 项目中，爬虫的主要逻辑代码

禁止ROBOTSTXT_OBEY

接下来你需要打开settings.py文件，将ROBOTSTXT_OBEY修改为False。

ROBOTSTXT_OBEY = False

它默认为True，就是要遵守robots.txt 的规则，那么 robots.txt 是个什么东西呢？
通俗来说， robots.txt 是遵循 Robot 协议的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。

当然，我们并不是在做搜索引擎，而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以，某些时候，我们就要将此配置项设置为 False ，拒绝遵守 Robot协议 ！

尝试最初的爬取

接下来我们什么代码也不修改，执行爬取，运行如下命令：

scrapy crawl douban

你会发现爬取结果会出现这样的一个错误：

500 Internal Server Error

访问知乎得到的状态码是500，这说明爬取并没有成功，其实这是因为我们没有加入请求头，知乎识别User-Agent发现不是浏览器，就返回错误的响应了。

所以接下来的一步我们需要加入请求headers信息，你可以在Request的参数里加，也可以在spider里面的custom_settings里面加，当然最简单的方法莫过于在全局settings里面加了。

我们打开settings.py文件，取消DEFAULT_REQUEST_HEADERS的注释，加入如下的内容：
所以在这里设置为False。当然可能本次爬取不一定会被它限制，但是我们一般来说会首先选择禁止它。

所以接下来的一步我们需要加入请求headers信息，你可以在Request的参数里加，也可以在spider里面的custom_settings里面加，当然最简单的方法莫过于在全局settings里面加了。

我们打开settings.py文件，取消DEFAULT_REQUEST_HEADERS的注释，加入如下的内容：

DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'Accept-Encoding' :  'gzip, deflate, br',
    'Cache-Control' :  'max-age=0',
    'Connection' :  'keep-alive',
    'Host' :  'movie.douban.com',
    'Upgrade-Insecure-Requests' :  '1',
    'User-Agent' :  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
}

这个是为你的请求添加请求头，如果你没有设置headers的话，它就会使用这个请求头请求，添加了User-Agent信息，所以这样我们的爬虫就可以伪装浏览器了。

接下来重新运行爬虫。

scrapy crawl zhihu

这时你就会发现得到的返回状态码就正常了。
解决了这个问题，我们接下来就可以分析页面逻辑来正式实现爬虫了。

页面分析

对照图

使用选取工具选取整个电影的信息，可以发现，所有的信息都是放在单独的一个li标签中的，而且在li下还有一个class为item的div包裹着所有的信息。

定义item

根据前面的分析，我们需要抓取一共十个字段的信息，现在在items.py文件中定义item

class DoubanItem(Item):
    # 排名
    ranking = Field()
    # 篇名 
    title = Field()
    # 导演和演员
    director = Field()
    # 一句话描述 有的为空
    desc = Field()
    # 评分
    rating_num = Field()
    # 评价人数
    people_count = Field()
    # 上映时间
    date = Field()
    # 上映国家
    country = Field()
    # 类别
    category = Field()

parse方法

写完上面的代码，其实只是抓取一页的罢了，为了抓取完整的top250榜单，我们需要让爬虫跳转到下一页再进行循环抓取，因为每个页面的结构是一样的，所以不用担心会抓取不到。

这里不单独讲解XPath和CSS选择器的使用方法，多看一点资料，自己总结一下。

不知道各位有没有获取XPath和CSS好用一点的方法，欢迎分享给我。

    def parse(self, response):
        item = DoubanItem()
        movies = response.xpath('//div[@class="item"]')
        for movie in movies:
            # 名次
            item['ranking'] = movie.xpath('div[@class="pic"]/em/text()').extract()[0]
            # 片名 提取多个片名
            titles = movie.xpath('div[@class="info"]/div[1]/a/span/text()').extract()
            item['title'] = titles
            # 获取导演信息和演员信息
            info_director = movie.xpath('div[2]/div[2]/p[1]/text()[1]').extract()[0].replace(" ", "").replace("\n", "")
            item['director'] = info_director
            # 上映日期
            date = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[0]
            # 制片国家
            country = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[1]
            # 影片类型
            category = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[2]
            item['date'] = date
            item['country'] = country
            item['category'] = category
            desc = movie.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()').extract()
            if len(desc) != 0:  # 判断info的值是否为空，不进行这一步有的电影信息并没有会报错或数据不全
                item['desc'] = desc
            else:
                item['desc'] = ' '

            # item['desc'] = movie.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span[@class="inq"]/text()').extract()[0]
            item['rating_num'] = movie.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
            item['people_count'] = movie.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[4]/text()').extract()[0]
            yield item
# 获取下一页
        next_url = response.xpath('//span[@class="next"]/a/@href').extract()
        if next_url:
            next_url = 'https://movie.douban.com/top250' + next_url[0]
            yield Request(next_url, callback=self.parse, dont_filter=True)

那么到这里，代码就写完了。
然后我们来运行一下这个爬虫，scrapy框架是通过命令来启动爬虫的，
在项目根目录下打开命令提示符，输入：

scrapy crawl douban

如果没有出错，你会在终端看到一行行滚动的信息。

存储在Mongo

从官方文档中拷贝如下代码到pipeline.py中，只需要修改collection_name，其余基本不用修改。在存储MongoDB之前，你需要将正确安装MongoDB，并且启动MongoDB。

class MongoPipeline(object):

    collection_name = 'douban'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

另外记得开启一下Item Pileline。setting.py

ITEM_PIPELINES = {
    'dbmovie.pipelines.MongoPipeline': 400,
}

实验结果

结果
MongoDB

项目的完整代码，可以看这里scrapy爬取豆瓣电影Top250，存储在MongoDB中

如果不想存储在MongoDB中，可以使用scrapy支出的命令导出其他格式的文件

scrapy crawl douban -o data.json 
scrapy crawl douban -o data.csv
scrapy crawl douban -o data.xml

🎉🎉🎉🎉 如果你觉得有帮助到你，欢迎打赏。