一:Scrapy-Redis
概述:是实现Scrapy分布式爬取而提供了一些以redis为基础的组件。
组件包含:
Scheduler –调度器
Duplication Filter –指纹去重
Item Pipeline-管道
Base Spider- 基础Spider
组件作用:
a-调度器:
负责对新的request进行入列操作以及取出要出列的request
管理维护待爬取字典队列结构，使用Scrapy-redis的scheduler组件
原来Scheduler已经无法使用
补充说明:
Scrapy改造了python原来的双向队列形成了自己的Scrapy queue但Scrapy多个spider不能共享待爬取队列Scrapy queue.即Scrapy本身不支持分布式爬虫。
scrapy-redis 解决把Scrapy queue换成redis数据库（redis队列），从同一个redis-server存放要待爬取的request，方便多个spider去同一个数据库里读取。
b-指纹去重(过滤器):
scrapy-redis中去重依赖于Duplication Filter组件。
其底层利用redis的set不重复的特性。
具体底层去重细节:
1-scrapy-redis调度器从引擎接受request，将reques的指纹存入redis的set检查是否重复，并将不重复的request push写入redis的 request queue。
2-引擎请求request时，调度器从redis的request queue里根据优先级弹出⼀个request 返回给引擎，引擎将此request发给spider处理。
c-管道:
引擎将Spider返回的爬取到的Item给Item Pipeline。scrapy-redis的Item Pipeline将爬取到的Item存入redis的items queue。Item
Pipeline可根据key从items queue提取item从而实现items processes集群
Scrap-Redis原理:
二:官方例子简单说明
https://github.com/rmax/scrapy-redis
三个爬虫样本
dmoz.py 传统的CrawlSpider,目的就是让数据保存到redis中。运行方式为: scrapy crawl dmoz
myspider_redis.py 继承RedisSpider,start_urls被redis_key替代，allow_domains不变
【提示】官方用__init__方法来替换allow_domains不支持目前的版本
mycrawler_redis.py 继承RedisCrawlSpider,其它的和上面的myspider_redis.py是一样的
【温馨提示】后两种爬虫的运行方式为:
scrapy runspider myspider_redis.py
scrapy runspider mycrawler_redis.py
【温馨提示】
from scrapy_redis.spidersimport RedisSpider
from scrapy_redis.spiders importRedisCrawlSpider
是scrapy_redis新增加的两个组件，都是继承自官方的Spider、CrawlSpider
三:使用redis存储
pip install scrapy-redis
【温馨提示】在爬取网站的时候，将settings 中的DOWNLOAD_DELAY选项打开。
DOWNLOAD_DELAY = 1
三:分布式爬虫部署
执行说明:
现在有5台电脑c1 c2 c3 c4 c5
computer3上面安装的是redis服务器，master端(主节点)
c1|c2|c4|c5都从c3的redis上面获取请求或将请求添加到c3的redis服务器中， slave端(从节点)
slave端首先启动,页面会停止在那里等待指令,此时master通过lpush向队列中添加一个起始url。其中一个slave端获取到这个url开始爬取，此slave端会将解析之后的很多url再次的添加到redis服务中，然后redis服务再从请求队列中向每个slave端分发请求，最终直到所有请求爬取完毕为止
文件中的配置内容：
#scrapy_redis指纹去重类
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
#调度器使用是scrapy_redis的调度器
SCHEDULER ="scrapy_redis.scheduler.Scheduler"
#爬取的过程中是否允许暂停
SCHEDULER_PERSIST = True
#配置存储的redis服务器
REDIS_HOST = '10.0.112.191'
REDIS_PORT = 6379
运行操作说明：
scrapy runspider mycrawler_redis.py
master端向队列中添加起始url。key就是代码中的redis_key
lpush fen:start_urls 'http://www.dytt8.net/html/gndy/dyzz/index.html'
网友评论