分布式爬虫系统广泛应用于大型爬虫项目中，力求以最高的效率完成任务，这也是分布式爬虫系统的意义所在。
分布式系统的核心在于通信，介绍三种分布式爬虫系统的架构思路，都是围绕通信开始，也就是说有多少分布式系统的通信方式就有多少分布式爬虫系统的架构思路。
Redis
利用redis做分布式系统，最经典的就是scrapy-Redis，这是比较成熟的框架。同时我们也可以利用Redis的队列功能或者订阅发布功能来打造自己的分布式系统。
Redis作为通信载体的优点是读写迅速，对爬虫的速度影响可忽略不 计，使用比较普遍。
主程序示例：
[图片上传失败...(image-cf2c25-1549881943619)]
2.RabbitMQ
RabbitMQ是比较靠谱的消息中间件，得益于它的确认机制，当一条消息消费后如果设置确定模式，那么确认后才会继续消费，如果不确定认，那么这个任务将分配给其他消费者。
基于这种确认机制，可以在高可靠性和高数据要求情景中，避免数据抓取的遗漏和丢失。
其设计思路应该是基于mq设计两个接口，一个用于URL的存放，一个用户URL的获取，同时基于Redis的URL去重，通过类似scrapy-redis 的调度使爬虫运行。
主程序示例：
3.Celery
celery典型的分布式任务队列，常用于异步操作中，如tornado、Django的异步任务中，用celery设计分布式爬虫系统，往往结合网络框架，打造一个爬虫任务接口，提供给其他人使用。
同时celery在定时任务方面有着优势，只需要在配置文件中设置一下，就可以定期执行任务，不必自己写定时操作。
celery使用消息中间件，而这个消息中间件，可以使用Redis也可以使用RabbitMQ，但他的调度不必担心，已经封装。
主程序示例：
注意：上面的程序片段只是片段，用于示例。综上我们应该清楚在不同的任务场景中使用甚至如何设计自己的爬虫系统，分布式爬虫系统的核心是不同主机的通信。
源码视频书籍练习题等资料进群696541369 即可免费获取
网友评论