# 使用scrapy_redis的调度器
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
# 在Redis中保持scrapy-redis用到的各个队列,从而允许暂停和恢复
SCHEDULER_PERSIST = True
# 使用scrapy_redis的去重
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
# 使用scrapy_redis的存储
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline':300,
}
# 定义Redis的 ip和端口
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
网友评论