美文网首页
scrapy-redis配置

scrapy-redis配置

作者: 丷菜菜呀 | 来源:发表于2019-01-21 23:21 被阅读0次

# 使用scrapy_redis的调度器

SCHEDULER = 'scrapy_redis.scheduler.Scheduler'

# 在Redis中保持scrapy-redis用到的各个队列,从而允许暂停和恢复

SCHEDULER_PERSIST = True

# 使用scrapy_redis的去重

DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'

# 使用scrapy_redis的存储

ITEM_PIPELINES = {

'scrapy_redis.pipelines.RedisPipeline':300,

}

# 定义Redis的 ip和端口

REDIS_HOST = '127.0.0.1'

REDIS_PORT = 6379

相关文章

网友评论

      本文标题:scrapy-redis配置

      本文链接:https://www.haomeiwen.com/subject/jnkkjqtx.html