scrapy-redis配置

# 使用scrapy_redis的调度器

SCHEDULER = 'scrapy_redis.scheduler.Scheduler'

# 在Redis中保持scrapy-redis用到的各个队列，从而允许暂停和恢复

SCHEDULER_PERSIST = True

# 使用scrapy_redis的去重

DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'

# 使用scrapy_redis的存储

ITEM_PIPELINES = {

'scrapy_redis.pipelines.RedisPipeline':300,

}

# 定义Redis的 ip和端口

REDIS_HOST = '127.0.0.1'

REDIS_PORT = 6379