Scrapy的多个Spider指定不同的pipeline

作者: 火柴菌 | 来源:发表于2017-11-08 12:10 被阅读0次

class Spider(scrapy.spiders.Spider):
    name = 'one'
class Spider(scrapy.spiders.Spider):
    name = 'two'

def process_item(self, item, spider):
  if spider.name == 'one':
        (执行one的代码逻辑）
  elif spider.name == 'two':
        (执行two的代码逻辑）
return item

Scrapy的多个Spider指定不同的pipeline
假设你有以下多个Spider：在pipeline里判断执行哪个爬虫逻辑：
Scrapy----Item Pipeline的一个小问题
在自学Item Pipeline时遇到一个小问题：Scrapy的spider进不了pipeline（pipelin...
1.Scrapy基本流程走通
Scrapy基本流程走通文章仅供学习，如有错误，欢迎指出创建我们的第一个spider 不同种类的spider ...
redis-scrapy详情
Item Pipeline:引擎将(Spider返回的)爬取到的Item给Item Pipeline , scra...
Scrapy命令行动态传参给spider
scrapy命令行执行传递多个参数给spider 动态传参在命令行运行scrapy爬虫若爬虫中有参数可以控制爬...
scrapy 下一页链接请求
``` import scrapy class QuotesSpider(scrapy.Spider): na...
scrapy.Spider
Spider是最简单的spider。每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以...
scrapy
scrapy学习一、scrapy框架介绍 Scrapy Engine(引擎): 负责Spider、ItemPip...
scrapy的基本使用
scrapy框架 Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloa...
为Scrapy项目提供多个Spider
为Scrapy项目提供多个Spider 在终端输入上述命令后，会根据生成一个完整的爬虫项目此时的项目树如下可以看...