有的时候我们爬取数据的时候需要在多个页面之间跳转，爬取完所有页面的数据的时候才能把所有数据一起存到数据库，这个时候我们就需要把某个函数内爬取的数据传到下一个函数当中。
有人可能会说，为什么不用全局变量呢？这是因为scrapy自带多线程机制，好几个线程同时跑，用全局变量很不明智，除非顺序逻辑非常清楚的程序。
这个时候我们就要用到scrapy中Request方法的meta参数
def first(self, response)
code = response.xpath('*****').extract()[0]
yield FormRequest(url=url,
meta={
'code':code
},
formdata={},
callback=self.next)
meta和formdata属性一样，是一个字典，这里面我们把从网页中爬取到的code值放在meta中传入下一个函数
def next(self, response)
code = response.meta["code"]
在下一个函数当中我们就可以从response对象当中取得meta中的code值，这里就可以确保两个函数中code的值是完全一致的。
网友评论