美文网首页
scrapy中调用自定义方法

scrapy中调用自定义方法

作者: format_b1d8 | 来源:发表于2021-02-22 16:37 被阅读0次

    在项目中有一个需求,就是需要根据不同的id进行不同的切片,好不容易找到了对应的关系,本来想可以在parse中直接调用,然后再自定义方法中直接yield,理论上感觉应该是这样的:

    parse界面 自定义方法

    想在get_detail方法中直接yield去下一个回调方法,但是运行发现根本去不了回调方法里面,头疼...

    后来经查询,scrapy只支持yield方式传递Request,FormRequest对象,于是灵机一动,既然不让我这么做,那干脆把处理后的接过return就好,于是经过改装后变成这样:

    parse方法yield对象

    其中item就是经过get_detail方法处理后的返回值,打包成了item对象。终于到了下一个回调方法了。

    记录一下,以后别踩坑

    相关文章

      网友评论

          本文标题:scrapy中调用自定义方法

          本文链接:https://www.haomeiwen.com/subject/ovaiaqtx.html