美文网首页分布式爬虫
17、Python快速开发分布式搜索引擎Scrapy精讲—深度优

17、Python快速开发分布式搜索引擎Scrapy精讲—深度优

作者: 攻城狮笔记 | 来源:发表于2019-03-22 17:20 被阅读12次

    百度云搜索,搜各种资料:http://www.81ad.cn

    image

    网站树形结构

    image

    深度优先

    是从左到右深度进行爬取的,以深度为准则从左到右的执行(递归方式实现)Scrapy默认是深度优先的

    image image

    广度优先

    是以层级来执行的,(列队方式实现)

    image image

    【转载自:http://www.leiqiankun.com/?id=60

    相关文章

      网友评论

        本文标题:17、Python快速开发分布式搜索引擎Scrapy精讲—深度优

        本文链接:https://www.haomeiwen.com/subject/ghvrvqtx.html