美文网首页爬虫实践
scrapy与scrapy-redis的使用(二)-缓速爬行

scrapy与scrapy-redis的使用(二)-缓速爬行

作者: 蜡笔小姜和畅畅 | 来源:发表于2018-07-11 13:54 被阅读16次
    B87E2B24F2CD3133B5F66C0A0C74DECB.png

    基本操作外需要注意的一些点

    介绍scrapy与scrapy-redis使用中遇到的一些问题和需要注意的点:安装、yield、调试、文件引用、中间件、ip代理、redis的常用操作。

    • 安装(如上图)错误
      将最新的3.7切换到3.6版本
    • yield
    • 调试Spiders
    • 文件引用
    • 中间件
    • ip代理
    • redis的常用操作

    相关博客链接

    相关文章

      网友评论

        本文标题:scrapy与scrapy-redis的使用(二)-缓速爬行

        本文链接:https://www.haomeiwen.com/subject/imrhpftx.html