美文网首页爬虫实践
scrapy与scrapy-redis的使用(二)-缓速爬行

scrapy与scrapy-redis的使用(二)-缓速爬行

作者: 蜡笔小姜和畅畅 | 来源:发表于2018-07-11 13:54 被阅读16次
B87E2B24F2CD3133B5F66C0A0C74DECB.png

基本操作外需要注意的一些点

介绍scrapy与scrapy-redis使用中遇到的一些问题和需要注意的点:安装、yield、调试、文件引用、中间件、ip代理、redis的常用操作。

  • 安装(如上图)错误
    将最新的3.7切换到3.6版本
  • yield
  • 调试Spiders
  • 文件引用
  • 中间件
  • ip代理
  • redis的常用操作

相关博客链接

相关文章

网友评论

    本文标题:scrapy与scrapy-redis的使用(二)-缓速爬行

    本文链接:https://www.haomeiwen.com/subject/imrhpftx.html