scrapy-redis 分布式爬虫

标签（空格分隔）： python scrapy scrapy-redis

分布式爬虫要点

• 状态管理器
• 利用多机器宽带加速爬取
• 利用多机器的ip加速爬取
• request队列集中管理
• 去重集中管理

scrapy-redis 基础知识

• 数据类型

  字符串、散列(哈希)、列表、集合、可排序集合

• 字符串命令

  • set mykey ''cnblogs'' 创建变量
  • get mykey 查看变量
  • getrange mykey start end 获取字符串，如:get name 2 5 #获取name2~5的字符串
  • strlen mykey 获取长度
  • incr/decr mykey 加一减一，类型是int
  • append mykey ''com'' 添加字符串，添加到末尾

• 哈希命令

  • hset myhash name "cnblogs" 创建变量，myhash类似于变量名，name类似于key，"cnblogs"类似于values
  • hgetall myhash 得到key和values两者
  • hget myhash name 得到values
  • hexists myhash name 检查是否存在这个key
  • hdel myhash name 删除这个key
  • hkeys myhash 查看key
  • hvals muhash 查看values

• 列表命令

  • lpush/rpush mylist "cnblogs" 左添加/右添加值
  • lrange mylist 0 10 查看列表0~10的值
  • blpop/brpop key1[key2] timeout 左删除/右删除一个，timeout是如果没有key，等待设置的时间后结束。
  • lpop/rpop key 左删除/右删除，没有等待时间。
  • llen key 获得长度
  • lindex key index 取第index元素，index是从0开始的

• 集合命令

  • sadd myset "cnblogs" 添加内容，返回1表示不存在，0表示存在
  • scard key 查看set中的值
  • sdiff key1 [key2] 2个set做减法，其实就是[减去了交际部分]
  • sinter key1 [key2] 2个set做加法，其实就是留下了两者的交集
  • spop key 随机删除值
  • srandmember key member 随机获取member个值
  • smembers key 获取全部的元素

• 可排序集合命令

  • zadd myset 0 ‘project1’ [1 ‘project2’] 添加集合元素；中括号是没有的，在这里是便于理解
  • zrangebyscore myset 0 100 选取分数在0~100的元素
  • zcount key min max 选取分数在min~max的元素的个数

scrapy-redis 使用

• 项目引用

  • 安装

  通过下载windows版本的redis服务器,并启动。具体操作redis操作

redis-server.exe redis.windows.conf #启动

• 虚拟环境安装引用

pip install redis

• 项目启动前,需启动redis服务器

• 原视频UP主慕课网（聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎）
• 本篇博客撰写人: XiaoJinZi 个人主页 转载请注明出处
• 学生能力有限 附上邮箱: 986209501@qq.com 不足以及误处请大佬指责