爬虫笔记（5）分布式

单机下面可以使用多线程和多进程来实现对机器的充分利用，但是单台机器的能力是有限的，如果采用更多机器能进一步提高爬虫的效率。这里要引入分布式爬虫。对于分布式爬虫，使用Redis来实现任务队列，这样会极大的简化系统配置。

1.Redis入门

---

• 启动Redis
  redis-server的服务器端是redis-server，可以不带参数直接启动。redis-server默认的端口号是6379，而且默认状态下不能远程连接。通过使用配置文件可以修改默认设置

bind 0.0.0.0
port 6666

bind用于指定的绑定ip，0.0.0.0代表可以接受任何远程或本地连接，port用来指定端口号。

• 连接Redis
  redis-cli是Redis系统自带的客户端，不带参数直接启动，可以连接默认端口下的本地Redis服务器。也可以用-p指定端口，-h指定服务器地址。

redis-cli -h localhost -p 6666

• 数据类型
  Redis作为一个key-value类型的数据库，value支持多种数据类型。
  • a.字符串
    字符串是Redis最简单的数据类型，注意key的类型都是字符串。二进制数据也算字符串，比如你可以将一个图像文件的内容存在value中。value的长度不能超过512MB。

>set name 'dongge' #也可以不用单引号
OK
>get name
"dongge"
>keys * #列出所有的key
"name"
>set counter 100
OK
>incr counter
(integer)101
>incryby counter 50
(integer)151
>exists name #确定key是否存在
(integer)1
>type name
string
>del name #删除一个key
(integer)1
>type name
none

• b.列表
  Redis列表用双向链表来实现底层结构，可以从前面或者后面操作。

>rpush mylist A #从链表的右边插入
(integer)1
>rpush mylist B
(integer)2
>lpush mylist C #从链表的左边插入
(integer)3
>lrange mylist 0 -1
1) "C"
2) "A"
3) "B"
>rpop mylist #从右边弹出 lpop执行左边弹出
"B"

Redis列表有阻塞操作，这种操作对实现进程间通讯非常有用。rpop和lpop是没有实现阻塞功能的，为了达到进程间通讯的要求，就需要轮询，显然这样的策略是不行的。BRPOP和BLPOP就实现了阻塞操作，在列表为空时它会一直阻塞或者直到设定的时间到了。
Redis数据类型

• 停止Redis服务器

redis-cli shutdown (redis-cli -p 6666 -h localhost)

2.分布式爬虫

---

分布式爬虫分为主服务器（master）和从服务器（slave），主服务器负责分配url到任务队列和接收链接数据；从服务器负责爬取指定的页面并分析数据，将数据存入数据库以及返回页面中的链接给主服务器。

• 服务器

import redis
def server(init_url):
    s = set()#存储已经访问的网址
    s.add(init_url)
    conn = redis.Redis()
    conn.rpush('url',init_url)
    while  True:
        data = conn.brpop('data')
        #print data
        if data != None and data[0] == 'data':
            data = eval(data[1])
            urls = data['urls']
            for url in urls:
                if url not in s:
                    s.add(url)
                    conn.rpush('url',url)
if __name__ == '__main__':
    server('http://www.qiushibaike.com')

• 客户端

'''
返回{“urls”:[],"data":[]}
'''
def handlepage(html):
    pass
def subprocess(url,host = 'localhost'):
    conn = redis.Redis(host)
    while True:
      url = conn.brpop('url')
      html = loadurl(url[1])#加载页面
      ret = handlepage(html)#分析页面
      conn.rpush('urls',ret['urls'])#向server推送urls
      save(ret['data'])#存储数据
def client(num,host='localhost'):
      for i in range(num):
          p = Process(target = subprocess,args=(host,)
          p.start()