python爬取豆瓣两千万图书简介信息：（四）多进程并发

这是全部的调试过程，我已经整理成为笔记，这里分享给大家：
python爬取豆瓣两千万图书简介信息：（一）目标API分析
python爬取豆瓣两千万图书简介信息：（二）简单python请求urllib2
python爬取豆瓣两千万图书简介信息：（三）异常处理
python爬取豆瓣两千万图书简介信息：（四）多进程并发
python爬取豆瓣两千万图书简介信息：（五）数据库设计
python爬取豆瓣两千万图书简介信息：（六）数据库操作类
python爬取豆瓣两千万图书简介信息：（七）代理IP
python爬取豆瓣两千万图书简介信息：（八）总结

多进程并发

我写的python爬取数据程序，爬取的目标很明确，就是爬取豆瓣API的所能提供的 两千万图书简介信息。

计划是用python发起网络请求，然后解析数据，并将数据放到mysql数据库中。

如果是简单的弄个2kw的for循环等着依次执行，那平均2s一次的请求，会将时间拉长到你怀疑人生。

串行执行的路走不通，那就必然会想到并发执行。在别的程序语言中，多线程是一种很好的并发策略。然而，Python由于有全锁局的存在（同一时间只能有一个线程执行），并不能利用多核优势。所以，如果程序的多线程进程是CPU密集型的，那多线程并不能带来效率上的提升，相反还可能会因为线程的频繁切换，导致效率下降；如果是IO密集型，多线程进程可以利用IO阻塞等待时的空闲时间执行其他线程，提升效率。

我想要的是，同一瞬时时间内，尽可能的多开网络请求，这样就能提高单位时间内，从豆瓣接口内爬取数据的效率。多线程由于要等待网络请求返回的时间，在这里并不适用。所以我这里采用的是多进程的思路。

其实在python网络并发过程中，有多协程的方法来提示效率。但协程是一种用户态的轻量级线程。它无法利用多核资源：协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.其效率相对来讲，还是低于多进程的方式。

我的思路是，同时开200个到400个进程，将2kw图书分配给这几百个进程。几百个进程同时执行，自然效率上会高很多。当然，我自己的mac的CPU也就8核心的配置。多进程也就是能把这8个核心的利用率提高一点点而已。但是，由于我的每一次请求数据，大多耗时在网络请求中，所以，这样使用多进程，反而能在某种意义上，提高了相应的效率。

我单次网络请求，加上代理ip，读取&解析，以及存入数据库，总共耗时在3s左右。我开到了200个进程，总速度大概在5w条/小时（这里是指有效记录，会有一定概率的网络请求异常以及空id的数据，这部分大概是有效数据的三分之一，总的并发数据量应该在6.6w条/小时）。大约每秒13条（事先没有统计每秒发出的请求次数，事实上我也没有地方放此数据）。

而于之前相比，我开20个进程，平均一小时7k条有效记录，（大概是每秒1.9条）已经快上好多好多了。

下面是代码：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import Crawler #我的单次爬取程序
import multiprocessing
import SqlOperation #我的数据库操作类
import time

#我的每个进程内，执行id的顺序
def worker(num):
    thread_index = SqlOperation.get_thread_index_id(num)
    #查询当前第 num 个进程已经爬取到最大 id  
    process_index = num*50000+1000000
    # print str(process_index) + ':' + str(thread_index)
    if process_index < thread_index:
        process_index = thread_index        
    #获取当前第 num 个进程，应该开始爬去数据的起始 id  
    Crawler.start_crawler(process_index, num)
    #开始爬取数据，进程为第 num 个，起始id为 process_index

done_id_arr = [1, 2, 3, 4, 6, 7, 8, 9, 10, 12, 13, 14, 15, 17, 18, 19, 20, 23, 25, 26, 27, 28, 30, 32, 34, 36, 38, 39, 40, 43, 44, 52, 64, 70, 74, 84, 86, 87, 98, 102, 116, 119]
#已完成爬取数据的进程id数组，从数据里查到的，但因为每次启动程序，此处只执行一次，就直接硬编码，没有写自动获取的方法

if __name__ == '__main__':
    jobs = []
    Crawler.ips = Crawler.get_ip_arr()
    #获取代理ip组
    # print Crawler.ips
    # Crawler.test_ip(1000007)
    for i in range(11, 200):
        if i in done_id_arr:
            # 如果 第 i 个进程的数据已经爬完了，即 i 在 done_id_arr中，
            # 说明此进程没有开的必要了，可节省相应资源
            pass
        else:
            # 单开进程，爬取第 i 个id组的数据
            p = multiprocessing.Process(target=worker, args=(i,))
            jobs.append(p)
            p.start()

执行效率前面已经说过了，有效数据大概在5w条/小时。这段程序大概开了四天多，最后的数据总量是 5645271条有效记录。（当然数据并不是一次就爬成的，加上之前的调试异常捕获，调试数据库，调试代理ip，这些零零碎碎有十几w的数据量，然后程序稳定后，没有动自己跑，连续不间断的运行时间大概有三天多）。总的来说，还是有些成就感的。

屏幕快照 2017-11-08 下午2.03.57.png