python爬虫11：gevent queue

同步和异步的概念

image.png

异步：gevent库

image.png
image.png
image.png

from gevent import monkey
#从gevent库中导入monkey模块
monkey.patch_all()
#变为协作式运行，异步,注意：要在其他库和模块前把monkey模块导入进来
import gevent,time,requests
#导入geveng,time,requests库

start = time.time()
#记录程序开始时间

url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']
#8个网站封装成列表

def crawler(url):
    r = requests.get(url)
    print(url,time.time()-start,r.status_code)
    #定义函数，用requests.get爬取网站，然后打印网址、运行时间、状态码

tasks_list = []
#创建空任务列表

for url in url_list:
    task = gevent.spawn(crawler,url)
    tasks_list.append(tasks_list)
    #遍历网址，用gevent.spawn()函数创建任务，添加到任务列表中
gevent.joinall(tasks_list)
#执行任务列表里的所有任务，开始爬虫

end = time.time()
#记录程序结束时间
print(end-start)

多协程，是非抢占式的异步方法，使用多协程，能让多个爬虫用异步方式交替执行
多协程：Queue

image.png
image.png

from gevent import monkey
#从gevent库导入monkey模块
monkey.patch_all()
#创建协作式运行，异步
import gevent,time,requests
#引入gevent,time,requests库
from gevent.queue import Queue
#从gevent库里导入queue模块

start = time.time()
#记录开始时间

url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']

work = Queue()
#创建列表对象，并赋值给work
for url in url_list:
    work.put_nowait(url)
    #遍历网址列表，把网址放进队列里

def crawler():
    while not work.empty():
        url = work.get_nowait()
        r = requests.get(url)
        print(url,work.qsize(),r.status_code)
        #创建函数，当队列不为空时，从队列网址列表中取出，用requests.get()抓取网址，并打印网址、队列长度、状态码

tasks_list = []
#创建空任务列表
for x in range(2):
    task = gevent.spawn(crawler)
    tasks_list.append(task)
    #创建了2个爬虫，用gevent.spawn()函数创建执行crawler()函数的任务，并添加到任务列表
gevent.joinall(tasks_list)
#用gevent.joinall方法，执行列表中所有任务，开始爬虫
end = time.time()
print(end-start)