美文网首页
python爬虫11:gevent queue

python爬虫11:gevent queue

作者: Iphone60Plus | 来源:发表于2020-06-07 09:24 被阅读0次

同步和异步的概念


image.png

异步:gevent库


image.png
image.png
image.png
from gevent import monkey
#从gevent库中导入monkey模块
monkey.patch_all()
#变为协作式运行,异步,注意:要在其他库和模块前把monkey模块导入进来
import gevent,time,requests
#导入geveng,time,requests库

start = time.time()
#记录程序开始时间

url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']
#8个网站封装成列表

def crawler(url):
    r = requests.get(url)
    print(url,time.time()-start,r.status_code)
    #定义函数,用requests.get爬取网站,然后打印网址、运行时间、状态码

tasks_list = []
#创建空任务列表

for url in url_list:
    task = gevent.spawn(crawler,url)
    tasks_list.append(tasks_list)
    #遍历网址,用gevent.spawn()函数创建任务,添加到任务列表中
gevent.joinall(tasks_list)
#执行任务列表里的所有任务,开始爬虫

end = time.time()
#记录程序结束时间
print(end-start)

多协程,是非抢占式的异步方法,使用多协程,能让多个爬虫用异步方式交替执行
多协程:Queue


image.png
image.png
from gevent import monkey
#从gevent库导入monkey模块
monkey.patch_all()
#创建协作式运行,异步
import gevent,time,requests
#引入gevent,time,requests库
from gevent.queue import Queue
#从gevent库里导入queue模块

start = time.time()
#记录开始时间

url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']

work = Queue()
#创建列表对象,并赋值给work
for url in url_list:
    work.put_nowait(url)
    #遍历网址列表,把网址放进队列里

def crawler():
    while not work.empty():
        url = work.get_nowait()
        r = requests.get(url)
        print(url,work.qsize(),r.status_code)
        #创建函数,当队列不为空时,从队列网址列表中取出,用requests.get()抓取网址,并打印网址、队列长度、状态码

tasks_list = []
#创建空任务列表
for x in range(2):
    task = gevent.spawn(crawler)
    tasks_list.append(task)
    #创建了2个爬虫,用gevent.spawn()函数创建执行crawler()函数的任务,并添加到任务列表
gevent.joinall(tasks_list)
#用gevent.joinall方法,执行列表中所有任务,开始爬虫
end = time.time()
print(end-start)

相关文章

网友评论

      本文标题:python爬虫11:gevent queue

      本文链接:https://www.haomeiwen.com/subject/eziqtktx.html