python爬虫12：巩固多协程爬虫

from gevent import monkey
monkey.patch_all()
#让程序变成异步模式
import gevent,requests,bs4,csv
from gevent.queue import Queue

work = Queue()
#创建队列对象，赋值给work

url1 = 'http://www.boohee.com/food/group/'
url2 = 'http://www.boohee.com/food/view_menu'
#url为前3个常见食物 url2为第11个常见食物

for i in range(1,4):
    url2s = url2 + '?page=' + str(i)
    work.put_nowait(url2s)
    for m in range(1,4):
        url1s = url1 + str(i) + '?page=' + str(m)
        work.put_nowait(url1s)
        #通过两个for循环，设置分类的数字和页数的数字
        #put_nowait函数将网址添加到队列

def crawler():
    #定义函数
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
    }
    #添加请求头
    while not work.empty():
        #当队列不是空的时候，执行下面程序
        url = work.get_nowait()
        #用get_nowait函数从队列里把网址提取出来
        res = requests.get(url,headers=headers)
        #获取网页源代码
        bs_res = bs4.BeautifulSoup(res.text,'html.parser')
        #解析网页源代码
        foods = bs_res.find_all('li',class_="item clearfix")
        #提取标签内容
        for food in foods:
            food_name = food.find_all('a')[1]['title']
            #提取第2个<a>元素title属性的值，也就是食物名称
            food_url = 'http://www.boohee.com' + food.find_all('a')[1]['href']
            #提取第2个<a>元素href属性的值
            food_calorie = food.find("p").text
            #提取<p>元素的广本
            writer.writerow([food_name,food_calorie,food_url])
            #借助writerow函数，把提取到的数据写入csv文件

csv_file = open('boohee.csv','w',newline='')
#调用open函数打开csv文件，传入参数：文件名，写入模式，newline=''
writer = csv.writer(csv_file)
#用csv.writer创建一个write对象
writer.writerow(['食物','热量','链接'])
#借助writerow函数往csv文件里写入文字：食物、热量、链接

tasks_list = []
for x in range(4):
    task = gevent.spawn(crawler)
    tasks_list.append(task)
    #创建4个爬虫，创建执行任务，添加到任务清单中
gevent.joinall(tasks_list)
#启动协程，执行所有任务，开始爬虫