requests+多线程（四）之 下载斗图表情包

既然提到多线程，那么为何用多线程呢？？？打个比方，好比做某件事，单线程就是一个人去做，多线程呢就是有多个人去完成，那么排除掉如死锁等特殊原因，当然多个人去完成某件事会比较快一些了。

多线程的最高境界是并行完成，当然一般是并发的，那么啥叫并发和并行呢？并行即同时去完成，并发就是有可能需要排队有时就一起去完成。

Python中一般多线程的实现方式有两种方式：1）继承 threading.Thread 类并与 queue.Quque() 结合使用（分段完成） 2）调用函数

好了，接下来我们直接上案例：多线程下载斗图网的表情包(https://www.doutula.com/article/list/?page=1)

一、导入我们所需的基本模块以及请求源码的函数

import requests, time, threading
from lxml import etree
import urllib.request
from multiprocessing.dummy import Pool as ThreadPool    # 这里注意的是：导入dummy 表示是多线程而非多进程


# 获取源码
def get_html(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}
    response = requests.get(url=url, headers=headers)
    return response.text

二、接下来我们观察下源码，并使用 XPath 对源码进行解析获取跳转链接：

4.png
这里值得提的是：最好 观察源码，因此在右键“检查”中有些属性是和源码显示的是不一样的，观察了源码之后我们发现列表的10个选项中都有同一个 class 属性值，因此代码解析代码函数如下：

# 获取跳转链接
def get_a_href(url):
    html = get_html(url)  # 获取源码
    selector = etree.HTML(html)  # 自动修正代码
    data = selector.xpath('//a[@class="list-group-item random_list"]/@href')  # 获取所有的跳转链接
    for url in data:
        img_html = get_html(url)  # 获取源码
        get_img_src(img_html)  # 调用解析获取图片链接函数

在以上方法的源码中的循环里面有两个函数，第一个函数就是刚刚定义的根据 url 获取源码内容，第二个函数就是解析跳转后源码中的图片链接，，，这里我建议还是先别直接写着两个函数，最好先输出测试一下看看我们的解析跳转链接正确了木有，如果没问题再做进一步的编写，输出效果如下表示没问题：

5.png

三、接下来我们先观察下跳转后页面效果及源代码

6.png

观察了源码之后我们开始编写解析全部图片链接的函数 <<<这里注意的是：待会儿我们进行单线程和多线程的切换是在这个函数进行的>>>：

# 解析获取图片链接
def get_img_src(html):
    selector = etree.HTML(html)  # 自动修正代码
    img_src_list = selector.xpath('//tbody/tr[1]/td/a/img/@src')

    for url in img_src_list:
        print("全部图片的链接为-> ", url)

    # for url in img_src_list:    #单线程执行
    #     save_img(url)  # 下载图片

    # start_thread_save_img(img_src_list)   # 调用多线程的函数

我们调用相应函数之后运行如下说明我们解析没问题：

7.png

四、测试成功后，我们去掉数据循环语句，然后先去实现下单线程 的 save_img(url) 函数进行图片的下载：

# 下载图片
def save_img(img_url):
    print("正在下载链接 -> ", img_url)
    if img_url.startswith('//'):    # 防止长图片没有协议
        img_url = "https:" + img_url

    urllib.request.urlretrieve(img_url, 'C:/Users/Administrator/Desktop/doutuimage/%s' % img_url.split('/')[-1])  # 截取名字并下载到本地

五、为了方便观察单线程与多线程下载的时间差，我们编写一个标准化的输出函数：

def main():
    url = "https://www.doutula.com/article/list/?page={}"   # 点击不同页面在地址栏中观察地址的变换即可找出规律
    start_time = time.time()
    for i in range(1, 6):  # 获取 6页图标
        get_a_href(url.format(i))
    end_time = time.time()
    print("共耗时：", end_time-start_time)


if __name__ == '__main__':   # 判断文件入口
    main()

六、接下来我们用单线程运行一下观察下效果：

8.png

七、我们注释掉 get_img_src(html) 函数中的 单线程 执行语句，然后去掉 多线程 函数的 注释符号，再对该函数编写代码：

# 多线程
def start_thread_save_img(img_url_list):
    #方式一：使用线程池
    pool = ThreadPool(6)
    pool.map(save_img, img_url_list)
    pool.close()
    # pool.join()  # join所完成的工作就是线程同步，即主线程任务结束之后，进入阻塞状态，一直等待其他的子线程执行结束之后，主线程在终止

    #方式二：没有线程限制
    # for url in img_url_list:
    #     th = threading.Thread(target=save_img, args=(url,))
    #     th.start()

八、经过对比我们可以知道多线程和单线程的不一样咯，还有多线程函数里的两个方式最好试一下效率哦，下过图如下：

9.png

好了，这个多线程就写到这里，其实如果真正写过去一遍之后感觉也挺容易的，接下来不要犹豫，直接动手吧！下一篇我们开搞多进程，希望能帮助到您哦！！！(如有疑问可留言...)