双十一购买了一部阅读器，用来学习之余，突然想读几本小说，可是阅读器里面的小说基本都需要代金券。虽然每天签到领取的代金券也足够看几章了，但是对于我这种懒人总是忘记领取。另外学了爬虫，还靠领粮票过日子？不存在的。马上去网上爬取一些小说屯着过冬吧~

目标：爱下电子书网

• 其实我看的小说比较少，网络小说也很少，这也导致我写的作文总是很通俗，但不是很易懂。。。
• 这个网站可以下载阅读器支持的epub格式，所以就拿来练练手吧。既然不知道看什么，那就把下载排行榜的书全下下来吧，囧~~~~
• 请忽略排版，刚接触markdown，总是喜欢乱用这些符号，假装我在练习，嘿嘿
• 另外我对多线程的理解还处在混沌阶段，只能是依葫芦画瓢，总之先会用，至于理论，慢慢消化吧。

先上代码，后面我尝试解释一波

from lxml import etree
import requests
import os
from urllib.request import urlretrieve
from urllib import error
import threading
from queue import Queue

# 1、生产者
class Rroducer(threading.Thread):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
    }

    def __init__(self, page_queue, book_queue, *args, **kwargs):
        super(Rroducer, self).__init__(*args, **kwargs)
        self.page_queue = page_queue
        self.book_queue = book_queue

    def run(self):
        while True:
            if self.page_queue.empty():
                break
            url = self.page_queue.get()
            self.get_page(url)

    def get_page(self, url):
        r = requests.get(url, headers=self.headers)
        r.encoding = r.apparent_encoding
        html = etree.HTML(r.text)
        hrefs = html.xpath("//h2[@class='b_name']/a/@href")
        for href in hrefs:
            href = 'https://www.ixdzs.com' + href
            self.get_link(href)

    def get_link(self, url):
        r = requests.get(url, headers=self.headers)
        r.encoding = r.apparent_encoding
        html = etree.HTML(r.text)
        href = html.xpath("//div[@id='epub_down']/a[1]/@href")[0]
        href = 'https://www.ixdzs.com' + href
        name = html.xpath("//div[@id='epub_down']/a[1]/@title")[0].split('e')[0] + '.epub'
        self.book_queue.put((href, name))

# 2、消费者
class Consumer(threading.Thread):
    def __init__(self, page_queue, book_queue, *args, **kwargs):
        super(Consumer, self).__init__(*args, **kwargs)
        self.page_queue = page_queue
        self.book_queue = book_queue

    def run(self):
        while True:
            if self.book_queue.empty() and self.page_queue.empty():
                break
            href, name = self.book_queue.get()
            self.save_book(href, name)

    def save_book(self, href, name):
        filename = os.path.join('books', name)
        if not os.path.exists('books'):
            os.makedirs('books')
        try:
            urlretrieve(href, filename)
            print('已下载', name)
        except error:
            print('下载失败', name)


if __name__ == '__main__':
    page_queue = Queue(20)
    book_queue = Queue(500)

    urls = ['https://www.ixdzs.com/hot.html?page={}'.format(i) for i in range(1, 21)]
    for url in urls:
        page_queue.put(url)

    for x in range(5):
        t = Rroducer(page_queue, book_queue)
        t.start()

    for x in range(5):
        t = Consumer(page_queue, book_queue)
        t.start()

粗浅的理解：

1. 这里定义了两个类，Rroducer和Consumer，他们都继承Python自带的多线程类threading.Thread
2. 既然用到多线程，就要考虑到线程安全。当两个线程同时访问一个内存空间时，就有可能造成数据污染。所以需要给线程加锁，当一个线程访问一个数据时，其他线程是不能访问此数据的，直到此线程完成访问，释放线程锁，其他线程拿到锁以后才可以访问。这就要求写爬虫时需要给各个线程加锁，在释放锁，很麻烦。
3. 简单些的方法是通过队列Queue。Queue是python标准库中的线程安全的队列（FIFO）实现,提供了一个适用于多线程编程的先进先出的数据结构。由于队列是线程安全的，所以省去了加锁解锁的步骤。
4. 然后我们还要大概了解一下什么是生产者和消费者模式。

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。

5. 本爬虫的实际情况是，Rroducer类是生产者，生产 url 链接；Consumer类是消费者，拿着生产出来的url 去消费（下载小说）。这里获取url 的生产者的速度要比频繁进行I/O操作的消费者要快。所以队列就很好的解决了生产者就必须等待消费者处理完，才能继续生产url 的问题。生产者只要把生产的url 放到队列里，不用等着消费者来拿，可以继续进行再生产。
6. 如果理解了生产者和消费者模式，想要写出多线程爬虫的代码那就像背诵课文，只是多练习多熟悉的问题了。

最后附上爬取结果