美文网首页
Python爬虫笔记(7):多线程下载热门小说

Python爬虫笔记(7):多线程下载热门小说

作者: 坐下等雨 | 来源:发表于2018-11-30 21:14 被阅读0次

双十一购买了一部阅读器,用来学习之余,突然想读几本小说,可是阅读器里面的小说基本都需要代金券。虽然每天签到领取的代金券也足够看几章了,但是对于我这种懒人总是忘记领取。另外学了爬虫,还靠领粮票过日子?不存在的。马上去网上爬取一些小说屯着过冬吧~

目标:爱下电子书网

  • 其实我看的小说比较少,网络小说也很少,这也导致我写的作文总是很通俗,但不是很易懂。。。
  • 这个网站可以下载阅读器支持的epub格式,所以就拿来练练手吧。既然不知道看什么,那就把下载排行榜的书全下下来吧,囧~~~~
  • 请忽略排版,刚接触markdown,总是喜欢乱用这些符号,假装我在练习,嘿嘿
  • 另外我对多线程的理解还处在混沌阶段,只能是依葫芦画瓢,总之先会用,至于理论,慢慢消化吧。

先上代码,后面我尝试解释一波

from lxml import etree
import requests
import os
from urllib.request import urlretrieve
from urllib import error
import threading
from queue import Queue

# 1、生产者
class Rroducer(threading.Thread):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
    }

    def __init__(self, page_queue, book_queue, *args, **kwargs):
        super(Rroducer, self).__init__(*args, **kwargs)
        self.page_queue = page_queue
        self.book_queue = book_queue

    def run(self):
        while True:
            if self.page_queue.empty():
                break
            url = self.page_queue.get()
            self.get_page(url)

    def get_page(self, url):
        r = requests.get(url, headers=self.headers)
        r.encoding = r.apparent_encoding
        html = etree.HTML(r.text)
        hrefs = html.xpath("//h2[@class='b_name']/a/@href")
        for href in hrefs:
            href = 'https://www.ixdzs.com' + href
            self.get_link(href)

    def get_link(self, url):
        r = requests.get(url, headers=self.headers)
        r.encoding = r.apparent_encoding
        html = etree.HTML(r.text)
        href = html.xpath("//div[@id='epub_down']/a[1]/@href")[0]
        href = 'https://www.ixdzs.com' + href
        name = html.xpath("//div[@id='epub_down']/a[1]/@title")[0].split('e')[0] + '.epub'
        self.book_queue.put((href, name))

# 2、消费者
class Consumer(threading.Thread):
    def __init__(self, page_queue, book_queue, *args, **kwargs):
        super(Consumer, self).__init__(*args, **kwargs)
        self.page_queue = page_queue
        self.book_queue = book_queue

    def run(self):
        while True:
            if self.book_queue.empty() and self.page_queue.empty():
                break
            href, name = self.book_queue.get()
            self.save_book(href, name)

    def save_book(self, href, name):
        filename = os.path.join('books', name)
        if not os.path.exists('books'):
            os.makedirs('books')
        try:
            urlretrieve(href, filename)
            print('已下载', name)
        except error:
            print('下载失败', name)


if __name__ == '__main__':
    page_queue = Queue(20)
    book_queue = Queue(500)

    urls = ['https://www.ixdzs.com/hot.html?page={}'.format(i) for i in range(1, 21)]
    for url in urls:
        page_queue.put(url)

    for x in range(5):
        t = Rroducer(page_queue, book_queue)
        t.start()

    for x in range(5):
        t = Consumer(page_queue, book_queue)
        t.start()

粗浅的理解:

  1. 这里定义了两个类,Rroducer和Consumer,他们都继承Python自带的多线程类threading.Thread
  2. 既然用到多线程,就要考虑到线程安全。当两个线程同时访问一个内存空间时,就有可能造成数据污染。所以需要给线程加锁,当一个线程访问一个数据时,其他线程是不能访问此数据的,直到此线程完成访问,释放线程锁,其他线程拿到锁以后才可以访问。这就要求写爬虫时需要给各个线程加锁,在释放锁,很麻烦。
  3. 简单些的方法是通过队列Queue。Queue是python标准库中的线程安全的队列(FIFO)实现,提供了一个适用于多线程编程的先进先出的数据结构。由于队列是线程安全的,所以省去了加锁解锁的步骤。
  4. 然后我们还要大概了解一下什么是生产者和消费者模式。

在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程。在多线程开发当中,如果生产者处理速度很快,而消费者处理速度很慢,那么生产者就必须等待消费者处理完,才能继续生产数据。同样的道理,如果消费者的处理能力大于生产者,那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。

  1. 本爬虫的实际情况是,Rroducer类是生产者,生产 url 链接;Consumer类是消费者,拿着生产出来的url 去消费(下载小说)。这里获取url 的生产者的速度要比频繁进行I/O操作的消费者要快。所以队列就很好的解决了生产者就必须等待消费者处理完,才能继续生产url 的问题。生产者只要把生产的url 放到队列里,不用等着消费者来拿,可以继续进行再生产。
  2. 如果理解了生产者和消费者模式,想要写出多线程爬虫的代码那就像背诵课文,只是多练习多熟悉的问题了。

最后附上爬取结果

1.png

相关文章

网友评论

      本文标题:Python爬虫笔记(7):多线程下载热门小说

      本文链接:https://www.haomeiwen.com/subject/fufhcqtx.html