Python爬虫入门【9】:图虫网多线程爬取

作者: IT派森 | 来源:发表于2019-07-23 15:38 被阅读3次

    图虫网-写在前面

    经历了一顿噼里啪啦的操作之后,终于我把博客写到了第10篇,后面,慢慢的会涉及到更多的爬虫模块,有人问scrapy 啥时候开始用,这个我预计要在30篇以后了吧,后面的套路依旧慢节奏的,所以莫着急了,100篇呢,预计4~5个月写完,常见的反反爬后面也会写的,还有fuck login类的内容。

    图虫网-爬取图虫网

    为什么要爬取这个网站,不知道哎~ 莫名奇妙的收到了,感觉图片质量不错,不是那些妖艳贱货 可以比的,所以就开始爬了,搜了一下网上有人也在爬,但是基本都是py2,py3的还没有人写,所以顺手写一篇吧。

    起始页面

    https://tuchong.com/explore/
    这个页面中有很多的标签,每个标签下面都有很多图片,为了和谐,我选择了一个非常好的标签花卉 你可以选择其他的,甚至,你可以把所有的都爬取下来。

    https://tuchong.com/tags/%E8%8A%B1%E5%8D%89/  # 花卉编码成了  %E8%8A%B1%E5%8D%89  这个无所谓
    
    

    我们这次也玩点以前没写过的,使用python中的queue,也就是队列

    下面是我从别人那顺来的一些解释,基本爬虫初期也就用到这么多

    1. 初始化: class Queue.Queue(maxsize) FIFO 先进先出
    
    2\. 包中的常用方法:
    
        - queue.qsize() 返回队列的大小
        - queue.empty() 如果队列为空,返回True,反之False
        - queue.full() 如果队列满了,返回True,反之False
        - queue.full 与 maxsize 大小对应
        - queue.get([block[, timeout]])获取队列,timeout等待时间
    
    3. 创建一个“队列”对象
        import queue
        myqueue = queue.Queue(maxsize = 10)
    
    4. 将一个值放入队列中
        myqueue.put(10)
    
    5. 将一个值从队列中取出
        myqueue.get()
    
    

    开始编码

    首先我们先实现主要方法的框架,我依旧是把一些核心的点,都写在注释上面

    def main():
        # 声明一个队列,使用循环在里面存入100个页码
        page_queue  = Queue(100)
        for i in range(1,101):
            page_queue.put(i)
    
        # 采集结果(等待下载的图片地址)
        data_queue = Queue()
    
        # 记录线程的列表
        thread_crawl = []
        # 每次开启4个线程
        craw_list = ['采集线程1号','采集线程2号','采集线程3号','采集线程4号']
        for thread_name in craw_list:
            c_thread = ThreadCrawl(thread_name, page_queue, data_queue)
            c_thread.start()
            thread_crawl.append(c_thread)
    
        # 等待page_queue队列为空,也就是等待之前的操作执行完毕
        while not page_queue.empty():
            pass
    
    if __name__ == '__main__':
        main()
    Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎
    

    代码运行之后,成功启动了4个线程,然后等待线程结束,这个地方注意,你需要把 ThreadCrawl 类补充完整

    class ThreadCrawl(threading.Thread):
    
        def __init__(self, thread_name, page_queue, data_queue):
            # threading.Thread.__init__(self)
            # 调用父类初始化方法
            super(ThreadCrawl, self).__init__()
            self.threadName = thread_name
            self.page_queue = page_queue
            self.data_queue = data_queue
    
        def run(self):
            print(self.threadName + ' 启动************')
    
    

    运行结果

    线程已经开启,在run方法中,补充爬取数据的代码就好了,这个地方引入一个全局变量,用来标识爬取状态
    CRAWL_EXIT = False

    先在main方法中加入如下代码

    CRAWL_EXIT = False  # 这个变量声明在这个位置
    class ThreadCrawl(threading.Thread):
    
        def __init__(self, thread_name, page_queue, data_queue):
            # threading.Thread.__init__(self)
            # 调用父类初始化方法
            super(ThreadCrawl, self).__init__()
            self.threadName = thread_name
            self.page_queue = page_queue
            self.data_queue = data_queue
    
        def run(self):
            print(self.threadName + ' 启动************')
            while not CRAWL_EXIT:
                try:
                    global tag, url, headers,img_format  # 把全局的值拿过来
                    # 队列为空 产生异常
                    page = self.page_queue.get(block=False)   # 从里面获取值
                    spider_url = url_format.format(tag,page,100)   # 拼接要爬取的URL
                    print(spider_url)
                except:
                    break
    
                timeout = 4   # 合格地方是尝试获取3次,3次都失败,就跳出
                while timeout > 0:
                    timeout -= 1
                    try:
                        with requests.Session() as s:
                            response = s.get(spider_url, headers=headers, timeout=3)
                            json_data = response.json()
                            if json_data is not None:
                                imgs = json_data["postList"]
                                for i in imgs:
                                    imgs = i["images"]
                                    for img in imgs:
                                        img = img_format.format(img["user_id"],img["img_id"])
                                        self.data_queue.put(img)  # 捕获到图片链接,之后,存入一个新的队列里面,等待下一步的操作
    
                        break
    
                    except Exception as e:
                        print(e)
    
                if timeout <= 0:
                    print('time out!')
    def main():
        # 代码在上面
    
        # 等待page_queue队列为空,也就是等待之前的操作执行完毕
        while not page_queue.empty():
            pass
    
        # 如果page_queue为空,采集线程退出循环
        global CRAWL_EXIT
        CRAWL_EXIT = True
    
        # 测试一下队列里面是否有值
        print(data_queue)
    
    

    经过测试,data_queue 里面有数据啦!!,哈哈,下面在使用相同的操作,去下载图片就好喽

    完善main方法

    def main():
        # 代码在上面
    
        for thread in thread_crawl:
            thread.join()
            print("抓取线程结束")
    
        thread_image = []
        image_list = ['下载线程1号', '下载线程2号', '下载线程3号', '下载线程4号']
        for thread_name in image_list:
            Ithread = ThreadDown(thread_name, data_queue)
            Ithread.start()
            thread_image.append(Ithread)
    
        while not data_queue.empty():
            pass
    
        global DOWN_EXIT
        DOWN_EXIT = True
    
        for thread in thread_image:
            thread.join()
            print("下载线程结束")
    
    

    还是补充一个 ThreadDown 类,这个类就是用来下载图片的。

    
    class ThreadDown(threading.Thread):
        def __init__(self, thread_name, data_queue):
            super(ThreadDown, self).__init__()
            self.thread_name = thread_name
            self.data_queue = data_queue
    
        def run(self):
            print(self.thread_name + ' 启动************')
            while not DOWN_EXIT:
                try:
                    img_link = self.data_queue.get(block=False)
                    self.write_image(img_link)
                except Exception as e:
                    pass
    
        def write_image(self, url):
    
            with requests.Session() as s:
                response = s.get(url, timeout=3)
                img = response.content   # 获取二进制流
    
            try:
                file = open('image/' + str(time.time())+'.jpg', 'wb')
                file.write(img)
                file.close()
                print('image/' + str(time.time())+'.jpg 图片下载完毕')
    
            except Exception as e:
                print(e)
                return
    Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎
    

    运行之后,等待图片下载就可以啦~~

    关键注释已经添加到代码里面了,收图吧 (◕ᴗ◕✿),这次代码回头在上传到github上 因为比较简单

    当你把上面的花卉修改成比如xx啥的,就是天外飞仙

    相关文章

      网友评论

        本文标题:Python爬虫入门【9】:图虫网多线程爬取

        本文链接:https://www.haomeiwen.com/subject/vdsglctx.html