1.队列

使用Queue

• 队列的重点：常规队列操作[LILO队列]
• 队列的特点：线程安全的！

    import Queue

    # 1. 常规队列LILO队列【FIFO】
    q1 =Queue.Queue()
 
    #添加数据：吃
    q1.put('a')
    q1.put('b')

    #打印队列中的数据
    print q1.queue

    #取出队列中的数据：先进先出原则
    print q1.get()
    print q1.queue
    print q1.get()
    # 当队列里没有数据是，get获取不到到数据，会造成阻塞

    #2.栈队列——LIFO
    q2=Queue.LifoQueue()  #后进先出
  
    # 添加数据：吃
    q2.put("1")
    q2.put("2")
    #qsize是获取队列里的数据数量
    print q2.queue, q2.qsize()
    # 取出数据：吐
    print q2.get()  # ：2
    print q2.get()  # ：1

    #3.优先队列：添加的数据在提取时符合一定的优先规则
    q3=Queue.PriorityQueue()
    print q3


    #4.两端队列
    q4 =Queue.deque()
    #添加
    q4.append('a')# 从队列的右端添加数据：常规操作
    q4.append('b')
    q4.appendleft('1')# 从队列的左端添加数据
    q4.appendleft('2')
    #移除
    q4.pop()# 从右端获取并移除数据
    q4.popleft()#从左端获取并移除数据

2.多进程

• 用Queue队列保存爬虫访问URL
• threading 加锁模块，防止多个线程执行一个URL

    #引入需要的模块
    import requests
    import Queue   
    import threading   #有Lock和Rlock 两种

    # RLock() 当前线程频繁访问自己的数据：递归

    #多个线程访问共享数据
    lock=threading.Lock()

    # 一、模拟接到的需求，从n个url地址中获取数据

    # 创建一个保存url地址的LILO队列
    url_queue=Queue.Queue()

    #for循环添加所有需要的地址
    for page in range(0,5):
        url_queue.put('URL路由')

    #二、核心爬虫程序
    def spider(urlqueue):
        #开始爬取，当urlqueue队列中，还有未操作的url地址时，爬虫不能停
        while url_queue.qsize()>0:
              if lock.acquire():# 给可能出现数据访问冲突的代码块上锁
                  # 获取要爬取的url地址
                  url = urlqueue.get()
                  # 开始爬取数据的操作：后续完善爬虫采集数据的部分
                  print("剩余数据：%s；线程%s开始对%s进行爬取" % (urlqueue.qsize(), threading.currentThread().name, url))

                  # 爬取数据消耗时间
                  headers = {
                    "Referer": '********',
                    "User-agent": "******"
                  }
                  response = requests.get(url, headers=headers)

                  filename = url[-20:] + ".html"
                  with open(filename, "w") as f:
                      f.write(response.text.encode("utf-8"))

                  # 爬取结束
                  print("爬取完成:对%s目标地址爬取完成" % url)
                  # 当前执行完成会，解锁数据
                  lock.release()

    if __name__ == '__main__':
        #声明一个变量，保存多个线程
        threads=[]
        # 声明一个变量，控制启动多个线程
        threads_num=3
        #创建线程对象，并启动线程
        for ct in range(0,threads_num):
            #创建线程对象
            current_thread=threading.Thread(target=spider,args=(url_queue,))
            current_thread.start()

            #将线程保存在列表里
            threads.append(current_thread)
            #让线程join，就是让主线程等待所有子线程结束在结束
            for t in threads:
                t.join()
            print ('运行结束。。。')