python爬虫之多进程的使用及创建

  from multiprocessing import Process,Queue
  import os
  #maxsize=-1:设置队列中嫩够存储的最大元素的个数
  data_queue = Queue(maxsize=10)
  def write_data(num,data_queue):
      print(num)
      #global data_queue
      for i in range(0,num):
          data_queue.put(i)
      print(os.getpid(),data_queue.full())
  def read_data(data_queue):
      print('正在读取',os.getpid())
      #global data_queue
      print(data_queue.qsize())
      for i in range(0,data_queue.qsize()):
          print(data_queue.get())
  if __name__ == '__main__':
      #os.getpid()获取进程的id
      print('主进程开启',os.getpid())
      #创建子进程
      """
      target=None,:设置进程要执行的函数
      name=None,:设置进程的名称
      args=(), :给进程执行的函数传递参数（tuple类型）
      kwargs={}　:给进程执行的函数传递参数（字典类型）
      """
      process1 = Process(target=write_data,args=(10,data_queue))
      #使用start()启动进程
      process1.start()
      #timeout=5:设置阻塞时间
      process1.join()
      process2 = Process(target=read_data,args=(data_queue,))
      # 使用start()启动进程
      process2.start()
      # timeout=5:设置阻塞时间
      process2.join()
      print('主进程结束',os.getpid())