多进程知识点总结2

1.进程池

当我们需要的进程数量不多的时候，我们可以使用multiprocessing的Process类来创建进程。但是如果我们需要的进程特别多的时候，手动创建工作量太大了，所以Python也为我们提供了Pool（池）的方式来创建大量进程。
需要注意：主进程不能结束

from multiprocessing import Pool
import time
# 进程池为了解决高并发时进行不断地创建销毁而浪费资源而设计的


def download(path):
    print("一个独立的子进程", path)
    print("下载完成")
    time.sleep(1)
    return 1


def save(args):
    print(args)
    print("下载完成视频后保存视频")

# 回调函数
# def save():
#     print("下载完成，以保存")

# def run(path):
#     for x in range(10):
#         print("zi", x.os.getpid())
#         time.sleep(1)

if __name__ == '__main__':

    # 申请进程池，进程池开辟的进程是守护进程，依赖于主进程存活
    pool = Pool(6)
    for x in range(10):
        # pool.apply_async()  异步，相互抢占资源
        pool.apply_async(func=download, args=("www.xxx.com",), callback=save)
        # pool.apply() 同步，排队形式走，一个结束另一个才会执行
        # pool.apply()
    # 结束申请，需要放在join之前
    pool.close()
    # 进程对象的join方法，使主进程等待当前
    # 子进程运行结束后再进行运行
    pool.join()
    print("程序运行完成")

2.本地进程间的通讯方式

1.队列Queue

队列中的方法如下：

from multiprocessing import Pool,Queue

q = Queue(5)#可以推几个数据

q.empty()#是否空 布尔值
q.full()#是否满 布尔值
"""
如果超出3个，put会卡主，如果get了所有数据，get会卡主
"""
q.put(3)#推
q.get()#获得
q.qsize()#有几个数据

#没有数据不会卡主，不会等待，会抛出错误
q.get_nowait()
q.put_nowait()
"""
get，put中默认值，block为是否锁定，可改为false会没有值抛出错误
timeout 可设置等待时间,过时抛出错误
"""
q.get(block = True,timeout = None)
q.put(block = True,timeout = None)

实例

from multiprocessing import Process,Queue
import time

def send(q):
    while True:
        print("发送数据子进程开始运行了")
        q.put("你好吗？")
        time.sleep(1)

def revice(q):
    while True:
        print("接受数据的子进程开始运行了")
        data = q.get()
        print("数据是=====>",data)
        time.sleep(1)

if __name__ == "__main__":
    q = Queue()

    t1 = Process(target=send,args=[q],name="sendData")
    t1.start()

    t2 = Process(target=revice,args=[q],name="reviceData")
    t2.start()

2.管道Pipe

from multiprocessing import Process, Pipe


def send(p):
    msg = " 管道 "
    print("子程序", msg)
    p.send("k")
    print("数据发送成功")
    p.close()

def receive(p):
    print("接受管道", p)

if __name__ == "__main__":
    parent_conn,son_conn = Pipe()

    t1 = Process(target=send,args=(son_conn,),name="sendData")
    t1.start()
    print("接受到数据==>",parent_conn.recv())