Python3.x：进程锁与进程池

进程锁

上篇说了不需要加进程锁，但是这里还是要了解一下进程锁，因为在python2中，进程加锁还是很有必要的

from multiprocessing import Process
from multiprocessing import Lock


def foo(l, i):
    l.acquire()
    print('hello james', i)
    l.release()


# 主进程
if __name__ == '__main__':
    # 生成进程锁实例
    lock = Lock()
    # 10个进程
    for num in range(10):
        Process(target=foo, args=(lock, num)).start()

注意的是要将生成的锁传入子进程中

进程池

进程池有点类似线程中的信号量，但是比信号量要重要许多，因为进程过多可能会超过机器的负担，所以说进程池的使用是非常有必要的

进程池用到的库：from multiprocessing import Pool

提供了两个方法
apply # 进程变为串行
apply_async # 异步执行

from multiprocessing import Process
from multiprocessing import Pool
import time


def foo(i):
    time.sleep(2)
    print('in process', i)
    return i + 100


def bar(arg):
    print('-->exec done:', arg)


# 等价pool = Pool(5)控制进程池最大进程数
pool = Pool(processes=5)

for i in range(10):
    # pool.apply_async(func=Foo, args=(i,), callback=Bar)
    pool.apply(func=foo, args=(I,))

print('end')
pool.close()
# 进程池中进程执行完毕后再关闭，如果不使用，主进程结束则程序直接关闭
pool.join()

进程串行
这里要注意的地方比较多
1.如果在win系统下使用Pool开启多个进程那么需要加上
if __name__ == '__main__':在这段代码内开启进程

2.apply实现的是进程串行，apply_async才可以实现规定量进程并发，但是这几个进程在生成的时候就已经全部启动了，只是暂时挂起，每次允许一定量的进程运行

3..join()是必须的，不然主进程结束后程序不会等子进程就结束，然后顺序是先.close()关闭进程池再使用.join()
看看如何实现进程并发：

from multiprocessing import Process
from multiprocessing import Pool
import time


def foo(i):
    time.sleep(2)
    print('in process', i)
    return i + 100


def bar(arg):
    print('-->exec done:', arg)


# 等价pool = Pool(5)控制进程池最大进程数
pool = Pool(processes=5)

for i in range(10):
    # pool.apply_async(func=Foo, args=(i,), callback=Bar)
    pool.apply_async(func=foo, args=(I,))

print('end')
pool.close()
# 进程池中进程执行完毕后再关闭，如果不使用，主进程结束则程序直接关闭
pool.join()

修改了一下apply方法就能实现串行

这个每次运行的进程量可以自己控制

下面看下apply_async方法中的callback参数

def foo(i):
    time.sleep(2)
    print('in process', i)
    return i + 100


def bar(arg):
    print('-->exec done:', arg)


# 等价pool = Pool(5)
pool = Pool(processes=5)

for i in range(10):
    # callback=回调,即在foo函数执行完之后会执行bar函数，这里要注意的是bar函数是主进程执行的，并不是子进程调用的
    pool.apply_async(func=foo, args=(i,), callback=bar)
    # pool.apply_async(func=foo, args=(i,))

print('end')
pool.close()
# 进程池中进程执行完毕后再关闭，如果不使用，主进程结束则程序直接关闭
pool.join()

这样，callback参数就是回调的意思，在执行上一个函数之后会调用回调的函数，这里注意的是回调的函数并不是子进程启动的，而是主进程执行的，有人可能问不都一样么，都执行了，但是这种情景可以在很多地方得到应用，比如这个函数需要登陆或者类似的其他的前期处理，主程序登陆一次就可以了，否则需要在每个进程都要登陆，类似的场景都可以使用

再者就是函数执行的返回值回自动传参给回调的函数

转载请注明出处

python自学技术互助扣扣群：670402334