美文网首页Python
python 线程,进程通信

python 线程,进程通信

作者: 木语沉心 | 来源:发表于2021-05-31 13:30 被阅读0次

    @[toc]

    因为GIL的限制,python的线程是无法真正意义上并行的。相对于异步编程,其性能可以说不是一个等量级的。为什么我们还要学习多线程编程呢,虽然说异步编程好处多,但编程也较为复杂,逻辑不容易理解,学习成本和维护成本都比较高。毕竟我们大部分人还是适应同步编码的,除非一些需要高性能处理的地方采用异步。

    首先普及下进程和线程的概念:

    进程:进程是操作系统资源分配的基本单位。

    线程:线程是任务调度和执行的基本单位。

    一个应用程序至少一个进程,一个进程至少一个线程。

    两者区别:同一进程内的线程共享本进程的资源如内存、I/O、cpu等,但是进程之间的资源是独立的。

    一、多线程

    二、线程之间的通信

    1.threading.Lock()

    2.threading.Rlock()

    用法和 threading Lock() 一致,区别是 threading.Rlock() 允许多次锁资源,acquire() 和 release() 必须成对出现,也就是说加了几把锁就得释放几把锁。

    3.threading.Condition()

    threading.Condition() 可以理解为更加高级的锁,比 Lock 和 Rlock 的用法更高级,能处理一些复杂的线程同步问题。threading.Condition() 创建一把资源锁(默认是Rlock),提供 acquire() 和 release() 方法,用法和 Rlock 一致。此外 Condition 还提供 wait()、Notify() 和 NotifyAll() 方法。

    wait():线程挂起,直到收到一个 Notify() 通知或者超时(可选参数),wait() 必须在线程得到 Rlock 后才能使用。

    Notify() :在线程挂起的时候,发送一个通知,让 wait() 等待线程继续运行,Notify() 也必须在线程得到 Rlock 后才能使用。 Notify(n=1),最多唤醒 n 个线程。

    NotifyAll() :在线程挂起的时候,发送通知,让所有 wait() 阻塞的线程都继续运行。

    4.threading.Event()

    threading.Event() 原理是在线程中立了一个 Flag ,默认值是 False ,当一个或多个线程遇到 event.wait() 方法时阻塞,直到 Flag 值 变为 True 。threading.Event() 通常用来实现线程之间的通信,使一个线程等待其他线程的通知 ,把 Event 传递到线程对象中。

    event.wait() :阻塞线程,直到 Flag 值变为 True

    event.set() :设置 Flag 值为 True

    event.clear() :修改 Flag 值为 False

    event.isSet() : 仅当 Flag 值为 True 时返回

    5.其他方法

    threading.active_count():返回当前存活的线程对象的数量

    threading.current_thread():返回当前线程对象

    threading.enumerate():返回当前所有线程对象的列表

    threading.get_ident():返回线程pid

    threading.main_thread():返回主线程对象

    三、多进程通信

    1、multiprocessing.Pipe()

    multiprocessing.Pipe()即管道模式,调用Pipe()返回管道的两端的Connection。
    Pipe仅仅适用于只有两个进程一读一写的单双工情况,也就是说信息是只向一个方向流动。
    Pipe的读写效率要高于Queue。
    进程间的Pipe基于fork机制建立。
    当主进程创建Pipe的时候,Pipe的两个Connections连接的的都是主进程。
    当主进程创建子进程后,Connections也被拷贝了一份。此时有了4个Connections。
    此后,关闭主进程的一个Out Connection,关闭一个子进程的一个In Connection。那么就建立好了一个输入在主进程,输出在子进程的管道。
    原理示意图如下:

    image

    2、multiprocessing.Queue

    Queue据官方文档也是基于pipe的实现。
    Queue的使用主要是一边put(),一边get().但是Queue可以是多个Process 进行put操作,也可以是多个Process进行get()操作。

    # coding=utf-8
    from multiprocessing import Queue, Process
    from Queue import Empty as QueueEmpty
    import random
    
    
    def getter(name, queue):
        print 'Son process %s' % name
        while True:
            try:
                value = queue.get(True, 10)
                # block为True,就是如果队列中无数据了。
                #   |—————— 若timeout默认是None,那么会一直等待下去。
                #   |—————— 若timeout设置了时间,那么会等待timeout秒后才会抛出Queue.Empty异常
                # block 为False,如果队列中无数据,就抛出Queue.Empty异常
                print "Process getter get: %f" % value
            except QueueEmpty:
                break
    
    
    def putter(name, queue):
        print "Son process %s" % name
        for i in range(0, 1000):
            value = random.random()
            queue.put(value)
            # 放入数据 put(obj[, block[, timeout]])
            # 若block为True,如队列是满的:
            #  |—————— 若timeout是默认None,那么就会一直等下去
            #  |—————— 若timeout设置了等待时间,那么会等待timeout秒后,如果还是满的,那么就抛出Queue.Full.
            # 若block是False,如果队列满了,直接抛出Queue.Full
            print "Process putter put: %f" % value
    
    
    if __name__ == '__main__':
        queue = Queue()
        getter_process = Process(target=getter, args=("Getter", queue))
        putter_process = Process(target=putter, args=("Putter", queue))
        getter_process.start()
        putter_process.start()
    

    相关文章

      网友评论

        本文标题:python 线程,进程通信

        本文链接:https://www.haomeiwen.com/subject/ksqbsltx.html