python并发编程

基本概念

• 并行：多个任务同时执行，在同一时刻有多个任务在同时执行。

• 并发：多个任务分时交替执行，在同一时刻仅有1个任务在执行，但在宏观上看着像一起执行。一般指的是抗QPS的能力。

• 进程：系统资源分配的最小单元，有独立的内存空间，开销大

• 线程：CPU调度的最小单元，空间内存共享，需要依赖进程存活。并发编程时要注意线程安全的问题。每个线程大约占用30K左右开销

• 协程：不被操作系统控制，完全由用户程序控制。开销大约几K空间，协程间的切换只发生在用户态，不需要像线程切换那样再进入内核态；协程切换次数一般情况比线切换程少(这里怎么理解？)，产生IO时让出CPU，asyncio.sleep(0)时会主动让出CPU，但如果一个协程是x+=1操作，会一直霸占着CPU。
  性能对比：https://www.jianshu.com/p/6c63dafa70bf

• 同步阻塞：A调用B，等待B执行完任务后返回。
• 同步非阻塞：A调用B，B直接返回成功或者什么都不返回或者某个状态，然后B去执行任务。过一段时间后A再去调用B。一般情况下A还会去轮询B执行任务的结果。
• 异步阻塞：A调用B1,B2,B3...Bx，需要等待B1,B2,B3...Bx的所有返回结果。掉B1,B2,B3...Bx时不是串行的，是并发的。
• 异步非阻塞：A调用B，B直接返回成功或者什么都不返回或者某个状态，然后B再去执行任务，任务执行完后，B再回调A，或者把结果推送给某个队列让A去消费。

相关函数：
Thread.setDaemon() 设置为后台线程，默认为False，设置为True后，主线程退出，则整个程序退出
Thread.join() 阻塞线程，join后面的主线程语句，会等子线程执行完成后再执行。多个join()语句不分前后次序
继承方式：平时常用继承的方式写线程方法，控制起来更像面向对象编程

class MyThread(threading.Thread):
  def __init__(self):
    pass
  def run(self):
    pass
    # Method representing the thread's activity

mythread = MyThread()
mythread.start()

锁机制
GIL锁简介：https://www.jianshu.com/p/633b7aacf722
GIL的简单结论：
对于IO密集型场景，更适合使用多线程。比如WEB，磁盘
对于CPU密集型场景，更适合使用多进程。比如模型的运算

threading模块下的锁们，multiprocessing模块下的锁类似

锁	简介
非递归锁（互斥锁） Lock()	多个线程访问共享变量时需要互斥锁；互斥锁的操作acquire()和release()需要成对出现；如果某个线程方法里acquire了多个锁时，要注意死锁的问题。
递归锁 RLock()	RLock内部维护了一个Lock和一个计数器counter，一个线程能够同时获取N次Lock，只有当一个线程所有acquire的锁都release，counter变为0后，其他线程才能抢到这把锁。写代码时，如果底层方法封装了lock.acquire()和release()，上次方法又想封装lock时，最好使用RLock()
条件锁 Condition()	使用条件锁更像使用协程，由程序控制自己什么时候释放锁 acquire():获取锁 release()：释放锁 wait()：线程进入blocking状态，直到收到notify通知或超时才继续运行 notify()：通知其他await的线程，可以加参数n=1或者k，需要注意notify()和await()的次序，由程序决定 notifyAll()：notify所有await的线程
事件 Event()	await():挂起当前线程，直到收到event为True时才继续执行当前线程。 set()：设置event为True。 clear()：设置event为False。 isSet()：获取event状态
Timer()	几秒钟后执行任务，multiprocessing下没看到Timer()
信号量 Semaphore()	semaphore是个内部数据，它的内部有个计数器，表明当前共享资源最多有多少个线程可以同时使用。
有界信号量 BoundedSemaphore()	和Semaphore相似，这个更严格一些，超过信号量限制时会return ValueError
栅栏(障碍) Barrier()	threading.Barrier(3, action=xxx_action, timeout=None)，等barrier.wait()的数量到达3后，优先执行xxx_action方法。 wait()：方法表示想要通过栅栏,如果没跨过栅栏就阻塞，跨过栅栏后优先执行xxx_action方法 wait(N)：N表示秒,如果到达N秒后,还未跨过栅栏,则引发BrokenBarrierError错误。 reset()：重置栅栏

队列机制

队列	简介
先进先出队列	FIFO--queue.Queue(5)
先进后出队列	LIFO--queue.LifoQueue(5)
优先级队列	q = queue.PriorityQueue() q.put([1, 'aaa']) q.put([20, 'bbb'] 数值越小优先级越高,在q.get()是会被优先去出来，底层是通过heapq实现的
阻塞队列	python的queue.Queue支持阻塞方式,也有get_nowait和put_nowait方法
延迟队列	python本身不支持延迟队列,需要通过其他手段实现。 利用优先级队列实现 利用redis的zset结构实现 利用rabbitmq实现 如果只是为了定时执行任务,用Timer()多线程也可以 https://www.jianshu.com/p/a663e52e6488

进程间通信IPC（Inter-process communication）

IPC机制	简介
队列	进程间通信都可能用到队列
共享内存	multiprocessing模块里提供了共享Value，共享List等对象
管道	用于父进程和子进程间通信
信号	只用于进程间的通信，信号是个软中断，捕捉信号的过程：1、主程序控制流收到信号后中断，由用户态进入内核态。2、内核捕捉中断信号，进行中断处理。3、如果中断函数是用户自定义函数，则跳回用户态执行中断函数。4、中断函数处理完成后，再次进入内核态，准备恢复主程序流程。5、返回用户态从主控制流程中上次被中断的地方继续向下执行。 由于中断可以出发中断函数，中断函数中能能够在主程序blocking时处理大量的业务逻辑，因此可用做平滑重启和热加载。
信号量	和锁里的信号量类似，能够获取信号量时，就能操作资源。列在这为了和信号区分是两个概念
socket/zmq	zeromq用起来更像是一个封装好的socket接口
zookeeper	分布式协调服务

池
线程池from concurrent.futures import ThreadPoolExecutor
进程池from concurrent.futures import ProcessPoolExecutor
注意和multiprocessing的Pool用法不一样

常用方法：
map：阻塞直到返回，result并不是你map_fun返回的结果，而是一个生成器，如果要从中遍历去结果。map能够保证线程任务的顺序性
submit：提交执行的函数到线/进程池中，submit函数立即返回，不阻塞
task.cancel()：取消某个任务,该任务没有放入线程池中才能取消成功
task.done()：判断任务是否已完成，没啥用。用as_completed()
task.result()：获取task的结果，如果获取了结果，就会造成阻塞
as_completed()：此方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，就能继续执行for循环后面的语句，然后继续阻塞住，循环到所有的任务结束。

for job in as_completed(all_jobs):
     res = job.result()

asyncio（python3.6+）

async和await语法需要成对出现
在工程中注意一协全协
如果代码需要主动让出CPU，注意让出CPU的位置
TODO是否有必要实现协程池，为什么？

TODOjava中在并发编程里定义了许多概念
eg:
可见性，原子性，有序性