美文网首页
关于 Python 多线程/多进程

关于 Python 多线程/多进程

作者: 阿o醒 | 来源:发表于2017-01-07 12:02 被阅读148次

src:http://m.blog.csdn.net/article/details?id=51243137

Python 下有一个GIL,用来保证每次解释器只在解释一个文件。所以,在单核CPU下的多线程其实都只是并发,不是并行,并发和并行从宏观上来讲都是同时处理多路请求的概念。但并发和并行又有区别,并行是指两个或者多个事件在同一时刻发生;而并发是指两个或多个事件在同一时间间隔内发生。

但是在处理 IO 密集型的时候,用多线程可以提高程序运行的效率。

如果是 CPU 密集型的程序,还是要使用多进程。

试试用Python写个死循环:

import threading, multiprocessing
def loop():
  x = 0 
  while True: 
    x = x ^ 1

for i in range(multiprocessing.cpu_count()): 
  t = threading.Thread(target=loop) 
  t.start()

启动与CPU核心数量相同的N个线程,在4核CPU上可以监控到CPU占用率仅有160%,也就是使用不到两核。
即使启动100个线程,使用率也就170%左右,仍然不到两核。
但是用C、C++或Java来改写相同的死循环,直接可以把全部核心跑满,4核就跑到400%,8核就跑到800%,为什么Python不行呢?
因为Python的线程虽然是真正的线程,但解释器执行代码时,有一个GIL锁:Global Interpreter Lock,任何Python线程执行前,必须先获得GIL锁,然后,每执行100条字节码,解释器就自动释放GIL锁,让别的线程有机会执行。这个GIL全局锁实际上把所有线程的执行代码都给上了锁,所以,多线程在Python中只能交替执行,即使100个线程跑在100核CPU上,也只能用到1个核。
GIL是Python解释器设计的历史遗留问题,通常我们用的解释器是官方实现的CPython,要真正利用多核,除非重写一个不带GIL的解释器。
所以,在Python中,可以使用多线程,但不要指望能有效利用多核。如果一定要通过多线程利用多核,那只能通过C扩展来实现,不过这样就失去了Python简单易用的特点。
不过,也不用过于担心,Python虽然不能利用多线程实现多核任务,但可以通过多进程实现多核任务。多个Python进程有各自独立的GIL锁,互不影响。

相关文章

网友评论

      本文标题:关于 Python 多线程/多进程

      本文链接:https://www.haomeiwen.com/subject/mekfbttx.html