每个刚学python的人,都会与大白一样,想写出功能强大的程序代码,运行起来顺溜溜的。可写代码与写文章一样,都要经过多次修改,整理优化,才能出得了爽歪歪的功能。
如果你处理的任务仅仅是几百上千,对性能要求不高,对实时性要求不高那还好。如果你要处理几十万条数据呢!
我记得我有一次爬stackoverflow的数据,有96万的数据,你不用并发,估计等程序运行完,你已经睡着啦!
这个时候一定要考虑并发的处理,到底是用多进程,还是多线程,线程池,还是用协程,需要思考!
当然性能上的优化并不单是单线程变多线程,还有数据结构的优化,比如什么时候该用列表,什么时候用元组,哪一种对内存消耗少,查询快。

网友评论