美文网首页
java 工作线程设置个数,充分提高cpu利用率

java 工作线程设置个数,充分提高cpu利用率

作者: Easy的幸福 | 来源:发表于2018-06-08 14:36 被阅读0次

这是我从沈剑老师的原文里摘抄出来的,原文链接:https://mp.weixin.qq.com/s/BRpngTEFHjzpGv8tkdqmPQ

Web-Server通常有个配置,最大工作线程数,后端服务一般也有个配置,工作线程池的线程数量,这个线程数的配置不同的业务架构师有不同的经验值,有些业务设置为CPU核数的2倍,有些业务设置为CPU核数的8倍,有些业务设置为CPU核数的32倍。

工作线程数”的设置依据是什么,到底设置为多少能够最大化CPU性能。

问:工作线程数是不是设置的越大越好?

答:肯定不是的

服务器CPU核数有限,能够同时并发的线程数有限,单核CPU设置10000个工作线程没有意义

线程切换是有开销的,如果线程切换过于频繁,反而会使性能降低

问:调用sleep()函数的时候,线程是否一直占用CPU

答:不占用,等待时会把CPU让出来,给其他需要CPU资源的线程使用。

不止sleep()函数,在进行一些阻塞调用时,例如网络编程中的:

阻塞accept(),等待客户端连接

阻塞recv(),等待下游回包

都不占用CPU资源。

问:单核CPU,设置多线程有意义么,是否能提高并发性能?

答:即使是单核,使用多线程也是有意义的,大多数情况也能提高并发

多线程编码可以让代码更加清晰,例如:IO线程收发包,Worker线程进行任务处理,Timeout线程进行超时检测

如果有一个任务一直占用CPU资源在进行计算,此时增加线程并不能增加并发,例如以下代码会一直占用CPU,并使得CPU占用率达到100%:

 while(1){ i++; }

通常来说,Worker线程一般不会一直占用CPU进行计算,此时即使CPU是单核,增加Worker线程也能够提高并发,因为这个线程在休息的时候,其他的线程可以继续工作。

上图是一个典型的工作线程的处理过程,从开始处理start到结束处理end,该任务的处理共有7个步骤:

从工作队列里拿出任务,进行一些本地初始化计算,例如http协议分析、参数解析、参数校验等

访问cache拿一些数据

拿到cache里的数据后,再进行一些本地计算,这些计算和业务逻辑相关

通过RPC调用下游service再拿一些数据,或者让下游service去处理一些相关的任务

RPC调用结束后,再进行一些本地计算,怎么计算和业务逻辑相关

访问DB进行一些数据操作

操作完数据库之后做一些收尾工作,同样这些收尾工作也是本地计算,和业务逻辑相关

分析整个处理的时间轴,会发现:

其中1,3,5,7步骤中(上图中粉色时间轴),线程进行本地业务逻辑计算时需要占用CPU

而2,4,6步骤中(上图中橙色时间轴),访问cache、service、DB过程中线程处于一个等待结果的状态,不需要占用CPU,进一步的分解,这个“等待结果”的时间共分为三部分:

2.1)请求在网络上传输到下游的cache、service、DB

2.2)下游cache、service、DB进行任务处理

2.3)cache、service、DB将报文在网络上传回工作线程

最后一起来回答工作线程数设置为多少合理的问题。

通过上面的分析,Worker线程在执行的过程中,有一部计算时间需要占用CPU,另一部分等待时间不需要占用CPU,通过量化分析,例如打日志进行统计,可以统计出整个Worker线程执行过程中这两部分时间的比例,例如:

执行计算,占用CPU的时间(粉色时间轴)是100ms

等待时间,不占用CPU的时间(橙色时间轴)也是100ms

得到的结果是,这个线程计算和等待的时间是1:1,即有50%的时间在计算(占用CPU),50%的时间在等待(不占用CPU):

假设此时是单核,则设置为2个工作线程就可以把CPU充分利用起来,让CPU跑到100%

假设此时是N核,则设置为2N个工作现场就可以把CPU充分利用起来,让CPU跑到N*100%

结论

N核服务器,通过执行业务的单线程分析出本地计算时间为x,等待时间为y,则工作线程数(线程池线程数)设置为 N*(x+y)/x,能让CPU的利用率最大化。

经验

一般来说,非CPU密集型的业务(加解密、压缩解压缩、搜索排序等业务是CPU密集型的业务),瓶颈都在后端数据库访问或者RPC调用,本地CPU计算的时间很少,所以设置几十或者几百个工作线程是能够提升吞吐量的。

六、总结

线程数不是越多越好

sleep()不占用CPU

单核设置多线程不但能使得代码清晰,还能提高吞吐量

站点和服务最常用的线程模型是“IO线程与工作现场通过任务队列解耦”,此时设置多工作线程可以提升吞吐量

N核服务器,通过日志分析出任务执行过程中,本地计算时间为x等待时间为y,则工作线程数(线程池线程数)设置为 N*(x+y)/x,能让CPU的利用率最大化

相关文章

  • java 工作线程设置个数,充分提高cpu利用率

    这是我从沈剑老师的原文里摘抄出来的,原文链接:https://mp.weixin.qq.com/s/BRpngTE...

  • 进程与线程

    注意: 多线程可以提高CPU利用率,不能提高内存利用率 进程 wait()、notify()和notifyAll(...

  • 多线程的那点事(一)

    多线程 优点 能适当的提高程序的执行效率. 能适当提高资源利用率.(CPU、内存利用率). 缺点 创建线程是有开销...

  • 【多线程】基础

    1. 概念 1.1 使用多线程目的 提高系统的吞吐速度(提高CPU的利用率):充分利用多CUP多核(一个核可以对应...

  • Swift- 多线程编程Thread

    多线程的优缺点 优点:能适当提高程序的执行效率,能适当提高资源利用率(CPU,内存) 缺点:线程越多,CPU在调度...

  • 了解Kotlin协程你需要加深了解的 Java 线程

    协程铺垫知识 —— JAVA 线程 Question: 线程和进程的区别?cpu 个数、cpu 核心数、cpu ...

  • A1_多线程NSThread、GCD、NSOperation

    一、多线程的优缺点优点:能适当提高程序执行效率,能提高资源利用率(CPU、内存利用率)。缺点:开启线程需要内存空间...

  • iOS - 多线程问题小结

    多线程的优缺点 优点:多线程能够适当提高程序的执行效率,适当提高资源利用率(CPU、内存利用率)。缺点:每开启一条...

  • (YQ)进程和线程不得不说的事

    多线程的优点能适当提高程序的执行效率能适当提高资源利用率(CPU、内存利用率)多线程的缺点开启线程需要占用一定的内...

  • Java基础-锁

    为了提高系统的资源利用率,促使了进程,线程的出现。进程和线程提高了系统CPU利用率的同时,又引出了一些其他的问题。...

网友评论

      本文标题:java 工作线程设置个数,充分提高cpu利用率

      本文链接:https://www.haomeiwen.com/subject/qvhasftx.html