管理平台运行一段时间，发现机器访问不了，通过云管理同事的排查，发现管理平台java进程，生成的线程数过多，导致机器卡死。
通过如下命令查询，进程149120相关的线程数达到4000多线程。由于机器配置为8c 16g，直接将机器挂死。
ps -eLf | grep 149120 | wc -l
从现象来看，说明代码中存在线程泄露问题。开始排查问题：
1、使用jstat查看内存回收情况
jstat -gcutil 149120 1000 1000
观察一段时间，发现没有明显异常。
2、使用jstack打印线程信息
jstack 149120 > rea.info
发现里面有大量的Flink-RestClusterClient相关线程。
3、排查代码，找到交互的地方。
flink源码中，有如下线程池定义，用户客户端与flink交互，线程名称匹配。
接口API上已明确说明：
然后操作，观察线程数，发现正常，问题解决。
背景 管理平台运行一段时间，发现机器访问不了，通过云管理同事的排查，发现管理平台java进程，生成的线程数过多，导...
本文介绍了在性能测试过程中Java进程消耗CPU过高的问题排查方法、线程死锁问题排查方法和内存泄露的排查方法 Ja...
背景 生产环境API Gateway运行一段时间后，一般为48小时，监控模块产生jvm down的告警信息。 排查...
基础 内存泄露(Memory Leak) java中内存都是由jvm管理，垃圾回收由gc负责，所以一般情况下不会出...
基础 内存泄露(Memory Leak) java中内存都是由jvm管理，垃圾回收由gc负责，所以一般情况下不会出...
flink 问题总结（1）Exception occurred in REST handler: Job flin...
Flink Job执行报错Too many open files问题排查 最近部署flink job的时候遇到报错...
问题表现 应用启动几个小时后，死掉，临死前报错： org.springframework.web.util.N...
Flink API Flink API，思维导图
secure a REST API using Spring Security -- A REST API can...
本文标题：Flink Rest API线程泄露问题排查
本文链接：https://www.haomeiwen.com/subject/cndwhltx.html
网友评论