美文网首页
cpu 持续占用99% & 系统假死问题定位

cpu 持续占用99% & 系统假死问题定位

作者: 极简架构 | 来源:发表于2018-09-11 20:04 被阅读0次
运行一段时间后cpu占用99% 访问系统白屏假死-很长时间才响应 jvm参数设置不合理:eden区占用较高 & meta space较小优化jvm参数 gc-log显示 eden区大小不够优化jvm参数

jvm参数优化后堆内存无压力:

jvm参数优化后堆内存无压力

metadata区满了: 不够用 -> 增大 meta区大小 

 -XX:MetaspaceSize=512M -XX:MaxMetaspaceSize=1024M

meta space占用

优化jvm参数后(运行一段时间后cpu占用还是飙升到99%) 且系统负载较高

排查cpu飙升过程:

vmstat 1 4

pidstat -p 866 -u -t 1 3   -> 查找占用cpu较高线程id 2109

printf "%x" 2109  -> 83d  -> 问题线程nid: 0x83d  

# 打印线程堆栈信息: 发现死锁问题

jstack -F -l 2109  >> /home/work/zhibi/jstack_2109_83d.txt  ->  Thread 2109: (state = IN_NATIVE)  cpu 98% 发现有死锁

redis连接资源获取死锁问题

问题定位原因为: 获取redis资源死锁问题 -> 修复即可。

定位死锁稳定代码行:

定位死锁问题代码行 问题行加锁并发竞争激烈时会BOLCKED线程执行

线程由于获取jedis连接而被BLOCKED阻塞,列举几个问题线程堆栈如下: 【实际Redis是单线程操作无需加锁,小伙伴获取jedis连接写法有问题】

锁定jedis代码行

现成堆栈显示有多个接口被jedis获取锁阻塞,以下皆为等待jedis释放锁状态被BLOCKED 的线程 问题代码行

1.获取设备接口 2.心跳接口 3.物料接口

相关文章

网友评论

      本文标题:cpu 持续占用99% & 系统假死问题定位

      本文链接:https://www.haomeiwen.com/subject/nvkbwftx.html