时间线
2020-07-11 17:40:00 hotfix修复版本上线
2020-07-11 17:50:00 用户反馈页面无法访问，所有的请求全部爆502 bad gateway , 显示连接不上后端服务了
2020-07-11 17:54:00 运维第一反应给予系统重启
2020-07-11 17:57:00 系统再次宕机， 版本回滚
排查过程
查看grafana应用监控，可以很明显的看到，tomcat线程数在短时间内快速上升，很快到了500 ，到了500之后
系统不在接受请求，整体的QPS瞬间下降，CPU利用率也不高（图中CPU飙升的地方是系统发版本导致的，由于这是一个很大的项目，启动时编译类会导致CPU升高）。
tomcat线程数暴增-线程池图片.png
查看JVM线程情况，后台守护线程也是瞬间增长
tomcat暴增-JVM线程.png
查看系统GC情况
GC1.png
GC次数也非常平稳
GC次数.png
后面查看系统的数据库CPU，慢查询，网络流量，都很正常。
由于服务器被瞬间重启了，当时的堆栈信息没有保存下来。 只能新开一个节点，由于是修改BUG的版本，可以和线上的旧版本同时跑，新节点加入负载，继续观察
新节点启动后一直运行正常，直到下午3点多，tomcat线程开始飙升了，通知运维这台机器的负载下掉
新节点.png
导出线程栈信息
jstack -l 13454 >> 123.txt
这里介绍一个堆栈分析工具
gceasy-上传.png
gceasy-index.png
可以看到http的线程数有212个，点进去查看线程栈的具体信息, 可以看到线程是等待状态，阻塞在了获取redis连接， 程序入口是HealthEndpoint , 由这里可以猜测出是springboot的健康检查接口，去检查redis是否可用，但是没有获取到redis的资源，导致一直阻塞
threa-detail.png
通过阅读源码发现，这里使用的还是老的Jedis连接池，没有设置最大等待时间。
连接池源码.png
默认borrowMaxWaitMillis=-1 , 因此走的是阻塞队列的take方法，而不是走的poll， take会阻塞当前线程。
/actuator/health 这个接口我们运维拿来做阿里云SLB负载检查的接口了，这个从SLB那边过来的请求，有7-8个QPS（PS：运维说不可以改，改不动，也是好无奈）, 请求非常频繁，猜测是由于jedisPoll资源紧张，加上这个检测接口调用过于频繁。导致竞争不到连接池资源，因此发生请求线程一直阻塞，最终导致tomcat请求无法响应。
修改方案
设置JedisPoll的maxWaitMillis = 3000。
关闭actuator对redis的检查 , 没办法， 为了避免再出现，这个接口调用这么频繁，目前先禁用掉
management:
health:
redis:
enabled: false
配置加上，上线观察， 一个小时后，上线后发现系统报错，但是错误信息为
could-not.png
显示获取不到连接，这个是因为设置了maxWaitMillis，所以系统不再是阻塞，而是报错了，拿不到连接了。
既然是连接池的资源不够用，那么问题就好解决了，修改配置，排查代码不规范的地方
@Component
@Slf4j
public class OrderSynEvent implements ApplicationListener<ContextRefreshedEvent> {
@SneakyThrows
@Override
public void onApplicationEvent(ContextRefreshedEvent contextRefreshedEvent) {
executor.execute(() -> {
while (true) {
log.info("");
try {
// 此处使用了阻塞方式获取list里面的元素
Object o = operation.rightPop(RedisConst.ORDER_ZERO_LOAD_SYN_STATE_LIST, 0, TimeUnit.SECONDS);
} catch (Exception e) {
log.error("",3);
}
}
});
}
}
上面线程里面的代码没有什么问题，但是在onApplicationEvent里面去new线程，会new出来很多个的，经过测试，这个线程在spring启动之后会new出来5次（因为当前类可能会被多个上下文加载），因此系统里面会有5个线程阻塞的去获取list的元素，根本原因应该不是这个，但是这个不规范的使用，会导致redis里面的线程池资源被占用，直接修复。
同时修改redis的配置，最终配置如下
<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
<property name="maxIdle" value="300"/>
<property name="maxWaitMillis" value="3000"/>
<property name="testOnBorrow" value="true"/>
<property name="testOnReturn" value="true"/>
<property name="minIdle" value="10"/>
<property name="testWhileIdle" value="true"/>
<property name="timeBetweenEvictionRunsMillis" value="3000"/>
<property name="numTestsPerEvictionRun" value="10"/>
<property name="minEvictableIdleTimeMillis" value="60000"/>
</bean>
代码修复上线，运行一天状况良好
网友评论