【大数据】集群 zk 连接数过多问题排查
背景：
周末接受到信总报警，说我们查询 hbase 的服务日志爆了，回头看应用日志，发现一直在报 zk 的连接问题
image
到集群上看了下 801 主机 zk 连接数量居然达到了 2040，查看下 zk 的 maximum client connect 配置为 2000
超过了最大连接数，自然会报错。
image
登陆应用主机，输入
netstat -an | grep -I 2181
检查和 zk 的连接
发现确实上千
思考了一下查询 hbase 什么时候会和 zk 建立连接？
每次建立 Hbase 连接的时候会去建立 zk 的连接，Hbase 连接应该是单例的类，检查代码发现
image
Connection 为方法参数，这样势必会造成 connection 每次创建完不释放的问题
改为静态变量问题解决：
image
转自 集群 zk 连接数过多问题排查 【大数据】集群 zk 连接数过多问题排查 背景： 周末接受到信总报警，说我们...
【大数据】集群 zk 连接数过多问题排查 背景： 周末接受到信总报警，说我们查询 hbase 的服务日志爆了，回头...
flink 写入数据到hbase 连接数等于并行度，用法同RichFunction 可以实现查询hbase，存入h...
启动Hbase要先启动ZK 和HDFS 启动/停止Hbase start-hbase.sh stop-hbase....
HBase原理深入 HBase读数据流程 HBase读操作 首先从zk中找到meta表的region信息，然后me...
Hbase，hive关系 在大数据体系中，hbase,hive处于协作关系，Hbase主要解决实时数据查询问题，H...
此问题经过分析，大概是由于 Hbase和自带的Zookeeper 数据不同步导致的，hbase中明明没表，zk中记...
hbase shell 语句 hbase 查询结果显示中文HBase 查询出来的数据，中文显示为十六进制乱码get...
问题描述：HBase集群中Master服务挂掉了，重启后没过多久又会挂掉，尝试多次重启，问题依旧。查看HBase ...
HBase解决了什么问题： 1）HBase主要解决在Hdfs上可以随机读写的问题 2）Hive只能查询，不能随机读...
本文标题：[HBase] 查询Hbase，zk连接数过多问题
本文链接：https://www.haomeiwen.com/subject/zrygfhtx.html
网友评论