美文网首页分布式
搭建zk集群并实现对zk可用性的监控告警

搭建zk集群并实现对zk可用性的监控告警

作者: 任总 | 来源:发表于2019-03-07 23:08 被阅读102次
实验环境

实验节点主机系统：CentOS7
zookeeper节点一：主机名node-61 192.168.1.61
zookeeper节点二：主机名node-62 192.168.1.62
zookeeper节点三：主机名node-63 192.168.1.63
zabbix节点：主机名node-64 192.168.1.64

一、安装zookeeper集群模式

  • 同步三个节点时间、关闭selinux和防火墙

1、节点一安装zookeeper

[root@node-61 ~]# yum install epel-release -y

#安装jdk
[root@node-61 ~]# yum install java-1.8.0-openjdk-devel -y

#设置环境变量
[root@node-62 ~]# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

[root@node-61 ~]# . /etc/profile.d/java.sh

#验证版本
[root@node-61 ~]# java -version
openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

2、下载解压zookeeper，下载地址http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/ 

#下载
[root@node-61 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
#解压到指定目录
[root@node-61 ~]# tar xf zookeeper-3.4.10.tar.gz -C /usr/local/

#创建软连接
[root@node-61 ~]# ln -sv  /usr/local/zookeeper-3.4.10   /usr/local/zookeeper
‘/usr/local/zookeeper’ -> ‘/usr/local/zookeeper-3.4.10’

3、修改zookeeper配置文件

#配置zookeeper配置文件
[root@node-61 ~]# vim /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
dataLogDir=/data/zookeeper/zk_log
clientPort=2181
maxClientCnxns=20  #每客户端IP的最大并发连接数
server.1=192.168.1.61:2888:3888 #节点一
server.2=192.168.1.62:2888:3888 #节点二
server.3=192.168.1.63:2888:3888 #节点三
autopurge.snapRetainCount=3
autopurge.purgeInterval=1

4、三个节点创建zookeeper数据存储目录

 ~]# mkdir -pv /data/zookeeper

5、拷贝java.sh和zookeeper安装程序

#拷贝zookeeper安装程序
[root@node-61 ~]# scp zookeeper-3.4.10.tar.gz 192.168.1.62:/root/
[root@node-61 ~]# scp zookeeper-3.4.10.tar.gz 192.168.1.63:/root/

#拷贝java.sh
[root@node-61 ~]# scp /etc/profile.d/java.sh 192.168.1.62:/etc/profile.
d/
[root@node-61 ~]# scp /etc/profile.d/java.sh 192.168.1.63:/etc/profile.
d/

6、节点二和节点三安装jdk和安装zookeeper

 ~]#  yum install java-1.8.0-openjdk-devel -y

#执行环境变量脚本
~]# . /etc/profile.d/java.sh 

#解压zookeeper
~]# tar xf zookeeper-3.4.10.tar.gz -C /usr/local/
 ~]# ln -sv  /usr/local/zookeeper-3.4.10   /usr/local/zookeeper

7、拷贝zookeeper配置文件到节点二和节点三

[root@node-61 ~]# scp /usr/local/zookeeper/conf/zoo.cfg 192.168.1.62:/usr/local/zookeeper/conf/
zoo.cfg
[root@node-61 ~]# scp /usr/local/zookeeper/conf/zoo.cfg 192.168.1.63:/usr/local/zookeeper/conf/
zoo.cfg

8、三个节点在数据目录下定义myid文件

  • 运行为集群模式时，每个节点在其数据目录中应该有一个myid文件，其内容仅为当前server的id。
[root@node-61 ~]# echo 1 > /data/zookeeper/myid
[root@node-62 ~]# echo 2 > /data/zookeeper/myid
[root@node-63 ~]# echo 3 > /data/zookeeper/myid

9、三个节点启动zookeeper

#节点一启动
[root@node-61 ~]# . /usr/local/zookeeper/bin/zkServer.sh start
[root@node-61 ~]# ss -tnl
...........
LISTEN     0      50            ::ffff:192.168.1.61:3888                                                                                                             
LISTEN     0      50           :::2181                   

#节点二启动
[root@node-62 ~]# . /usr/local/zookeeper/bin/zkServer.sh start
[root@node-62 ~]# ss -tnl
...........
LISTEN     0      50            ::ffff:192.168.1.62:2888    #有2888端口的节点是Leader主节点
LISTEN     0      50            ::ffff:192.168.1.62:3888                                                                                                             
LISTEN     0      50           :::2181                     

#节点三启动
[root@node-63 ~]# . /usr/local/zookeeper/bin/zkServer.sh start
[root@node-63 ~]# ss -tnl
...........
LISTEN     0      50            ::ffff:192.168.1.63:3888                                                                                                             
LISTEN     0      50           :::2181

10、检查集群节点状态

[root@node-61 ~]# telnet 192.168.1.61 2181
stat    #输入
.......
Mode: follower #节点一角色为follower

[root@node-61 ~]# telnet 192.168.1.62 2181
stat    #输入
.......
Mode: leader  #节点二角色为leader

[root@node-61 ~]# telnet 192.168.1.63 2181
stat    #输入
.......
Mode: follower #节点三角色为follower

二、ZooKeeper监控要点：

1、内存使用量
  • ZooKeeper应当完全运行在内存中，不能使用到SWAP。Java Heap大小不能超过可用内存。
2、Swap使用量
  • 使用Swap会降低ZooKeeper的性能，设置vm.swappiness = 0
3、网络带宽占用
  • 如果发现ZooKeeper性能降低关注下网络带宽占用情况和丢包情况，通常情况下ZooKeeper是20%写入80%读入
4、磁盘使用量
  • ZooKeeper数据目录使用情况需要注意
5、磁盘I/O
  • ZooKeeper的磁盘写入是异步的，所以不会存在很大的I/O请求，如果ZooKeeper和其他I/O密集型服务公用应该关注下磁盘I/O情况
6、监控项目
  • zk_avg/min/max_latency 响应一个客户端请求的时间，延迟的最小值、平均值、最大值，建议这个时间大于10个Tick就报警
  • zk_outstanding_requests 排队请求的数量，当ZooKeeper超过了它的处理能力时，这个值会增大，建议设置报警阀值为10
  • zk_packets_received 接收到客户端请求的包数量
  • zk_packets_sent 发送给客户单的包数量，主要是响应和通知
  • zk_max_file_descriptor_count 最大允许打开的文件数，由ulimit控制
  • zk_open_file_descriptor_count 打开文件数量，当这个值大于允许值得85%时报警
  • Mode 运行的角色，如果没有加入集群就是standalone,加入集群式follower或者leader
  • zk_followers leader角色才会有这个输出,集合中follower的个数。正常的值应该是集合成员的数量减1
  • zk_pending_syncs leader角色才会有这个输出，pending syncs的数量
  • zk_znode_count znodes的数量
  • zk_watch_count watches的数量
  • Java Heap Size ZooKeeper Java进程的

7、通过命令查看需要监控的项目

[root@node-61 ~]# yum install nc -y  #安装nc工具
[root@node-61 ~]# echo stat |nc 127.0.0.1 2181
Zookeeper version: 3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
Clients:
 /127.0.0.1:38914[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 5
Sent: 4
Connections: 1
Outstanding: 0
Zxid: 0x100000000
Mode: follower
Node count: 4

[root@node-61 ~]# echo mntr|nc 127.0.0.1 2181
zk_version  3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
zk_avg_latency  0
zk_max_latency  0
zk_min_latency  0
zk_packets_received 6
zk_packets_sent 5
zk_num_alive_connections    1
zk_outstanding_requests 0
zk_server_state follower
zk_znode_count  4
zk_watch_count  0
zk_ephemerals_count 0
zk_approximate_data_size    27
zk_open_file_descriptor_count   31
zk_max_file_descriptor_count    4096

三、使用zabbix监控zookeeper

1、简单搭建zabbix服务端

#安装数据库
 ~]# yum -y install mariadb-server -y
 ~]# vim /etc/my.cnf
[mysqld]
skip_name_resolve = ON
innodb_file_per_table = ON
 ~]# systemctl start mariadb.service
 ~]# systemctl enable mariadb.service
 ~]# mysql 
MariaDB [(none)]> CREATE DATABASE zabbix CHARSET 'utf8';
Query OK, 1 row affected (0.00 sec)#创建zabbix数据库
MariaDB [(none)]> GRANT ALL ON zabbix.* TO 'zbxuser'@'192.168.%.%' IDENTIFIED BY 'zbxpass';
Query OK, 0 rows affected (0.00 sec)#远程用户授权
MariaDB [(none)]> GRANT ALL ON zabbix.* TO 'zbxuser'@'127.0.0.1' IDENTIFIED BY 'zbxpass';
Query OK, 0 rows affected (0.00 sec)#本地用户授权
MariaDB [(none)]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)#刷新同步

#安装zabbix-server
 ~]# yum install http://120.52.51.14/repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm -y
 ~]# wget http://120.52.51.14/repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-server-pgsql-3.0.25-1.el7.x86_64.rpm
 ~]# wget http://120.52.51.16/repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-agent-3.0.25-1.el7.x86_64.rpm
 ~]# wget http://120.52.51.17/repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-get-3.0.25-1.el7.x86_64.rpm
 ~]# yum install *.rpm -y

#导入数据库
 ~]# cd /usr/share/doc/zabbix-server-mysql-3.0.2/
 zabbix-server-mysql-3.0.2]# gzip -d create.sql.gz解压缩
 ~]# mysql -uzbxuser -h127.0.0.1 -pzbxpass zabbix  < /usr/share/doc/zabbix-server-mysql-3.0.2/create.sql #导入数据库结构

#配置zabbix文件
 ~]# vim  /etc/zabbix/zabbix_server.conf
ListenPort=10051  监听端口
#SourceIP=        源ip，允许那个ip监听
LogType=file      日志类型，默认存到文件
LogFile=/var/log/zabbix/zabbix_server.log  日志存储目录
LogFileSize=0      禁止滚动存储
DebugLevel=3     日志详细级别 默认为3正常级别

DBHost=192.168.1.64 授权数据库主机
DBName=zabbix    授权数据库名字
DBUser=zbxuser   授权数据库用户
DBPassword=zbxpass  授权用户密码
DBPort=3306        数据库默认端口
DBSocket=/var/lib/mysql/mysql.sock  程序接口位置

#配置视图里的中文字体
~]# ls /usr/share/zabbix/fonts
graphfont.ttf  SIMKAI.ttf    #上传SIMKAI字体到指定路径注意后缀是ttf小写
~]# vim /usr/share/zabbix/include/defines.inc.php 
45        define('ZBX_GRAPH_FONT_NAME',     'SIMKAI'); // font file name #修改默认字体
 93      define('ZBX_FONT_NAME', 'SIMKAI');
 ~]# systemctl start zabbix-server.service

#安装zabbix-web
~]# yum install httpd php php-mysql php-mbsting php-gd php-bcmath php-ldap php-xml -y
 ~]# wget http://120.52.51.14/repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-web-3.0.25-1.el7.noarch.rpm
 ~]# wget http://120.52.51.13/repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-web-mysql-3.0.25-1.el7.noarch.rpm
~]# yum install zabbix-web-mysql-3.0.25-1.el7.noarch.rpm zabbix-web-3.0.25-1.el7.noarch.rpm -y
~]# vim /etc/httpd/conf.d/zabbix.conf
          php_value date.timezone Asia/shanghai
~]# systemctl start httpd

#当被监控zookeeper主机安装agent后测试自定义key是否可用
~]#  zabbix_get -s 192.168.1.61 -k "zookeeper1[zk_avg_latency]"
0

2、三个zookeeper节点安装zabbix-agent

#安装zabbix-agent
~]# http://120.52.51.16/repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-agent-3.0.25-1.el7.x86_64.rpm
~]# http://120.52.51.17/repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-sender-3.0.25-1.el7.x86_64.rpm
~]# yum install zabbix-agent-3.0.25-1.el7.x86_64.rpm zabbix-sender-3.0.25-1.el7.x86_64.rpm -y

#编辑自定义监控脚本
~]#  vim zookeeper_check1.sh
#!/bin/bash
echo mntr | nc 127.0.0.1 2181 | grep "$1" |awk '{print $2}'
~]#  vim zookeeper_check2.sh
#!/bin/bash
echo srvr|nc 127.0.0.1 2181 | grep "$1" |awk '{print $2}'
~]#  chown 755 zookeeper_check1.sh 
~]#  chown 755 zookeeper_check2.sh 
~]# visudo      #使zabbix有访问权限
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
zabbix  ALL=(ALL)       NOPASSWD:ALL


#编辑配置文件
~]# vim /etc/zabbix/zabbix_agentd.conf
PidFile=/var/run/zabbix/zabbix_agentd.pid
LogFile=/var/log/zabbix/zabbix_agentd.log
LogFileSize=0
Server=192.168.1.64 
ListenPort=10050
ServerActive=192.168.1.64
Hostname=Zabbix server
AllowRoot=1                             
Include=/etc/zabbix/zabbix_agentd.d/
UnsafeUserParameters=1
UserParameter=zookeeper1[*],/bin/bash /root/zookeeper_check1.sh "$1"  #加入自定义key
UserParameter=zookeeper2[*],/bin/bash /root/zookeeper_check2.sh "$1" #加入自定义key

~]# systemctl start zabbix_agent

3、监控zookeeper端口，如果检测不到证明zookeeper节点服务下线。

设置zookeeper端口监控项
设置zookeeper端口监控项触发器
当zookeeper服务下线时，检测不到端口 触发器产生事件告警

4、使用自定义key监控zookeeper集群可用性

使用自定义key创建监控项
设置触发条件，最大延时大于10个Tick触发 当请求时间最大延迟较大时
触发器产生事件告警

此处只列举了集群中一个节点的其中一个监控项，由于监控项较多按需调用，同样方法不在一一列举。

参考链接：https://blog.csdn.net/wangdaoge/article/details/53113428

相关文章

  • 搭建zk集群并实现对zk可用性的监控告警

    实验节点主机系统：CentOS7zookeeper节点一：主机名node-61 192.168.1.61zo...

  • Zookeeper 高可用搭建

    1 单机搭建zk 2 zk可视化 3 spring cloud单机整合zk 4 zk集群搭建 5 spring c...

  • KAFKA环境搭建

    zookeeper集群搭建 搭建 Zookeeper-3.4.11 集群 常用zk命令:1.启动ZK服务器 2.查...

  • (5)kafka元数据（1）

    zk进行 kafka 集群元数据和状态管理，未来将去zk，用Raft实现，zk集群主要作用： 1）存元数据: 主题...

  • 分布式利器Zookeeper（二）:分布式锁

    在《分布式利器Zookeeper（一）》中对ZK进行了初步的介绍以及搭建ZK集群环境，本篇博客将涉及的话题是：基于...

  • zk集群搭建

    下载就不说了,官网直接下载对应的版本解压 这边演示的是阿里云服务器,不是虚拟机 我的目录结构是这样的 然后几个地方...

  • 2-搭建dubbo-admin

    上一章我们讲了如何搭建zk的环境，这一章我们重点就放在搭建服务治理监控的dubbo-admin 如图，服务通过zk...

  • zk集群数据迁移和恢复

    zk集群数据迁移和恢复 一、zk数据迁移，有如下两种方案： 1、利用zk集群超过半数仍然可用的特性，比如集群中有5...

  • zookeeper的watcher

    利用zk的watcher功能实时监控zk节点的变化，可以利用这个功能做报警、监控，例如监控kafka的broker...

  • kafka和zk的集群安装和ssl通信

    目录 准备工作 zk的集群安装 kafka的集群安装 kafka的ssl通信 写在前面 zk和kafka的集群安装...

网友评论

    本文标题：搭建zk集群并实现对zk可用性的监控告警

    本文链接：https://www.haomeiwen.com/subject/gphuyqtx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    分布式

    关于我们|服务条款|联系我们|搭建zk集群并实现对zk可用性的监控告警|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！