Zookeeper的概述：
ZooKeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。
ZooKeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，ZooKeeper就将负责通知已经在ZooKeeper上注册的那些观察者做出相应的反应。
例如：一组服务器集群、一组客户端，全部通过ZooKeeper注册，如果一台服务节点宕机，则ZooKeeper集群可以监测宕机几点服务器状态并通知客户端。
ZooKeeper的特点：
- ZooKeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
- 集群中只要有半数以上的节点存活，ZooKeeper集群就能正常服务。
- 全局数据一致性：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
- 更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
- 数据更新原子性，一次数据更新要么成功，要么失败。
- 实时性，在一定时间范围内，Client能读到最新数据。
ZooKeeper的数据结构
ZooKeeper数据模型的结构与Unix文件系统类似，整体上可以看做是一棵树，每个节点称作一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。
ZooKeeper应用场景
提供的服务包括：统一命名服务，统一配置管理，统一集群管理，服务器节点动态上下线，软负载均衡等。
ZooKeeper的内部原理
选举机制
- 半数机制：集群中半数以上机器存活，集群可用。所以ZooKeeper适合安装奇数台服务器。
- ZooKeeper虽然在配置文件中没有指定Master和Slave，但是在集群工作时，是有一个节点为Leader，其他节点为Follower的，Leader是通过内部的选举机制临时产生的。
- 初始化集群选举机制的解释：五台服务器的集群为例，当第一台服务器启动后，给自己投票，此时不符合半数机制（配置文件中已经配置了五台服务器）；第二台服务器启动时，投自己一票，此时仍然不符合半数机制，所以第一台服务器的票也投给第二台服务器；第三台服务器启动，投自己一票，此时还是不符合半数机制，所以第一台、第二台服务器都将票投给第三台服务器，现在符合了半数机制，所以Leader为第三台服务器。
ZooKeeper的节点类型
- 持久（Persistent）
- 持久化目录节点：
客户端与ZooKeeper断开连接后，该节点依旧存在。 - 持久化顺序编号目录节点
客户端与ZooKeeper断开连接后，该节点依旧存在，只是ZooKeeper给该节点名称进行顺序编号。
说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护。
在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断时间的顺序。
- 短暂
- 临时目录节点
客户端与ZooKeeper断开连接后，该节点被删除。 - 临时顺序编号目录节点
客户端与ZooKeeper断开连接后，该节点被删除，只是ZooKeeper给该节点名称进行顺序编号。
监听器的原理
一）、监听器的原理详解
- 首先要有一个main()线程。
- 在main()线程中创建ZooKeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）。
- 通过connect线程将注册的监听事件发送给ZooKeeper。
- 在ZooKeeper的注册监听器列表中将注册的监听事件添加到列表中。
- ZooKeeper监听到有数据或路径变化，就会将这个消息发送给listener线程。
- listener线程内部调用process()方法（程序员自己写的方法）。
二）、常见的监听
- 监听节点数据的变化
get path [watch]
- 监听子节点增减的变化
ls path [watch]
写数据的流程
- Client向ZooKeeper的Server1上写数据，发送一个写请求。
- 如果Server1不是Leader，那么Server1会把接收到的请求进一步转发给Leader，因为每个ZooKeeper的Server里面有一个是Leader。这个Leader会将写请求广播给各个Server，各个Server写成功后就会通知Leader。
- 当Leader收到大多数的Server数据写成功了，那么就说明数据写成功了。如果三个节点的集群，只要有两个节点数据写成功了，那么就认为数据写功了（半数机制）。写成功之后，Leader会告诉Server1数据写成功了。
- Server1就会进一步通知Client数据写成功了，这时就认为整个写操作成功。
ZooKeeper的分布式安装部署
集群规划：三台服务器上部署ZooKeeper集群，基于前面的文章中已经部署的Hadoop环境的三台虚拟机。
打开ZooKeeper官方网站https://zookeeper.apache.org/
zookeeper主页.png
选择版本进行下载即可，此处选择的是3.5.5版本：
zookeeper安装00.png
将压缩包使用Xftp上传hadoop-1的/usr目录下：
zookeeper安装02.png
进入/usr目录，使用tar命令将压缩包进行解压，执行命令：
# tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
zookeeper安装03.png
解压完成后会在/usr目录下生成apache-zookeeper-3.5.5-bin目录：
zookeeper安装04.png
进入ZooKeeper的配置文件目录，并查看该目录下的文件：
# cd apache-zookeeper-3.5.5-bin/conf/
# ll
zookeeper安装05.png
该目录下有示例配置文件zoo_sample.cfg，将其拷贝为zoo.cfg：
# cp zoo_sample.cfg zoo.cfg
zookeeper安装06.png
使用vim编辑配置文件zoo.cfg：
# vim zoo.cfg
zookeeper安装08.png
更改配置文件内容：
zookeeper安装09.png
配置文件参数说明：
| 配置项 | 值 | 说明 |
|---|---|---|
| tickTime | 2000 | 控制心跳和超时(毫秒) |
| initLimit | 10 | follower连接到主节点的初始化时间 |
| syncLimit | 5 | 主从节点请求和应答时间长度 |
| dataDir | /home/zookeeper/zookeeper_data | 用于存储zookeeper产生的数据 |
| clientPort | 2181 | Zookeeper客户端端口 |
| maxClientCnxn | 0 | 为0则不限制客户端连接数量 |
| server.1 | hadoop-1:2888:3888 | zookeeper节点名称以及服务所用端口,所有节点依次列举 |
在ZooKeeper的/home目录下创建数据存储目录和myid文件：
# cd /home
# mkdir -p zookeeper/zookeeper_data
zookeeper安装10.png
在myid文件中写入zoo.cfg文件主机名所对应的的server号：
zookeeper安装11.png
保存退出，使用scp将/usr下的apache-zookeeper-3.5.5-bin远程拷贝到hadoop-2和hadoop-3主机的/usr目录下：
zookeeper安装12.png
如下图所示，拷贝完成：
zookeeper安装13.png
查看hadoop-2的/usr目录下的apache-zookeeper-3.5.5-bin
zookeeper安装14.png
然后将/home目录下的数据存储目录也远程拷贝到hadoop-2和hadoop-3的/home目录下：
zookeeper安装15.png
然后在hadoop-2和hadoop-3主机上使用vim编辑myid文件：
zookeeper安装16.png
将myid文件的内容更改为各自主机对应的server号：
zookeeper安装17.png
然后分别进入三台主机的/user/apache-zookeeper-3.5.5-bin/bin目录下，执行启动脚本：
# cd /user/apache-zookeeper-3.5.5-bin/bin
# ./zkServer.sh start
zookeeper安装18.png
启动成功，使用jps命令可以查看ZooKeeper的启动进程：
# jps
zookeeper安装19.png
配置ZooKeeper环境变量：
# vim /etc/profile
在打开的文件最后添加如下内容：
配置环境变量1.png
保存退出，现在可以不进入ZooKeeper安装目录的bin目录就可以直接使用ZooKeeper的相关命令了：
配置环境变量2.png
同样方式对hadoop-2和hadoop-3添加环境变量即可。
Zookeeper的shell操作（常用命令）
使用zkCli.sh客户端连接ZooKeeper服务:
# zkCli.sh -server IP:2181
IP地址可以是ZooKeeper集群中任意节点的IP地址，2181为配置文件中client的端口。
在hadoop-1上使用客户端，可以直接使用zkCli.sh：
# zkCli.sh
zookeeper-shell-01.png
此时客户端已经连接到ZooKeeper的服务，使用help命令可以查看操作命令：
zookeeper-shell-02.png
ls命令用以查看指定节点下级的节点信息，但不能递归查看；ls -s（ls2已被弃用）命令可以递归查看制定节点下所有节点信息：
zookeeper-shell-03.png
get命令用以获取指定节点的数据信息，因为现在没有创建任何节点，所以“/”节点下数据为空的：
zookeeper-shell-04.png
create命令用以创建节点，-s参数表示创建顺序节点，-e参数表示创建临时节点，无参数默认创建持久节点。
- 创建顺序节点，数据(data)为000：
create -s /snow 000
顺序节点保证ZNode路径是唯一的，ZooKeeper服务自动向znode路径填充10位序列号。
- 创建临时节点，数据(data)为111：
create -e /snow-tmp 111
当会话过期或客户端断开连接时，临时节点将会被删除。
- 创建持久节点，数据(data)为222：
create /snow-per 222
set命令用以更改节点信息：
set /snow-per 333
zookeeper-shell-05.png
更改/snow-per节点的数据内容为333。
delete用以删除节点，若该节点有子节点，则无法删除，即不能递归删除节点；rmr用以递归删除节点。
history命令用以查看历史操作命令：
history
zookeeper-shell-07.png
redo命令用以指定历史命令编号快速执行命令：
redo 0
zookeeper-shell-08.png
quit命令用以退出zkCli.sh客户端，其他命令请自行尝试。
ZooKeeper-API的应用
- 创建一个Zookeeper的Client对象，并使用改Client连接Zookeeper集群。
- 使用Create方法创建子节点。
- 获取子节点并监听节点的变化（监听是放到process方法中执行）。
- 判断Znode是否存在
- 监听服务器节点动态上下线
- 业务服务器也是Zookeeper的Client，遵循以下步骤：连接Zookeeper集群、注册节点（向集群中写数据）、业务逻辑处理。
- 业务客户端也是Zookeeper的Client，遵循以下步骤：获取Zookeeper集群连接、注册监听、业务逻辑处理。
网友评论