Zookeeper学习笔记

作者: 青年心路 | 来源:发表于2019-07-13 21:29 被阅读0次

一、Zookeeper简介

1.什么是Zookeeper

Apache Zookeeper是一个开源的分布式服务框架，为分布式应用提供协调服务，用来解决分布式应用中的数据管理问题，如：配置管理、域名服务、分布式同步、集群管理等。

概念：

分布式
将一个大型应用的不同业务部署在不同的服务器上，解决高并发的问题
集群
将同一个业务部署在多台服务器上，提高系统的高可用性

2.Zookeeper组成

主要包括两部分：文件系统、通知机制

2.1 文件系统

Zookeeper维护一个类似Linux文件系统的数据结构，用于存储数据

数据结构是一种树形结构，由许多个节点构成
每个节点叫做ZNode（Zookeeper Node）
每个节点对应唯一路径，通过该路径标识节点，如/app1/p_2
每个节点只能存储大约1M的数据

image.png

节点类型有四种：

持久化目录节点 persistent
客户端与服务器断开连接，该节点仍然存在
持久化顺序编号目录节点 persistent_sequential
客户端与服务器断开连接，该节点仍然存在，此时节点会被顺序编号，如：000001、000002....
临时目录节点 ephemeral
客户端与服务器断开连接，该节点会被删除
临时顺序编号目录节点 ephemeral_sequential
客户端与服务器断开连接，该节点会被删除，此时节点会被顺序编号，如：000001、000002....

2.2 通知机制

Zookeeper是一个基于观察者模式设计的分布式服务管理框架
1.Zookeeper负责管理和维护项目的公共数据，并接受观察者的注册（订阅）
2.一旦这些数据发生了变化，Zookeeper就会通知已注册的观察者
3.此时观察者就可以做出相应的反应

简单来说就是客户端注册监听它所关注的目录节点，当该目录节点发生变化时，Zookeeper就会通知客户端。

Zookeeper是一个订阅中心（注册中心）

3.应用场景

3.1 配置管理

场景：集群环境、服务器的许多配置都是相同的，如：数据库连接信息，当需要修改这些配置时必须同时修改每一台服务器，很麻烦。

解决：把这些配置全部放在Zookeeper上，保存在Zookeeper的某一个目录节点中，然后所有的应用程序（客户端）对这个节点进行监视（Watch），一旦配置信息发生了变化，Zookeeper会通知每一个客户端，然后从Zookeeper获取新的配置信息，并应用到系统中。

image.png

3.2 集群管理

场景：集群环境下，如何知到有多少台机器在工作？是否有机器退出或加入？需要选举一个总管master，让总管来管理集群

解决：在父目录GroupMembers下为所有机器创建临时目录节点，然后监听父目录节点的子节点的变化，一旦有机器挂了，该机器与Zookeeper的连接断开，其所创建的临时目录节点会被删除，此时所有机器都会收到通知。当有新机器加入时也是同样的道理。

选举master：为所有机器创建临时顺序编号目录节点，给每台机器编号，然后每次选取编号最小的机器作为master

image.png

3.3 负载均衡

Zookeeper本身是不提供负载均衡策略的，需要自己实现，所以准确的说，是在负载均衡中使用了Zookeeper来做集群的协调（也称为软负载均衡）

实现思路：
1.将Zookeeper作为服务的注册中心，所有服务器在启动时向注册中心进行登记自己所能提供的服务。
2.当服务的调用者到注册中心获取能够提供需要的服务的服务器列表，然后自己会根据负载均衡算法，从中选取一台服务器进行连接。
3.当服务器的列表发生变化时，如：某台服务器宕机了，或有新机器加入，Zookeeper会通知调用者重新获取服务器列表

实际上就是利用了Zookeeper的文件系统和通知机制的特性。将Zookeeper作为服务的注册和变更的通知中心。

image.png

二、Zookeeper安装

1.安装

Zookeeper一般运行在Linux平台
步骤：

1.1 解压zookeeper安装包

tar -zxf zookeeper-3.4.6.tar.gz

1.2 配置

// 创建存放数据文件的目录
cd zookeeper
mkdir data
//指定服务器的编号
vi myid 
//创建配置文件
cd conf
//默认使用zoo.cfg，名称固定
cp zoo_sample.cfg zoo.cfg  
//修改配置文件
vim zoo.cfg
dataDir=../data  //指定数据的存放目录

1.3 启动zookeeper

cd bin
./zkServer.sh start | stop |status | restart  //启动|停止|查看状态|重启

1.4 客户端连接Zookeeper

//启动客户端，默认连接本机的2181端口
./zkCli.sh   

或

//连接指定主机、指定端口的Zookeeper
./zkCli.sh -server 服务器地址:端口号  

//退出客户端
quit

2. 配置文件

图片.png

三、客户端操作

1.常用命令

图片.png

2.详解

2.1 ls2 查看指定节点的详细信息

[zookeeper]  //子节点名称数组
------------------节点的状态信息，也成为stat结构体--------------------
//创建该znode的事务的zxid(Zookeeper Transaction ID)
//事务ID是Zookeeper为每次更新操作/事务操作分配一个全局唯一的id，表示//zxid，值越小越先被执行
cZxid = 0x0    &nbsp;&nbsp;&nbsp;&nbsp;//0x0表示十六进制数0
//创建的时间
ctime = Wed Dec 31 16:00:00 PST 1969
//最后一次更新的zxid
mZxid = 0x0
//最后一次更新的时间
mtime = Wed Dec 31 16:00:00 PST 1969
//最后一次更新的子节点的zxid
pZxid = 0x0
//子节点的变化号，表示子节点被修改的次数，-1表示从未被修改过
cversion = -1
//当前节点的变化号，0表示从未被修改过
dataVersion = 0
//访问控制列表的变化号 access control list
aclVersion = 0
//如果是临时节点，表示当前节点的拥有者的sessionId
//如果不是临时节点，则值为0
ephemeralOwner = 0x0
//数据长度
dataLength = 0
numChildren = 1  //子节点的数量

顺序编号节点：

顺序编号会紧跟在节点名称后面，节点最终的名称为：节点名+序号，如：/test0000000005
顺序编号是递增的计数器
顺序编号是由父节点维护，从已有的子节点的个数开始（包括临时节点和被删除的节点）
如果子节点为空，则从0000000000开始，依次递增1
在分布式系统中，顺序编号可以被用于为所有的事件进行全局排序，这样客户端就可以根据序号推断事件的顺序

四、Zookeeper集群

1.配置集群

步骤：

1.准备多台Zookeeper服务器
2.配置Zookeeper服务器

在每台服务器的conf/zoo.cfg文件中添加内容：
```
server.1=192.168.254.128:2881:3881
server.2=192.168.254.128:2882:3882
server.3=192.168.254.128:2883:3883
```
格式：server.A=B:C:D

A：这台服务器的编号，ID是一个数字

B：服务器的IP地址或域名

C：这台服务器与集群中的另一台服务器的Leader交换信息时使用的端口

D：执行选举Leader服务器时互相通信的端口
3.创建myid配置文件

在集群环境下，需要在data目录中创建一个名为myid的文件，文件内容是当前服务器的ID，即上面的A
```
cd data
echo A的值 > myid
```
Zookeeper启动时会读取这个文件，将里面的数字与zoo.cfg中配置的server.A进行比较，从而判断这台服务器是哪一个
4.测试集群环境

启动所有的Zookeeper服务器
此时在某台服务器上执行了某操作，在其他服务器上也会生效

2.集群特性

一个Zookeeper集群中，有一个领导者Leader和多个跟随者Follower
Leader负责投票的发起和决议，更新系统状态
Follower用于接收客户端的请求并向客户端返回结果，在选举Leader的过程中会参与投票
半数机制：集群中只要有半数以上的节点存活，集群就能正常工作，所以一般集群中的服务器个数都是为奇数
全局数据一致：集群中每台服务器保存着相同数据副本，不论客户端连接的是哪个服务器，最终获得的数据都是相同的
更新请求顺序执行：来自同一个客户端的更新请求，按其发送顺序依次执行
数据更新的原子性：一次数据更新，要么成功，要么失败
实时性：在一定时间范围内，客户端能够读取到最新的数据

3.选举机制

Zookeeper在提供选举机制时会自动选举一个节点服务器作为Leader，其他节点都是Follower

image.png

选举流程：

1.Server1启动，给自己投票，然后发送投票信息，由于其他服务器还没有启动，所以它发出的消息是收不到任何反馈的，此时Server1为Looking状态
2.Server2启动，给自己投票，同时与Server1通信交换选举结果，由于Server2的id值较大，所以Server2胜出，但由于投票数没有过半，此时Server1和Server2都为Looking状态
3.Server3启动，给自己投票，同时与Server1和Server2通信交换选举结果，由于Server3的id值较大，所以Server3胜出，由于此时票数已经过半，所以Server3为Leader，Server1和Server2为Follower
4.Server4启动，给自己投票，同时与Server1、Server2、Server3通信交换选举结果，尽管Server4的id较大，但是由于集群中已经存在Leader，所以Server4也为Follower
5.Server5启动，同Server4类似，只能为Follower

总结：

1.每个服务器在启动时都会为自己投票，并将信息发出
2.服务器的ID越大，在选择算法中权重就越大
3.投票数必须过半才能选出Leader
4.谁是Leader：启动顺序的前集群数/2+1个服务器中ID值最大的会称为Leader

4.监听机制

4.1 监听节点值的变量

在集群的A服务器，监听某个节点值的变化

get /yyy watch

在集群中的B服务器，修改对应的节点的值

set /yyy myyyy

此时A服务器会收到事件 NodeDataChanged

WATCHER::WatchedEvent state:SyncConnected type:NodeDataChanged path:/aaa

监听Watch事件是一个一次性的触发器，当数据改变时只会触发一次，如果以后这个数据再发生改变，则不会再次触发

4.2 监听节点的子节点的变化

在集群的A服务器，监听节点的某个子节点的变化

ls /aaa watch

在集群的B服务器，创建/修改/删除对应节点的子节点

create /aaa/hello hello

此时A服务器会收到事件NodeChildrenChanged

WATCHER::WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/aaa

五、Java访问Zookeeper

1.添加jar包

<!--zookeeper客户端-->
<dependency>
  <groupId>org.apache.zookeeper</groupId>
  <artifactId>zookeeper</artifactId>
  <version>3.4.6</version>
</dependency>

2.操作zookeeper

public class HelloZookeeper {
    public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
        //获取Zookeeper连接，即创建Zookeeper客户端
        String connectString = "192.168.254.128";  //zookeeper服务器的地址
        int sessionTimeout = 3000;  //超时时间，单位ms
        Watcher watcher = new MyWatcher();
        ZooKeeper zkClient = new ZooKeeper(connectString, sessionTimeout, watcher);

//        System.out.println(zkClient.getState());


        /**
         * 操作zookeeper
         */
        //获取Zookeeper下的节点
//        List<String> children = zkClient.getChildren("/", true);//第二个参数表示是否监视该节点
//        for (String child : children) {
//            System.out.println(child);
//        }

        //创建节点
        // OPEN_ACL_UNSAFE表示acl权限列表完全开放
        //PERSISTENT表示节点类型为持久化节点
//        zkClient.create("/world","世界".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

        //获取节点的数据(包括节点的值和节点状态)
//        byte[] data = zkClient.getData("/world", true, null);
//        System.out.println(new String(data));


        Stat stat = new Stat();
//        byte[] data = zkClient.getData("/world", true, stat);
//        byte[] data = zkClient.getData("/world", new DataWatcher(), stat);
//        System.out.println(new String(data));
//        System.out.println(stat.getCtime());
//        System.out.println(stat.getCversion());
//        System.out.println(stat.getDataLength());
//        System.out.println(stat);

        //修改节点的数据
        //第三个参数表示当前节点的数据版本
        //一般都是先获取节点的状态
//        zkClient.setData("/world","世界".getBytes(),stat.getVersion());

        //也可以将版本设置为-1，表示不检测版本
//        zkClient.setData("/world","世界".getBytes(),-1);

        //删除节点
//        zkClient.delete("/aaa",-1);

        //判断节点是否存在
//        System.out.println(zkClient.exists("/hello",false));    //如果节点存在返回节点的stat，不存在返回null

        //休眠
//        Thread.sleep(1000000);

        //关闭连接
        zkClient.close();
    }
}

Zookeeper学习笔记

一、Zookeeper简介

1.什么是Zookeeper

2.Zookeeper组成

2.1 文件系统

2.2 通知机制

3.应用场景

3.1 配置管理

3.2 集群管理

3.3 负载均衡

二、Zookeeper安装

1.安装

1.1 解压zookeeper安装包

1.2 配置

1.3 启动zookeeper

1.4 客户端连接Zookeeper

2. 配置文件

三、客户端操作

1.常用命令

2.详解

2.1 ls2 查看指定节点的详细信息

四、Zookeeper集群

1.配置集群

2.集群特性

3.选举机制

4.监听机制

4.1 监听节点值的变量

4.2 监听节点的子节点的变化

五、Java访问Zookeeper

1.添加jar包

2.操作zookeeper

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

工作生活