美文网首页个人学习
分布式协调系统ZooKeeper原理剖析

分布式协调系统ZooKeeper原理剖析

作者: 顾子豪 | 来源:发表于2021-07-01 22:15 被阅读0次

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现。它提供了简单原始的功能,分布式应用可以基于它实现更高级的服务,比 如分布式同步,配置管理,集群管理,命名管理,队列管理。它被设计为易于编程,使用文 件系统目录树作为数据模型。服务端跑在 java 上,提供 java 和 C 的客户端 API

    众所周知,协调服务非常容易出错,但是却很难恢复正常,例如,协调服务很容易处于 竞态以至于出现死锁。我们设计 ZooKeeper 的目的是为了减轻分布式应用程序所承担的协 调任务
    ZooKeeper 是集群的管理者,监视着集群中各节点的状态,根据节点提交的反馈进行下 一步合理的操作。最终,将简单易用的接口和功能稳定性能高效的系统提供给用户。
    官网地址:http://ZooKeeper.apache.org/
    官网快速开始地址:http://ZooKeeper.apache.org/doc/trunk/ZooKeeperStarted.html
    官网 API 地址:http://ZooKeeper.apache.org/doc/r3.4.10/api/index.html

    特点/设计目的

    ZooKeeper 作为一个集群提供数据一致的协调服务,自然,最好的方式就是在整个集群中的各服务节点进行数据的复制和同步数据复制的好处:
    1、容错:一个节点出错,不至于让整个集群无法提供服务。
    2、扩展性:通过增加服务器节点能提高 ZooKeeper 系统的负载能力,把负载分布到多个节点上。
    3、高性能:客户端可访问本地 ZooKeeper 节点或者访问就近的节点,依次提高用户的访问速度。
    特点:
    1、 最终一致性:client 不论连接到哪个 Server,展示给它都是同一个视图,这是 ZooKeeper 最重要的性能。
    2、 可靠性:具有简单、健壮、良好的性能,如果消息 m 被到一台服务器接受,那么它将被所有的服务器接受。
    3、 实时性:ZooKeeper 保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者 服务器失效的信息。但由于网络延时等原因,ZooKeeper 不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用 sync()接口。
    4、 等待无关(wait-free):慢的或者失效的 client 不得干预快速的 client 的请求,使得每个 client 都能有效的等待
    5、 原子性:更新只能成功或者失败,没有中间状态。
    6、 顺序性:包括全局有序和偏序两种:全局有序是指如果在一台服务器上消息 a 在消息 b 前发布,则在所有 Server 上消息 a 都将在消息 b 前被发布;偏序是指如果一个消息 b 在 消息 a 后被同一个发送者发布,a 必将排在 b 前面。

    结构:包括文件系统、监听机制、监听工作原理
    (1)文件系统
    ZooKeeper 的命名空间就是 ZooKeeper 应用的文件系统,它和 linux 的文件系统很像,也是树状,这样就可以确定每个路径都是唯一的,对于命名空间的操作必须都是绝对路径操作。与 linux文件系统不同的是,linux文件系统有目录和文件的区别,而ZooKeeper统一叫做znode, 一个 znode 节点可以包含子 znode,同时也可以包含数据。

    所以总结说来,znode 即是文件夹又是文件的概念,所以在 ZooKeeper 里面就不叫文件也不叫文件夹,叫znode,每个znode有唯一的路径标识,既能存储数据,也能创建子znode。 但是 znode 只适合存储非常小量的数据,不能超过 1M,最好小于 1K。


    下面是关于 Znode 的介绍(非常重要):
    1、Znode 有两种类型:
    短暂(ephemeral)
    持久(persistent)
    2、Znode 有四种形式的目录节点(默认是 persistent )
    PERSISTENT 、PERSISTENT_SEQUENTIAL 、EPHEMERAL 、EPHEMERAL_SEQUENTIAL
    3、创建 znode 时设置顺序标识,znode 名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护。
    4、在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过 顺序号推断事件的顺序。
    5、EPHEMERAL 类型的节点不能有子节点。
    6、客户端可以在 znode 上设置监听器。

    (2)监听机制
    客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时,ZooKeeper 会通知客户端。监听机制保证 ZooKeeper 保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序
    监听器的工作机制,其实是在客户端会专门创建一个监听线程,在本机的一个端口上等待
    Zookeeper集群发送过来事件


    (3)监听工作原理
    ZooKeeper 的 Watcher 机制主要包括客户端线程、客户端 WatcherManager、Zookeeper 服务器三部分。客户端在向 ZooKeeper 服务器注册的同时,会将 Watcher 对象存储在客户端的WatcherManager 当中。当 ZooKeeper 服务器触发 Watcher 事件后,会向客户端发送通知,客户端线程从 WatcherManager 中取出对应的 Watcher 对象来执行回调逻辑。

    ZooKeeper典型应用场景

    (1)命名服务
    命名服务是分布式系统中较为常见的一类场景,分布式系统中,被命名的实体通常可以是集 群中的机器、提供的服务地址或远程对象等,通过命名服务,客户端可以根据指定名字来获取资源的实体、服务地址和提供者的信息。Zookeeper 也可帮助应用系统通过资源引用的方式来实现对资源的定位和使用,广义上的命名服务的资源定位都不是真正意义上的实体资源,在分布式环境中,上层应用仅仅需要一个全局唯一的名字。Zookeeper 可以实现一套分布式全局唯一 ID 的分配机制。


    (2)配置管理
    程序总是需要配置的,如果程序分散部署在多台机器上,要逐个改变配置就变得困难。现在把这些配置全部放到 ZooKeeper 上去,保存在 ZooKeeper 的某个目录节点中,然后所有相关应用程序对这个目录节点进行监听,一旦配置信息发生变化,每个应用程序就会收到 ZooKeeper 的通知,然后从ZooKeeper 获取新的配置信息应用到系统中就好

    (3)集群管理
    所谓集群管理无在乎两点:是否有机器退出和加入、选举 leader
    (4)分布式锁
    有了 ZooKeeper 的一致性文件系统,锁的问题变得容易。
    锁服务可以分为以下三类
    一个是写锁,对写加锁,保持独占,或者叫做排它锁,独占锁
    一个是读锁,对读加锁,可共享访问,释放锁之后才可进行事务操作,也叫共享锁
    一个是控制时序,叫时序锁

    (5)队列管理

    两种类型的队列:
    1、同步队列:当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达。
    2、先进先出队列:队列按照 FIFO 方式进行入队和出队操作。

    相关文章

      网友评论

        本文标题:分布式协调系统ZooKeeper原理剖析

        本文链接:https://www.haomeiwen.com/subject/mnusultx.html