zookeeper

作者: 风暴之芽 | 来源:发表于2019-02-07 12:40 被阅读0次

    zookeeper是松散耦合的分布式系统中粗粒度锁以及可靠性存储的系统,具有保管数据、提供监听等功能,存储的容量不高,具有开源、高效的、可协同工作的特点,其数据模型具有命名空间、与标准文件系统相似、以/为间隔的路径名序列组成、只有绝对路径;每个节点自身的信息包含了数据、数据长度、创建时间、修改时间等信息,具有文件,路径双重特点。

    zookeeper的结构

    zookeeper的三种节点:永久性节点、临时节点、顺序节点。

    永久节点(persistent nodes):除非client显示删除,否则一直存在,create  默认创建

    临时节点(ephemeral nodes):仅在创建该节点client保持连接期间有效,一旦连接丢失,zookeeper会自动删除该节点 ,create -e

    顺序节点(sequence nodes):client在创建该节点时,zookeeper会自动在节点路径末尾添加递增序号,这种类型是实现分布式锁、分布式queue(队列)等特殊功能的关键。临时顺序节点【create -s -e】      or      临时永久节点【create -s】

    watch机制:客户端会被动收到通知和请求,节点被删或者修改信息会被推送到client。

    一、zookeeper的应用场景:1.服务器启动的时候向zookeeper进行注册;2.客户端从zookeeper查询访问的是哪台服务器;3.按照zookeeper给定的服务器进行访问。

    zookeeper的选服务器

    二、zookeeper实现高可用,选NN(namenode)

    HA选主

    当client想要去HDFS拿文件的时候(Hadoop fs -cat等操作),zookeeper创建临时顺序节点,zookeeper会选择一个节点作为active节点,其他节点是standby状态,假设目前active挂掉,standby节点立刻接手成为新的active节点,原先的active节点重启回来之后成为standby节点,在zookeeper中,它的命名为/nn00003,之后假如新的active节点挂掉,新的standby节点再次变为active,再次循环上一个步骤。

    zookeeper有个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的。也就是说如果有2个zookeeper节点,那么只要有1个死了zookeeper就不能用了,因为1没有过半,所以2个zookeeper节点的死亡容忍度为0;同理,要是有3个zookeeper节点,一个死了,还剩下2个正常的,过半了,所以3个zookeeper的容忍度为1;同理你多列举几个:2->0;3->1;4->1;5->2;6->2会发现一个规律,2n和2n-1的容忍度是一样的,都是n-1,所以为了更加高效,何必增加那一个不必要的zookeeper呢。所以节点数是单数,另外在选主中,被选的新节点按照命名最小的来做主,命名按照顺序命名,例如:001、002、003、004...   被重新激活的节点不会再次被命名为小的数字。

    三、配置管理

    server作为跑任务的主体,它们的配置有时候需要修改,但是一台台去修改会很麻烦,这个时候用zookeeper来监听他们的配置,一旦他们的配置信息有变动,变动的消息会立刻被推送到zookeeper中,届时可以及时做出修改。

    配置监听

    zookeeper查看offset:

    1、consumer指定groupid:

    ./bin/kafka-console-consumer.sh --zookeeper master:2181 --topic badou --consumer-property group.id=group_test --from-beginning

    2、查看consumer的offset和具体数据堆积情况:

    ./kafka-consumer-offset-checker.sh --zookeeper master:2181 --topic badou --group group_test --broker-info

    3、zookeeper查看中的consumers:

    ls /consumers

    4、zookeeper查看offset:

    get /consumers/group_test/offsets/badou/0

    相关文章

      网友评论

          本文标题:zookeeper

          本文链接:https://www.haomeiwen.com/subject/ovqisqtx.html