Zookeeper之集群安装

Zookeeper 是一个分布式协调服务的开源框架。主要用来解决分布式集群中
应用系统的一致性问题。

主要内容：

• 1.ZooKeeper 概述
• 2.ZooKeeper 集群角色
• 3.安装部署
• 4.shell
• 5.一键脚本

相关文章：
1.Zookeeper之集群安装
2.Zookeeper之数据订阅发布

1.ZooKeeper 概述

ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系
统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维
护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达
到基于数据的集群管理。诸如：统一命名服务、分布式配置管理、分布式消息队
列、分布式锁、分布式协调等功能

2.ZooKeeper 集群角色

zookeeper集群角色

Leader：
Zookeeper 集群工作的核心，主要工作如下：

• 事物请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性；
• 集群内部各个服务器的调度者。
• 对于 create，setData，delete 等有写操作的请求，则需要统一转发给leader 处理，leader 需要决定编号、执行操作，这个过程称为一个事务。

Follower：

• 处理客户端非事物（读操作）请求，转发事物请求给 Leader；
• 参与集群 Leader 选举投票

3.安装部署

集群规划如下：

用户	主机名	ip
hadoop	hadoop1	192.168.2.111
hadoop	hadoop2	192.168.2.112
hadoop	hadoop3	192.168.2.113

3.1.下载、解压

下载地址：传送门

tar -zxvf zookeeper-3.4.8.tar.gz

3.2.修改环境变量（注意：3台主机都需要修改并刷新）

sudo vi /etc/profile
export ZOOKEEPER_HOME=/opt/soft/zookeeper-3.4.8
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile

3.3.修改Zookeeper配置文件

cd zookeeper-3.4.8/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

添加如下内容：

dataDir=/opt/soft/zookeeper-3.4.8/zkdata
server.1=hadoop1:2888:3888     ## (心跳端口、选举端口)
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

在zookeeper-3.4.8下创建zkdata文件夹并创建myid文件

mkdir zkdata
cd zkdata
echo 1 > myid

3.4.分发到其它主机（hadoop2、hadoop3）

scp -r /opt/soft/zookeeper-3.4.8 hadoop@hadoop2:/opt/soft
scp -r /opt/soft/zookeeper-3.4.8 hadoop@hadoop3:/opt/soft

修改myid文件
到hadoop2上：修改myid为：2
到hadoop3上：修改myid为：3

3.5.启动（3台主机都要启动）

cd zookeeper-3.4.8
bin/zkServer.sh start

3.6.状态

jps 查看进程

bin/zkServer.sh status

zookeeper运行状态

如果启动不成功，可以观察zookeeper.out日志，查看错误信息进行排查

3.7.其它配置文件说明

配置文件中参数说明:

• tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

• initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

• syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

• dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里；

• clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求；

• server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。

4.shell

# 连接
zkCli.sh -server "hadoop1:2181"

# 查看
ls /

# 创建
create /test "123"

# 查看节点
get /test

# 更新
set /test "456"

# 删除
rmr /test

5.一键脚本

startzk.sh 一键启动脚本（设置zookeeper的环境变量）

cat ./slave | while read line
do
{
 echo $line
 ssh $line "source /etc/profile;nohup zkServer.sh start >/dev/null 2>&1 &"
}&
wait
done 

stopzk.sh 一键停止脚本（设置zookeeper的环境变量）

cat ./slave | while read line
do
{
 echo $line
 ssh $line "source /etc/profile;jps |grep QuorumPeerMain |cut -c 1-4 |xargs kill -s 9"
}&
wait
done 

slave文件

hadoop1
hadoop2
hadoop3