方式一:zookeeper集群搭建
前提:zookeeper适合装在奇数台机器上!!!
1.zookeeper版本:zookeeper-3.4.11.tar
2.解压:tar -zxvf zookeeper-3.4.11.tar
3.修改环境变量:
ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.11
export ZOOKEEPER_HOME
PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH
source 生效环境变量
4.修改配置文件:
1.进入conf目录下 cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
添加内容:
dataDir=/usr/local/src/zookeeper-3.4.11/tmp
dataLogDir=/usr/local/src/zookeeper-3.4.11/log
server.1=master:2888:3888 (主机名, 心跳端口、数据端口)
server.2=slave1:2888:3888
server.3=slave2:2888:3888
2.进入zookeeper_home目录下创建目录
cd /usr/local/src/zookeeper-3.4.11/
mkdir -m 755 tmp
mkdir -m 755 log
3.在tmp文件夹下新建myid文件,myid的文件内容为:
添加内容:1
5.将集群下发到其他机器上
scp -r/usr/local/src/zookeeper-3.4.11/ hadoop@slave1:/home/hadoop/
scp -r /usr/local/src/zookeeper-3.4.11/ hadoop@slave2:/home/hadoop/
6.修改其他机器的配置文件
到slave1上:修改myid为:2
到slave2上:修改myid为:3
7.启动(每台机器)
zkServer.sh start
8.查看集群状态
jps(查看进程)
zkServer.sh status(查看集群状态,主从信息)
方式二:ZooKeeper伪分布环境搭建
Zookeeper有两种常见的搭建方式:1.standalone方式;2.集群方式。这两者的区别是:
1.standalone方式只需要一个Zookeeper节点;集群方式至少需要3个节点(一个leader,2个follower);
2.standalone方式一旦Zookeeper节点宕机,Spark HA就不能使用了;集群方式如果leader宕机,Zookeeper内部会从follower中选举出一个新的leader,可以对HA提供更有效的保障。
这里来介绍Zookeeper的standalone方式的搭建过程:
2.1 上传Zookeeper安装包
/usr/local/src/zookeeper-3.4.11
2.2 解压Zookeeper安装包
tar -xvf zookeeper-3.4.11.tar
2.3 配置Zookeeper环境变量:
[root@master src]# vim /root/.bash_profile
ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.11
export ZOOKEEPER_HOME
PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH
及时生效:
[root@master tools]# source /root/.bash_profile
2.4 配置Zookeeper参数
2.4.1 创建Zookeeper保存数据的目录:
mkdir /usr/local/src/zookeeper-3.4.11/tmp
2.4.2 编辑Zookeeper的配置文件zoo.cfg:
[root@master conf]# cp zoo_sample.cfg zoo.cfg
[root@master conf]# vim zoo.cfg
#dataDir=/tmp/zookeeper
dataDir=/usr/local/src/zookeeper-3.4.11/tmp
server.1=master:2888:3888
参数说明:
2888端口:是zookeeper服务之间进行通信的端口
3888端口:是zookeeper与其他程序之间进行通信的端口
2.4.3 启动zookeeper:
[root@master conf]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper-3.4.11/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
2.4.4 检查进程:
[root@master conf]# jps
2709 SecondaryNameNode
2522 NameNode
**3403 QuorumPeerMain**
3420 Jps
2863 ResourceManager
网友评论