美文网首页
搭建Hadoop-HA + ZooKeeper + Yarn +

搭建Hadoop-HA + ZooKeeper + Yarn +

作者: 上杉丶零 | 来源:发表于2019-01-25 19:04 被阅读0次

前提:搭建Hadoop-HA + ZooKeeper + Yarn + Hive环境

node01 node02 node03 node04
NameNode01 NameNode02 NameNode03
DataNode01 DataNode02 DataNode03
JournalNode01 JournalNode02 JournalNode03
ZooKeeper01 ZooKeeper02 ZooKeeper03
ZooKeeperFailoverController01 ZooKeeperFailoverController02 ZooKeeperFailoverController03
ResourceManager01 ResourceManager02
NodeManager01 NodeManager02 NodeManager03
MySQL Server MetaStore Server Hive CLI
HMaster01(Backup) HMaster02 HMaster03 HMaster04
HRegionServer01 HRegionServer02 HRegionServer03
  1. 同步四台主机的时间

yum install ntpdate -y
ntpdate ntp1.aliyun.com

  1. 安装node01、node02、node03、node04上的HBase

tar -zxvf hbase-1.2.9-bin.tar.gz -C /opt/hbase/

  1. 配置node01、node02、node03、node04上的HBase

在node04上修改/opt/hbase/hbase-1.2.9/conf/hbase-env.sh
vim /opt/hbase/hbase-1.2.9/conf/hive-env.sh
添加:
export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64
export HBASE_MANAGES_ZK=false
在node04上修改/opt/hbase/hbase-1.2.9/conf/hbase-site.xml
vim /opt/hbase/hbase-1.2.9/conf/hbase-site.xml
添加:

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://automaticHACluster/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>node02:2181,node03:2181,node04:2181</value>
  </property>
</configuration>

在node04上修改/opt/hbase/hbase-1.2.9/conf/regionservers
vim /opt/hbase/hbase-1.2.9/conf/regionservers
添加:

node01
node02
node03

在node04上修改/opt/hbase/hbase-1.2.9/conf/backup-masters
vim /opt/hbase/hbase-1.2.9/conf/backup-masters
添加:

node01

将node04上的/opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml拷贝到node04上的/opt/hbase/hbase-1.2.9/conf
cp /opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml /opt/hbase/hbase-1.2.9/conf
将node04上的/opt/hbase拷贝到node01、node02、node03:
scp -r /opt/hbase node01:/opt && scp -r /opt/hbase node02:/opt && scp -r /opt/hbase node03:/opt

  1. 配置node01、node02、node03、node04上的环境变量

在node01、node02、node03、node04上修改/etc/profile
vim /etc/profile
添加:

export HBASE_HOME=/opt/hbase/hbase-1.2.9
export PATH=$PATH:$HBASE_HOME/bin

在node01、node02、node03、node04上运行:
. /etc/profile

  1. 启动HBase服务端

在node04上运行(在哪个节点上运行,哪个节点上就会有HMaster):
start-hbase.sh

  1. 查看进程

在node01、node02、node03、node04上运行:
jps

  1. 访问网页
HMaster04:http://192.168.163.194:16010
HMaster01:http://192.168.163.191:16010

相关文章

网友评论

      本文标题:搭建Hadoop-HA + ZooKeeper + Yarn +

      本文链接:https://www.haomeiwen.com/subject/rbgmjqtx.html