08.Hadoop:Hbase环境搭建

本节主要内容：

Hbase环境搭建

1.系统环境：

OS：CentOS Linux release 7.5.1804 (Core)

CPU：2核心

Memory：1GB

运行用户：root

JDK版本：1.8.0_252

Hadoop版本：cdh5.16.2

2.集群各节点角色规划为：

172.26.37.245 node1.hadoop.com---->namenode，zookeeper，journalnode，hadoop-hdfs-zkfc，resourcenode，historyserver，hbase，hbase-master，hbase-thrift

172.26.37.246 node2.hadoop.com---->datanode，zookeeper，journalnode，nodemanager，hadoop-client，mapreduce，hbase-regionserver

172.26.37.247  node3.hadoop.com---->datanode，nodemanager，hadoop-client，mapreduce

172.26.37.248  node4.hadoop.com---->namenode，zookeeper，journalnode，hadoop-hdfs-zkfc

3.环境说明：

本次追加部署

172.26.37.245 node1.hadoop.com---->hbase，hbase-master，hbase-thrift

172.26.37.246 node2.hadoop.com---->hbase-regionserver

172.26.37.246 node2.hadoop.com---->hbase-regionserver

172.26.37.248  node4.hadoop.com---->

node1节点：hbase-master节点

node2、node3节点：datanode节点

一.安装

node1节点

         # yum install -y hbase hbase-master hbase-thrift

node2、node3节点（datanode）

         # yum install hbase-regionserver -y

二.修改系统限制(所有节点)

在各节点主机上修改centos最大文件数，hbase会打开很多文件，而centos的默认最大打开数是不够的，所以要调整。

         # cp -p /etc/security/limits.conf /etc/security/limits.conf.20200701

         # vi /etc/security/limits.conf

         增加以下内容

hdfs  -      nofile  32768

hbase -      nofile  32768

hdfs最大文件数:调整hdfs的最大文件数。

         # cp -p /etc/hadoop/conf/hdfs-site.xml /etc/hadoop/conf/hdfs-site.xml.20200701

         # vi /etc/hadoop/conf/hdfs-site.xml

         增加以下内容

<property>

  <name>dfs.datanode.max.xcievers</name>

  <value>4096</value>

</property>

三.配置hbase，hbase-master及hbase-regionserver

修改/etc/hbase/conf/hbase-site.xml

         # cp -p /etc/hbase/conf/hbase-site.xml /etc/hbase/conf/hbase-site.xml.20200701

         # vi /etc/hbase/conf/hbase-site.xml

         增加以下属性

  <property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

  </property>

  <property>

    <name>hbase.rootdir</name>

    <value>hdfs://cluster1/hbase</value>

  </property>

  <!--这里的cluster一定是自己的hdfs集群的名称-->

在hdfs上建立 hbase 使用的文件夹

         # sudo -u hdfs hdfs dfs -mkdir /hbase

         # sudo -u hdfs hdfs dfs -chown hbase /hbase

启动hbase-master

hbase-master是需要zookeeper的，所以确保你的zookeeper启动了。换句话说，这两个功能依赖于zookeeper

官方建议在所有的 datanode 机器上安装 RegionServer 。

安装好后修改datanode的配置文件/etc/hbase/conf/hbase-site.xml

在 <configuration> 和 </configuration> 中增加以下属性

         # cp -p /etc/hbase/conf/hbase-site.xml /etc/hbase/conf/hbase-site.xml.20200701

         增加以下内容：

  <property>

      <name>hbase.zookeeper.quorum</name>

      <value>node1.hadoop.com:2181,node2.hadoop.com:2181,node4.hadoop.com:2181</value>

  </property>

  <!--这里要和core-site.xml的ha.zookeeper.quorum配置一样-->

四.启动服务

node1节点。

         # service hbase-master start

         # service hbase-master status

         # service hbase-thrift start

         # service hbase-thrift status

node2、Node3节点上

         # service hbase-regionserver start

         # service hbase-regionserver status

Thrift是用来让其他程序跟Hbase连接用的，有了Thrift之后Hbase才开放了程序调用的API，可以用不同的语言来调用hbase。

服务的启动顺序:官方推荐服务的启动顺序如下：

zookeeper

hbase-master

各个regionserver

五.检验

http://172.26.37.245:60010可以看到HBASE的信息页面

六.Shell命令行工具

在hbase-master(Node1节点)进入hbase shell

         #  hbase shell

2020-07-01 21:22:41,116 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available

HBase Shell; enter 'help<RETURN>' for list of supported commands.

Type "exit<RETURN>" to leave the HBase Shell

Version 1.2.0-cdh5.16.2, rUnknown, Mon Jun  3 03:50:03 PDT 2019

hbase(main):001:0> list

TABLE                                                                                                                                                                                                                                     

0 row(s) in 0.5840 seconds

=> []

hbase(main):002:0> exit