美文网首页
08.Hadoop:Hbase环境搭建

08.Hadoop:Hbase环境搭建

作者: 負笈在线 | 来源:发表于2020-07-01 09:34 被阅读0次

    本节主要内容:

    Hbase环境搭建

    1.系统环境:

    OS:CentOS Linux release 7.5.1804 (Core)

    CPU:2核心

    Memory:1GB

    运行用户:root

    JDK版本:1.8.0_252

    Hadoop版本:cdh5.16.2

    2.集群各节点角色规划为:

    172.26.37.245 node1.hadoop.com---->namenode,zookeeper,journalnode,hadoop-hdfs-zkfc,resourcenode,historyserver,hbase,hbase-master,hbase-thrift

    172.26.37.246 node2.hadoop.com---->datanode,zookeeper,journalnode,nodemanager,hadoop-client,mapreduce,hbase-regionserver

    172.26.37.247  node3.hadoop.com---->datanode,nodemanager,hadoop-client,mapreduce

    172.26.37.248  node4.hadoop.com---->namenode,zookeeper,journalnode,hadoop-hdfs-zkfc

    3.环境说明:

    本次追加部署

    172.26.37.245 node1.hadoop.com---->hbase,hbase-master,hbase-thrift

    172.26.37.246 node2.hadoop.com---->hbase-regionserver

    172.26.37.246 node2.hadoop.com---->hbase-regionserver

    172.26.37.248  node4.hadoop.com---->

    node1节点:hbase-master节点

    node2、node3节点:datanode节点

    一.安装

    node1节点

             # yum install -y hbase hbase-master hbase-thrift

    node2、node3节点(datanode)

             # yum install hbase-regionserver -y

    二.修改系统限制(所有节点)

    在各节点主机上修改centos最大文件数,hbase会打开很多文件,而centos的默认最大打开数是不够的,所以要调整。

             # cp -p /etc/security/limits.conf /etc/security/limits.conf.20200701

             # vi /etc/security/limits.conf

             增加以下内容

    hdfs  -      nofile  32768

    hbase -      nofile  32768

    hdfs最大文件数:调整hdfs的最大文件数。

             # cp -p /etc/hadoop/conf/hdfs-site.xml /etc/hadoop/conf/hdfs-site.xml.20200701

             # vi /etc/hadoop/conf/hdfs-site.xml

             增加以下内容

    <property>

      <name>dfs.datanode.max.xcievers</name>

      <value>4096</value>

    </property>

    三.配置hbase,hbase-master及hbase-regionserver

    修改/etc/hbase/conf/hbase-site.xml

             # cp -p /etc/hbase/conf/hbase-site.xml /etc/hbase/conf/hbase-site.xml.20200701

             # vi /etc/hbase/conf/hbase-site.xml

             增加以下属性

      <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

      </property>

      <property>

        <name>hbase.rootdir</name>

        <value>hdfs://cluster1/hbase</value>

      </property>

      <!--这里的cluster一定是自己的hdfs集群的名称-->

    在hdfs上建立 hbase 使用的文件夹

             # sudo -u hdfs hdfs dfs -mkdir /hbase

             # sudo -u hdfs hdfs dfs -chown hbase /hbase

    启动hbase-master

    hbase-master是需要zookeeper的,所以确保你的zookeeper启动了。换句话说,这两个功能依赖于zookeeper

    官方建议在所有的 datanode 机器上安装 RegionServer 。

    安装好后修改datanode的配置文件/etc/hbase/conf/hbase-site.xml

    在 <configuration> 和 </configuration> 中增加以下属性

             # cp -p /etc/hbase/conf/hbase-site.xml /etc/hbase/conf/hbase-site.xml.20200701

             增加以下内容:

      <property>

          <name>hbase.zookeeper.quorum</name>

          <value>node1.hadoop.com:2181,node2.hadoop.com:2181,node4.hadoop.com:2181</value>

      </property>

      <!--这里要和core-site.xml的ha.zookeeper.quorum配置一样-->

    四.启动服务

    node1节点。

             # service hbase-master start

             # service hbase-master status

             # service hbase-thrift start

             # service hbase-thrift status

    node2、Node3节点上

             # service hbase-regionserver start

             # service hbase-regionserver status

    Thrift是用来让其他程序跟Hbase连接用的,有了Thrift之后Hbase才开放了程序调用的API,可以用不同的语言来调用hbase。

    服务的启动顺序:官方推荐服务的启动顺序如下:

    zookeeper

    hbase-master

    各个regionserver

    五.检验

    http://172.26.37.245:60010可以看到HBASE的信息页面

    六.Shell命令行工具

    在hbase-master(Node1节点)进入hbase shell

             #  hbase shell

    2020-07-01 21:22:41,116 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available

    HBase Shell; enter 'help<RETURN>' for list of supported commands.

    Type "exit<RETURN>" to leave the HBase Shell

    Version 1.2.0-cdh5.16.2, rUnknown, Mon Jun  3 03:50:03 PDT 2019

    hbase(main):001:0> list

    TABLE                                                                                                                                                                                                                                     

    0 row(s) in 0.5840 seconds

    => []

    hbase(main):002:0> exit

    相关文章

      网友评论

          本文标题:08.Hadoop:Hbase环境搭建

          本文链接:https://www.haomeiwen.com/subject/egdlqktx.html