美文网首页
08.Hadoop:Hbase环境搭建

08.Hadoop:Hbase环境搭建

作者: 負笈在线 | 来源:发表于2020-07-01 09:34 被阅读0次

本节主要内容:

Hbase环境搭建

1.系统环境:

OS:CentOS Linux release 7.5.1804 (Core)

CPU:2核心

Memory:1GB

运行用户:root

JDK版本:1.8.0_252

Hadoop版本:cdh5.16.2

2.集群各节点角色规划为:

172.26.37.245 node1.hadoop.com---->namenode,zookeeper,journalnode,hadoop-hdfs-zkfc,resourcenode,historyserver,hbase,hbase-master,hbase-thrift

172.26.37.246 node2.hadoop.com---->datanode,zookeeper,journalnode,nodemanager,hadoop-client,mapreduce,hbase-regionserver

172.26.37.247  node3.hadoop.com---->datanode,nodemanager,hadoop-client,mapreduce

172.26.37.248  node4.hadoop.com---->namenode,zookeeper,journalnode,hadoop-hdfs-zkfc

3.环境说明:

本次追加部署

172.26.37.245 node1.hadoop.com---->hbase,hbase-master,hbase-thrift

172.26.37.246 node2.hadoop.com---->hbase-regionserver

172.26.37.246 node2.hadoop.com---->hbase-regionserver

172.26.37.248  node4.hadoop.com---->

node1节点:hbase-master节点

node2、node3节点:datanode节点

一.安装

node1节点

         # yum install -y hbase hbase-master hbase-thrift

node2、node3节点(datanode)

         # yum install hbase-regionserver -y

二.修改系统限制(所有节点)

在各节点主机上修改centos最大文件数,hbase会打开很多文件,而centos的默认最大打开数是不够的,所以要调整。

         # cp -p /etc/security/limits.conf /etc/security/limits.conf.20200701

         # vi /etc/security/limits.conf

         增加以下内容

hdfs  -      nofile  32768

hbase -      nofile  32768

hdfs最大文件数:调整hdfs的最大文件数。

         # cp -p /etc/hadoop/conf/hdfs-site.xml /etc/hadoop/conf/hdfs-site.xml.20200701

         # vi /etc/hadoop/conf/hdfs-site.xml

         增加以下内容

<property>

  <name>dfs.datanode.max.xcievers</name>

  <value>4096</value>

</property>

三.配置hbase,hbase-master及hbase-regionserver

修改/etc/hbase/conf/hbase-site.xml

         # cp -p /etc/hbase/conf/hbase-site.xml /etc/hbase/conf/hbase-site.xml.20200701

         # vi /etc/hbase/conf/hbase-site.xml

         增加以下属性

  <property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

  </property>

  <property>

    <name>hbase.rootdir</name>

    <value>hdfs://cluster1/hbase</value>

  </property>

  <!--这里的cluster一定是自己的hdfs集群的名称-->

在hdfs上建立 hbase 使用的文件夹

         # sudo -u hdfs hdfs dfs -mkdir /hbase

         # sudo -u hdfs hdfs dfs -chown hbase /hbase

启动hbase-master

hbase-master是需要zookeeper的,所以确保你的zookeeper启动了。换句话说,这两个功能依赖于zookeeper

官方建议在所有的 datanode 机器上安装 RegionServer 。

安装好后修改datanode的配置文件/etc/hbase/conf/hbase-site.xml

在 <configuration> 和 </configuration> 中增加以下属性

         # cp -p /etc/hbase/conf/hbase-site.xml /etc/hbase/conf/hbase-site.xml.20200701

         增加以下内容:

  <property>

      <name>hbase.zookeeper.quorum</name>

      <value>node1.hadoop.com:2181,node2.hadoop.com:2181,node4.hadoop.com:2181</value>

  </property>

  <!--这里要和core-site.xml的ha.zookeeper.quorum配置一样-->

四.启动服务

node1节点。

         # service hbase-master start

         # service hbase-master status

         # service hbase-thrift start

         # service hbase-thrift status

node2、Node3节点上

         # service hbase-regionserver start

         # service hbase-regionserver status

Thrift是用来让其他程序跟Hbase连接用的,有了Thrift之后Hbase才开放了程序调用的API,可以用不同的语言来调用hbase。

服务的启动顺序:官方推荐服务的启动顺序如下:

zookeeper

hbase-master

各个regionserver

五.检验

http://172.26.37.245:60010可以看到HBASE的信息页面

六.Shell命令行工具

在hbase-master(Node1节点)进入hbase shell

         #  hbase shell

2020-07-01 21:22:41,116 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available

HBase Shell; enter 'help<RETURN>' for list of supported commands.

Type "exit<RETURN>" to leave the HBase Shell

Version 1.2.0-cdh5.16.2, rUnknown, Mon Jun  3 03:50:03 PDT 2019

hbase(main):001:0> list

TABLE                                                                                                                                                                                                                                     

0 row(s) in 0.5840 seconds

=> []

hbase(main):002:0> exit

相关文章

  • GeoMesa HBase 快速起步

    目标 快速搭建起 GeoMesa HBase 环境,跑通官方示例程序。 步骤清单 搭建 HBASE 环境 部署 G...

  • HBase 环境搭建

    HBase单机环境的搭建 这里先进行单机版环境搭建, 主要目的是熟悉HBase,实操角度对HBase有简单认识,后...

  • Hadoop、Hbase HA高可用集群搭建

    本文用以记录Hadoop、Hbase HA高可用集群搭建 基础环境准备根据前面hadoop集群搭建、hbase集群...

  • Hadoop Hbase HA高可用集群搭建

    本文用以记录Hadoop、Hbase HA高可用集群搭建 基础环境准备根据前面hadoop集群搭建、hbase集群...

  • HBase Java API 练习

    1 环境准备 1)成功搭建Hadoop-2.2.0开发环境2)成功启动HBase,通过HBase Shell进行测...

  • 使用MapReduce操作HBase

    1 环境准备 1)成功搭建Hadoop-2.2.0开发环境2)成功启动HBase,通过HBase Shell进行测...

  • Hbase常用shell命令

    前置工作:搭建好Hbase集群并启动,然后通过hbase shell命令进入Hbase的shell环境。 Hbas...

  • 简洁的 phoenix 安装使用

    环境搭建 1、解压 2、配置环境 3、复制jar到hbase lib 目录下 4、重启hbase 5、 启动 ph...

  • Hbase+opentsdb 单机版搭建

    hbase+opentsdb 单机版搭建 安装环境: 这里没有用HDFS,生产环境的话,hbase还是要把数据存到...

  • Hbase的安装与部署

    安装 HBase 这里简单搭建了一个单机的 HBase 环境: 安装 JDK 环境,如何安装jdk可以自己网上搜。...

网友评论

      本文标题:08.Hadoop:Hbase环境搭建

      本文链接:https://www.haomeiwen.com/subject/egdlqktx.html