HBase的完全分布式搭建

安装前提：

①. Jdk安装并配置。

②. Hadoop正确安装，并可以正常启动HDFS系统。

③. 安装ssh，实现免密钥登录，为了让hadoop脚本可以远程的操控其他的hadoop和hbase进程，ssh之间必须实现免密钥登录。

这里我们采用完全分布式，我们的实验环境是一个master，两个slave。

1. 解压HBase压缩包

• 解压文件。

  tar -zxvf /opt/hbase-1.2.3.tar.gz -C /opt

  image

• 切换到/opt目录下。

  cd /opt

  image

  查看是否解压成功。

  ls

  image

• 切换到解压的hbase目录下，查看hbase文件组成。

  cd hbase-1.2.3/

  ls

  image

2. 配置HBase环境

• 添加hbase环境变量。

  编辑/etc/profile文件，在文件末添加hbase的环境变量。（不删除任何东西）

  vim /etc/profile

  image

  <pre class="md-fences md-end-block" lang="" contenteditable="false" cid="n69" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, "Liberation Mono", Courier, monospace; font-size: 0.9em; white-space: pre; display: block; break-inside: avoid; text-align: left; background-image: ; background-position: var(--code-block-bg-color); background-size: ; background-repeat: var(--code-block-bg-color); background-attachment: ; background-origin: ; background-clip: ; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(221, 221, 221); border-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit;">

  export JAVA_HOME=/opt/jdk1.8.0_111

  export HBASE_HOME=/opt/hbase-1.2.3

  export ZOOKEEPER_HOME=/opt/zookeeper-3.4.9

  export PATH=$JAVA_HOME/bin:$PATH:/opt/hadoop-2.7.3/bin:/opt/hadoop-2.7.3/sbin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin

  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

  </pre>

  image

  注意：添加HBase的PATH路径直接在末尾添加”:$HBASE_HOME/bin”

  保存退出/etc/profile后，执行如下命令，使/etc/profile文件生效。

  source /etc/profile

  image

• 修改配置文件。

  切换到hbase的配置文件目录下，这里配置文件的目录为/opt/hbase-1.2.3/conf/。

  cd /opt/hbase-1.2.3/conf/

  在配置hbase时，我们需要修改三个文件，hbase-env.sh、hbase-site.xml、regionservers。

  image

  • 修改hbase-env.sh。

    编辑hbase-env.sh文件，在文件里面添加jdk的路径；关闭掉hbase中自带的zookeeper，因为后面会使用自己安装的zookeeper。

    vim hbase-env.sh

    image

    export JAVA_HOME=/opt/jdk1.8.0_111

    image

    注：HBase0.98.5及以后的版本，在启动之前需要设置JAVA_HOME环境变量。

    export HBASE_MANAGES_ZK=false

    image

  • 修改hbase-site.xml。

    编辑hbase-site.xml文件，这个是HBase的主要配置文件。

    vim hbase-site.xml

    image

    <pre class="md-fences md-end-block" lang="" contenteditable="false" cid="n120" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, "Liberation Mono", Courier, monospace; font-size: 0.9em; white-space: pre; display: block; break-inside: avoid; text-align: left; background-image: ; background-position: var(--code-block-bg-color); background-size: ; background-repeat: var(--code-block-bg-color); background-attachment: ; background-origin: ; background-clip: ; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(221, 221, 221); border-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit;">

    <configuration>

    <property>

    <name>hbase.rootdir</name>

    <value>hdfs://master:9000/hbase</value>

    </property>

    ​

    <property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

    </property>

    ​

    <property>

    <name>hbase.zookeeper.quorum</name>

    <value>master,slave1,slave2</value>

    </property>

    ​

    <property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/opt/zookeeper-3.4.9</value>

    </property>

    </configuration>

    </pre>

    image

    注：hdfs://master:9000/hbase必须与你的Hadoop集群的core-site.xml文件配置中的端口号保持一致，并且该项不识别IP，只能使用hostname。

  • 修改regionservers。

    编辑regionservers文件，将里面的localhost删除，并添加slave1和slave2。

    vim regionservers

    image image

    注：regionservers文件里面列出了你希望运行的全部 HRegionServer，一行写一个host。

• 拷贝hbase-1.2.3到slave1和slave2节点。

  为保持主从节点安装hbase的路径一致，这里需要将主节点上安装并配置好的hbase文件拷贝到从节点（即slave1和slave2）的/opt/目录下 。

  scp -r /opt/hbase-1.2.3/ root@192.168.1.3:/opt/

  image

  scp -r /opt/hbase-1.2.3/ root@192.168.1.4:/opt/

  image

  注：scp的-r参数表示拷贝递归目录。

3. 启动HBase

启动hbase之前，首先要启动hadoop集群。（如果hadoop集群和zookeeper已经启动了，则直接启动hbase）

• 首先启动hadoop，切换到hadoop的安装目录的sbin目录下，执行如下命令：

  start-all.sh

  image

  主节点查看进程：

  jps

  image

  从节点查看进程：

  jps

  image

• 启动hadoop集群之后，开始启动hbase。

  首先需要启动自己安装的zookeeper，切换到zookeeper的安装目录的bin目录下，即/opt/zookeeper-3.4.9/bin。

  cd /opt/zookeeper-3.4.9/bin/

  执行./zkServer.sh start命令，启动zookeeper。

  image

  然后切换到hbase的安装目录的bin目录下，即/opt/hbase-1.2.3/bin。

  cd /opt/hbase-1.2.3/bin/

  image

  执行start-hbase.sh命令，启动hbase。

  start-hbase.sh

  image

  注：start-hbase.sh命令会首先在本机启动HMaster，然后在上述regionservers文件配置的ip地址机器上分别启动regionserver。

• 查看hbase相关进程。

  Master作为HMaster，如下图：

  jps

  image

  Slave作为RegionServer，如下图：

  jps

  image image

• 进入hbase。

  hbase shell

  image

• 退出hbase。

  exit

  image

• 关闭hbase。

  切换到hbase的安装目录的bin目录下，即/opt/hbase/hbase-1.2.3/bin，执行stop-hbase.sh命令。

  stop-hbase.sh