集群部署

环境准备

java环境、zookeeper环境、hadoop环境

hadoop-jdk-hbase版本需求文档

主机名	IP	服务
ubuntu02	192.168.0.152	zookeeper、namenode、resourcemanager、jobhistoryserver、hregionserver
ubuntu03	192.168.0.153	zookeeper、datanode、nodemanager、hregionserver
ubuntu04	192.168.0.154	zookeeper、datanode、nodemanager、hregionserver
ubuntu05	192.168.0.155	secondarynamenode、datanode、nodemanager、hmaster

hbase部署

wget -c \
https://www-us.apache.org/dist/hbase/2.2.0/hbase-2.2.0-bin.tar.gz
tar -zxvf hbase-2.2.0-bin.tar.gz && mv hbase-2.2.0/ /usr/local/
cd /usr/local && ln -s hbase-2.2.0/ hbase

cat >> /etc/profile << EOF

# for hbase
export HBASE_HOME=/usr/local/hbase
export PATH=\$HBASE_HOME/bin:\$PATH
EOF

source /etc/profile

关于配置文件

sed \
-i "s|# export JAVA_HOME=.*|export JAVA_HOME=/usr/local/java|g" \
conf/hbase-env.sh

sed \
-i "s|# export HBASE_MANAGES_ZK=.*|export HBASE_MANAGES_ZK=false|g" \
conf/hbase-env.sh

cat conf/hbase-env.sh | grep "export JAVA_HOME"
cat conf/hbase-env.sh | grep "export HBASE_MANAGES_ZK"

mkdir -p /data/hbase/zookeeper
vim conf/hbase-site.xml
<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://192.168.0.152:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.master</name>
        <value>192.168.0.155:60000</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>192.168.0.152,192.168.0.153,192.168.0.154</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/data/hbase/zookeeper</value>
    </property>
    <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
    </property>
</configuration>

vim conf/regionservers
192.168.0.152
192.168.0.153
192.168.0.154

分发hbase到节点

scp -r hbase-2.2.0 root@192.168.0.152:`pwd`
scp -r hbase-2.2.0 root@192.168.0.153:`pwd`
scp -r hbase-2.2.0 root@192.168.0.154:`pwd`

ssh root@192.168.0.*    # 每个节点
> mkdir -p /data/hbase/zookeeper
> cd /usr/local && ln -s hbase-2.2.0 hbase
> cat >> /etc/profile << EOF

# for hbase
export HBASE_HOME=/usr/local/hbase
export PATH=\$HBASE_HOME/bin:\$PATH
EOF

> source /etc/profile

集群启动

hbase-daemon.sh start master
hbase-daemon.sh start regionserver # 每个节点

校验集群

jps

http://192.168.0.155:16030/
http://192.168.0.155:16010/master-status

hbase hdfs目录

hdfs dfs -ls -R /hbase
/hbase/.tmp：临时目录，当对表做创建和删除的时候，会将表move到该目录下，然后进行操作

/hbase/data：核心目录，存储HBase表的数据
/hbase/data/default：在用户创建表的时候，没有指定namespace时，表就创建在此目录下
/hbase/data/hbase：系统内部创建的表

/hbase/hbase.id：集群ID
/hbase/hbase.version：集群版本号
/hbase/oldWALs：当/hbase/WALs目录中的logs没有用之后，会将这些logs移动到此目录下，HMaster会定期的进行清理